CN109564437A - 用于利用无人飞行器监测对用户的危险的系统和方法 - Google Patents
用于利用无人飞行器监测对用户的危险的系统和方法 Download PDFInfo
- Publication number
- CN109564437A CN109564437A CN201780045666.0A CN201780045666A CN109564437A CN 109564437 A CN109564437 A CN 109564437A CN 201780045666 A CN201780045666 A CN 201780045666A CN 109564437 A CN109564437 A CN 109564437A
- Authority
- CN
- China
- Prior art keywords
- user
- uav
- close
- processor
- travel path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000012544 monitoring process Methods 0.000 title claims abstract description 66
- 230000004044 response Effects 0.000 claims abstract description 19
- 239000000203 mixture Substances 0.000 claims abstract description 11
- 238000004891 communication Methods 0.000 claims description 42
- 230000033001 locomotion Effects 0.000 claims description 32
- 230000010267 cellular communication Effects 0.000 claims description 21
- 230000007613 environmental effect Effects 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 241000406668 Loxodonta cyclotis Species 0.000 claims description 5
- 230000000903 blocking effect Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 description 22
- 230000006870 function Effects 0.000 description 15
- 230000001413 cellular effect Effects 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 230000006378 damage Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000116 mitigating effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 241000196324 Embryophyta Species 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 239000003595 mist Substances 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 240000002853 Nelumbo nucifera Species 0.000 description 1
- 235000006508 Nelumbo nucifera Nutrition 0.000 description 1
- 235000006510 Nelumbo pentapetala Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 239000000383 hazardous chemical Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 231100000614 poison Toxicity 0.000 description 1
- 230000007096 poisonous effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 231100000419 toxicity Toxicity 0.000 description 1
- 230000001988 toxicity Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D1/00—Dropping, ejecting, releasing, or receiving articles, liquids, or the like, in flight
- B64D1/02—Dropping, ejecting, or releasing articles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
- G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/55—Push-based network services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W76/00—Connection management
- H04W76/10—Connection setup
- H04W76/14—Direct-mode setup
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/15—UAVs specially adapted for particular uses or applications for conventional or electronic warfare
- B64U2101/17—UAVs specially adapted for particular uses or applications for conventional or electronic warfare for detecting, disrupting or countering communications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/20—UAVs specially adapted for particular uses or applications for use as communications relays, e.g. high-altitude platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
- B64U2101/31—UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/55—UAVs specially adapted for particular uses or applications for life-saving or rescue operations; for medical use
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
- B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U30/00—Means for producing lift; Empennages; Arrangements thereof
- B64U30/20—Rotors; Rotor supports
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U30/00—Means for producing lift; Empennages; Arrangements thereof
- B64U30/20—Rotors; Rotor supports
- B64U30/29—Constructional aspects of rotors or rotor supports; Arrangements thereof
- B64U30/294—Rotors arranged in the UAV body
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U50/00—Propulsion; Power supply
- B64U50/10—Propulsion
- B64U50/19—Propulsion using electrically powered motors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U50/00—Propulsion; Power supply
- B64U50/20—Transmission of mechanical power to rotors or propellers
- B64U50/23—Transmission of mechanical power to rotors or propellers with each propulsion means having an individual motor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U50/00—Propulsion; Power supply
- B64U50/30—Supply or distribution of electrical power
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U60/00—Undercarriages
- B64U60/50—Undercarriages with landing legs
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
用于利用无人飞行器(UAV)来监测对用户的危险的各种方法可以包括:将UAV相对于用户保持在监测位置,针对接近对象来监测用户周围的区域,检测接近对象,确定接近对象是否对用户构成危险,以及响应于确定接近对象对用户构成危险来执行一个或多个动作以减轻接近对象的危险。
Description
背景技术
车辆与行人和骑车人之间的事故是常见的。这种意外可能是由于能见度不佳、天气条件差、驾驶者和/或行人不注意、盲点及驾驶者看不到行人及反之亦然的其它原因导致的。这种意外通常会对行人或骑车人造成严重伤害或死亡。对于幼儿、老人和残疾人来说,伤害可能尤为严重。
用于防止车辆/行人事故的解决方案通常集中在车辆上。例如,可以在马路上放置标志或其它安全措施,以引起驾驶者对危险区域的注意。车辆也可以被设计为感测车辆周围的环境,并向驾驶者警告危险。一些最新高端车型包括可以检测行人/骑车人的传感器,并自动应用刹车。然而,安全解决方案一般不针对行人和骑车人。
发明内容
各种实施例包括用于利用无人飞行器(UAV)来监测对用户的危险的方法。各种实施例可以包括一种UAV,将UAV相对于用户保持在监测位置,针对接近对象来监测用户周围的区域,检测接近对象,确定接近对象是否对用户构成危险,以及响应于确定接近对象对用户构成危险来执行一个或多个动作以减轻接近对象的危险。
在一些实施例中,将UAV相对于用户保持在监测位置可以包括确定用户的一个或多个属性,以及基于用户的一个或多个属性来确定监测位置。在一些实施例中,确定用户的一个或多个属性可以包括确定用户的位置、速度和高度中的至少一者。一些实施例可以进一步包括确定与用户在一起的一个或多个另外的人的一个或多个属性,其中,确定监测位置可以进一步基于一个或多个另外的人的一个或多个属性。一些实施例可以进一步包括确定一个或多个环境条件,其中,确定监测位置可以进一步基于一个或多个环境条件。在一些实施例中,确定一个或多个环境条件可以包括确定用户周围的一个或多个静止对象的高度、照明条件、天气条件和当前时间中的至少一者。
在一些实施例中,针对接近对象来监测用户周围的区域可以包括估计针对用户的行进路径,基于针对用户的估计行进路径确定要扫描的区域,扫描所确定的区域以检测对象,估计针对检测到的对象的行进路径,以及确定用户的估计行进路径是否与检测到的对象的估计行进路径以至少预定概率相交。在一些实施例中,估计用户的行进路径可以包括基于至少用户的位置和速度估计用户的行进路径,以及估计检测到的对象的行进路径可以包括基于至少检测到的对象的位置和速度来估计检测到的对象的行进路径。在一些实施例中,预定概率可以由用户指定。在一些实施例中,可以在指定时间帧上估计用户的估计行进路径和检测到的对象的估计行进路径。在一些实施例中,确定要扫描的区域可以包括确定距用户的估计行进路径的所有点一定距离内的区域。在一些实施例中,所述距离可以由用户指定。
在一些实施例中,确定要扫描的区域还可以包括确定以下各项中的至少一项:用户周围指定半径和距用户的先前行进路径的所有点一定距离内的区域。一些实施例可以进一步包括确定用户的估计行进路径和检测到的对象的估计行进路径中的每一者的准确度的概率。在一些实施例中,扫描所确定的区域以检测对象可以包括通过设备到设备或蜂窝通信与一个或多个对象进行通信。
在一些实施例中,确定接近对象是否对用户构成危险可以包括确定针对接近对象的一个或多个属性,将所述一个或多个属性与一个或多个阈值进行比较,确定所述接近对象的一个或多个属性是否超过所述一个或多个阈值中的至少一个阈值,以及响应于确定所述接近对象的所述一个或多个属性超过所述一个或多个阈值中的至少一个阈值来确定所述接近对象对所述用户构成危险。在一些实施例中,所述一个或多个属性可以包括接近对象的位置、接近对象的速度、接近对象的大小、接近对象的类型以及接近对象的危险特性中的一者或多者。在一些实施例中,用户可以指定所述一个或多个阈值。在一些实施例中,可以通过与接近对象的设备到设备或蜂窝通信来获得所述一个或多个属性。
在一些实施例中,执行一个或多个动作可以包括以下各项中的至少一项:生成视觉警告、发出音频警告、向接近对象发送警告、向用户携带的无线通信设备发送警告、护送使用者通过危险、阻挡用户的行进路径以及阻挡接近对象的行进路径。一些实施例还可以包括确定接近对象是否仍然对用户构成危险,以及响应于确定接近对象仍然对用户构成危险来继续一个或多个动作。在一些实施例中,确定接近对象是否仍然对用户构成危险可以包括估计用户的行进路径和接近对象的行进路径中的至少一者,以及将接近对象的一个或多个属性与一个或多个阈值进行比较。
另外的实施例包括一种UAV,其包括配置有执行上述方法的操作的处理器可执行指令的处理器。另外的实施例包括一种非暂时性处理器可读储存介质,其上存储有处理器可执行软件指令,所述处理器可执行软件指令被配置为使UAV的处理器执行上述方法的操作。另外的实施例包括一种UAV,该UAV包括用于执行上述方法的操作的功能的单元。
附图说明
并入本文并且构成本说明书的一部分的附图示出了权利要求的示例性实施例,并且与本文给出的一般描述和详细描述一起用于解释权利要求的特征。
图1是示出适用于各种实施例的典型无人飞行器(UAV)系统的组件的方框图。
图2A是示出根据各种实施例的针对危险来监测用户周围的区域的UAV的图。
图2B是示出根据各种实施例的减轻对用户构成的危险的UAV的图。
图3是示出根据各种实施例的用于利用至少一个UAV来监测对用户的危险的方法的过程流程图。
图4是示出根据各种实施例的用于确定UAV相对于用户的监测位置的方法的过程流程图。
图5是示出根据各种实施例的用于针对接近对象监测用户周围的区域的方法的过程流程图。
图6是示出根据各种实施例的用于确定接近对象是否对用户构成危险的方法的过程流程图。
图7是适用于各种实施例的UAV的组件方框图。
具体实施方式
将参考附图详细描述各种实施例。尽可能地,在整个附图中将使用相同的附图标记来指代相同或相似的部分。对特定示例和实施方式的引用是为了说明性目的,并且并非旨在限制权利要求的范围。
诸如无人飞行器(UAV)的飞行器可以用于执行用于军事和民用应用的监测、侦察和勘探任务。这种飞行器可以携带被配置为执行特定功能(例如个人摄影和摄像)的有效载荷。另外,UAV可以被配置为追踪和跟随用户(例如,“跟随我”模式)。然而,UAV还没有应用于行人安全应用。
本文描述的各种系统和方法提供UAV,UAV被配置为随着用户行进(例如,在街道上或其它开放区域中)而停留在用户(例如,行人、慢跑者、骑车人等)附近,并且监测用户正在接近和/或正在接近用户的对用户的潜在危险。例如,UAV可以监测用户周围区域内的固定对象和结构,以评估这样的对象或结构是否构成潜在危险。作为另一示例,UAV可以监测诸如汽车的移动对象,以评估这样的对象是否朝向用户行进,或者将与用户的运动相交,并对用户构成潜在的危险。为了便于参考,在说明书和权利要求书中使用术语“接近对象”来指代用户正在接近的对象(即,用户朝向对象行进)、朝向用户行进的对象(即朝向用户移动的对象)以及由于用户和对象的组合运动而正在接近用户的对象。
UAV或协同工作的多个UAV可以确定相对于用户的监测位置,以及可能与用户一起行进的其他人。监测位置可以基于用户的位置、速度和高度以及各种环境条件(如灌木之类的周围对象的高度,以及当前的照明和天气条件)来确定。例如,UAV可以将其本身定位在用户面前2-3米(或其它距离),以及在用户上方1-2米(或其它距离)。
UAV可以利用各种传感器、相机、图像处理和图案识别应用、追踪算法和全球定位系统(GPS)和导航系统来针对对象扫描用户周围的区域,并确定这些对象是否对用户构成任何危险。例如,UAV可以检测到在将来的时间可能与用户的估计行进路径相交的接近车辆。UAV可以感测车辆的速度、位置、大小和/或当前交通灯状况,以确定车辆可能对用户构成危险。UAV还可以与车辆的电子系统通信,以使用设备到设备通信和/或蜂窝通信从车辆获得信息。
响应于确定接近对象确实对用户构成威胁,UAV可以执行一个或多个动作以减轻接近对象所构成的危险。这种动作可以包括向用户给出音频或视觉警告、阻挡用户的行进路径、护送用户通过危险、向用户携带的移动设备发送警告和/或向接近对象传送警告(例如,向机动车辆的电子系统发送警告)。UAV可以继续执行动作,直到危险已经过去(例如,车辆通过或为用户而停止)。随着用户行进,UAV可以继续监测危险。用户还可以在UAV上设置各种参数,以定制可以触发减轻动作的检测到的危险的各种类型、紧迫性和严重性。
术语全球定位系统(GPS)和全球导航卫星系统(GNSS)在本文中可互换使用,以用于指代各种卫星辅助导航系统中的任何一种,例如由美国部署的GPS、俄国军方使用的GLObal导航卫星系统(GLONASS)和在欧盟中民用的伽利略,以及增强基于卫星的导航信号或提供独立导航信息的陆地通信系统。
图1示出了用于本文公开的各种实施例的示例性UAV 100。UAV 100是具有固定到框架105上的四个水平配置的旋转提升螺旋桨或转子101和电机的“四轴飞行器”。框架105可以支撑控制单元110、着陆滑橇和推进电机、电源(电力单元150)(例如,电池)、有效载荷固定机构(有效载荷固定单元107)以及其它组件。
UAV 100可以提供有控制单元110。控制单元110可以包括处理器120、通信资源130、传感器140和电力单元150。处理器120可以耦合到存储器单元121和导航单元125。处理器120可以配置有用于控制UAV 100的飞行和其它操作(包括各种实施例的操作)的处理器可执行指令。在一些实施例中,处理器120可以耦合到有效载荷固定单元107和着陆单元155。处理器120可以由电力单元150(例如电池)供电。处理器120可以配置有处理器可执行指令,以控制电力单元150的充电,例如通过使用充电控制电路执行充电控制算法。替代地或另外地,电力单元150可以被配置为管理充电。处理器120可以耦合到被配置为管理驱动转子101的电机的电机系统123。电机系统123可以包括一个或多个螺旋桨驱动器。每个螺旋桨驱动器包括电机、电机轴和螺旋桨。
通过控制转子101的各个电机,可以在飞行中控制UAV 100。在处理器120中,导航单元125可以收集数据并确定UAV 100的当前位置和朝向,朝向目的地的适当路线,和/或执行特定功能的最佳方式。
导航单元125的航空电子组件126可以被配置为提供飞行控制相关信息,例如可以用于导航目的的高度、姿态、空速、航向和类似信息。航空电子组件126还可以提供可以用于导航计算中的关于UAV 100的朝向和加速度的数据。在一些实施例中,由包括航空电子组件126的导航单元125生成的信息取决于UAV 100上的传感器140的能力和类型。
控制单元110可以包括耦合到处理器120的至少一个传感器140,其可以向导航单元125和/或航空电子组件126提供数据。例如,传感器140可以包括惯性传感器,例如一个或多个加速度计(提供运动感测读数),一个或多个陀螺仪(提供旋转感测读数),一个或多个磁力计(提供方向感测)或其任何组合。传感器140还可以包括GPS接收机、气压计、温度计、音频传感器、运动传感器等。惯性传感器可以提供导航信息,例如通过航位推算,包括UAV100的位置、朝向和速度(例如,运动的方向和速率)中的至少一者。气压计可以提供用于近似UAV 100的高程水平(例如,绝对高程水平)的环境压力读数。
在一些实施例中,通信资源130可以包括GPS接收机,使得能够将GNSS信号提供给导航单元125。GPS或GNSS接收机可以通过处理从三个或更多个GPS或GNSS卫星接收的信号来向UAV 100提供三维坐标信息。GPS和GNSS接收机可以为UAV 100提供纬度、经度和高度方面的准确位置,并且通过随时间监测位置变化,导航单元125可以确定行进方向和对地速度以及高度变化率。在一些实施例中,导航单元125可以使用除了GNSS或GPS之外的附加或替代定位信号源。例如,导航单元125或一个或多个通信资源130可以包括被配置为从无线电节点接收导航信标或其它信号的一个或多个无线电接收机,无线电节点例如是导航信标(例如,甚高频(VHF)全向导航(VOR)信标)、Wi-Fi接入点、蜂窝网络站点、广播电台等。在一些实施例中,处理器120的导航单元125可以被配置为从通信资源130接收适合于确定位置的信息。在一些实施例中,UAV 100可以使用替代的定位信号源(即,除了GNSS、GPS等之外的)。由于UAV通常在低空(例如,低于400英尺)飞行,UAV 100可以扫描与具有已知位置的发射机(例如,信标、Wi-Fi接入点、蓝牙信标、小型小区(微微小区、毫微微小区等)等)相关联的本地无线电信号(例如,Wi-Fi信号、蓝牙信号、蜂窝信号等),发射机例如是在飞行路径附近的限制或不受限制区域内的信标或其它信号源。导航单元125可以在某些应用中将与替代信号源相关联的位置信息以及附加信息(例如,结合最后的可信GNSS/GPS位置的航位推算,结合UAV起飞区的位置的航位推算等)用于定位和导航。因此,UAV 100可以使用导航技术的组合来导航,包括航位推算、基于相机的UAV 100下方和周围的陆地特征的识别(例如,识别马路、地标、公路标牌等)等,其可以根据检测到的无线接入点的已知位置代替或结合GNSS/GPS位置确定和三角测量或三边测量来使用。
在一些实施例中,控制单元110可以包括相机127和成像系统129。成像系统129可以被实施为处理器120的一部分,或者可以被实施为单独的处理器,例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它逻辑电路。例如,成像系统129可以被实施为存储在存储器单元121中的可执行指令集,该可执行指令集在耦合到相机127的处理器120上执行。相机127可以包括除了图像或视频采集传感器之外的子部件,包括自动对焦电路、国际标准化组织(ISO)调整电路和快门速度调节电路等。
控制单元110可以包括一个或多个通信资源130,其可以耦合到至少一个发射/接收天线131并且包括一个或多个收发机。收发机可以包括调制器、解调器、编码器、解码器、加密模块、解密模块、放大器和滤波器中的任何一个。通信资源130能够与其它UAV、用户携带的无线通信设备(例如,智能电话)、UAV控制器和其它设备或电子系统(例如,车辆电子系统)进行设备到设备和/或蜂窝通信。
处理器120和/或导航单元125可以被配置为借助通信资源130与无线通信设备170通过无线连接(例如,蜂窝数据网络)进行通信,以从服务器接收辅助数据并向服务器提供UAV位置信息和/或其它信息。
可以在通信资源130的发射/接收天线131和无线通信设备170的发射/接收天线171之间建立双向无线通信链路132。在一些实施例中,无线通信设备170和UAV 100可以通过诸如一个或多个无线网络节点或其它通信设备之类的中间通信链路进行通信。例如,无线通信设备170可以通过蜂窝网络基站或小区信号塔连接到UAV 100的通信资源130。另外,无线通信设备170可以通过本地无线接入节点(例如,WiFi接入点)或通过在蜂窝网络中建立的数据连接与UAV 100的通信资源130进行通信。
在一些实施例中,通信资源130可以被配置为根据UAV 100的位置和高度在蜂窝连接和Wi-Fi连接之间切换。例如,在为UAV业务指定的高度飞行中时,通信资源130可以与蜂窝基础设施进行通信,以便保持与无线通信设备170的通信。例如,UAV 100可以被配置为在地面上约400英尺或更低的高度上飞行,例如可以由政府机关(如FAA)为UAV飞行业务指定。在该高度,使用短距离无线电通信链路(例如,Wi-Fi)可能难以与无线通信设备170建立通信链路。因此,当UAV 100处于飞行高度时,可以使用蜂窝电话网络来建立与无线通信设备170的通信。当UAV 100移动更接近无线接入点时,与无线通信设备170的通信可以转换到短距离通信链路(例如,Wi-Fi或蓝牙)。
尽管图1中将控制单元110的各种组件示出为单独的组件,但一些或所有组件(例如,处理器120、电机系统123、通信资源130和其它单元)可以一起整合在单个设备或单元中,例如片上系统。UAV 100和控制单元110还可以包括图1中未示出的其它组件。
UAV可以被配置为追踪和跟随用户,即所谓的“跟随我”模式。例如,UAV可以被配置为跟随用户的后面或前面(或上方)并追踪用户,例如通过摄制或拍摄用户的视频(例如,在滑雪的用户之前或之后飞行,同时录制用户的视频)。
各种实施例包括UAV,UAV被配置为在用户前面飞行,监测用户前面和周围的区域而不是拍摄用户,或除了拍摄用户以外还监测用户前面和周围的区域。UAV可以被配置为针对潜在危险监测用户周围和/或前方的区域,并向用户警告这些危险。这样的UAV可以在行人/骑车人安全及其它情况下应用,例如老年人导航向导,或大型商业或公共场所(如游乐园、停车场和购物区)中的顾客的导航辅助。
图2A-2B是示出根据各种实施例的针对危险监测用户周围区域并减轻检测到的危险的UAV(例如,100)的图。参考图1-2B,图200a包括用户202,用户202可以是在诸如人行道、马路等的开放空间中行进的行人、骑车人、慢跑者或其他人。用户202可以控制诸如UAV 100之类的UAV。例如,用户202可以具有无线通信设备(例如,无线通信设备170),例如智能电话、智能手表等,其可以用于控制UAV 100并且还从UAV 100接收消息和警告。
UAV 100可以被配置为相对于用户202保持一定的监测位置。例如,UAV 100可以利用传感器、相机、图像处理、图案识别、追踪算法、GPS、导航系统和其它硬件和/或软件组件以确定用户202的一个或多个属性。在一些实施例中,用户202的属性可以通过用户202的图像识别和追踪获得。在其它实施例中,用户202的属性可以从用户202携带的UAV 100可以与之通信的设备(例如,无线通信设备)获得。换言之,UAV 100可以追踪由用户202携带的设备,并且由设备测量和/或获得的属性可以被用作用户202的属性。属性可以包括用户202的当前位置、用户202的当前速度(即,速率和方向)、用户202的高度、用户202的大小(或用户以及伴随用户202的另外的人的大小)中的一者或多者。这些属性可以帮助确定UAV 100相对于用户202的监测位置。例如,用户202的速度可以用于确定UAV 100的速度,以便相对于用户202保持静止位置。用户202的高度可以用于确定UAV 100的高度(例如,如果用户202是孩子而不是成年人,则UAV 100可以飞得更低)。例如,对于成年慢跑者,UAV 100可以将自身定位在慢跑者前面3-4米处,并且在慢跑者上方1-2米处。因此,例如,在一些实施例中,距用户202的距离可以随着用户202的速度增加而增加,反之亦然。相比之下,对于步行的孩子,UAV 100可以将自身定位在孩子前面1-2米处,并且在孩子上方0.5米处。
如果有另外的人与用户202一起行进,UAV 100也可以确定另外的人的一个或多个属性。UAV 100可以平均所有检测到的人的属性以确定监测位置,或者可以利用属性的最小值或最大值,或者可以通过给定组中所有人的属性的其它方法来确定其监测位置。
UAV 100还可以利用传感器、相机、图像处理、图案识别、追踪算法、GPS、导航系统以及从各种通信网络(例如,移动电话网络)获得的信息来确定可能影响监测位置的某些环境条件。这种环境条件可以包括例如照明和天气条件、当前时间和附近静止物体的高度。例如,UAV 100在黑暗时或者当有雾或下雨时可以停留在更靠近用户202处。在另一个示例中,如果在用户202附近有固定物体208(例如,灌木丛),则UAV 100可以在高于固定物体208的高度飞行,以便具有周围区域的无阻碍的视野。
UAV 100可以被配置为使得用户202能够例如通过使用无线通信设备或UAV控制器来手动配置UAV 100的监测位置。例如,用户202可以指定当用户202骑自行车时UAV 100应保持在前方远处,并且可以指定当用户在黑暗中独自行走时UAV 100应保持靠近。UAV 100可以周期性地重新计算监测位置以考虑用户速度或方向的变化。
UAV 100可以针对潜在危险来监测用户202周围的区域。为了监测危险,UAV 100可以使用传感器、相机、图像处理、图案识别、追踪算法、GPS、导航系统以及其它硬件和/或软件组件来确定用户202的估计行进路径210。例如,UAV 100可以根据用户的当前位置和速度、用户的先前行进路径、导航数据(例如,如果用户202已经将目的地输入到UAV 100)、周围区域的地理信息和/或其它信息来确定在指定的未来时间帧期间用户202的可能位置和速度。例如,如果用户202正走在通向交叉路口206的街道上则UAV 100可以预测用户202可以沿相同方向继续沿着相同的街道并穿过交叉路口206。UAV 100可以确定估计行进路径210的准确度或不确定性的概率,其可以表示为估计行进路径210是准确的概率或置信度值(例如,90%准确度)、误差的标准偏差或一些其它统计表示。
UAV 100可以针对其来估计行进路径的指定时间帧可以取决于用户的当前位置和速度、UAV 100的监测位置、用户配置的偏好以及其它因素。例如,如果用户202以相对较高的速度行进(例如,骑自行车),则UAV 100可以估计用户202在下一分钟的行进路径。如果用户202以相对较慢的速度行进(例如,行走),则UAV 100可以估计用户202在接下来的30秒内的行进路径。如果UAV 100的监测位置在用户202前面很远,UAV 100就可以估计比UAV 100的监测位置更靠近用户202时更长的行进路径。用户202还可以配置UAV 100以估计用户202的行进路径达指定的未来时间帧。
UAV 100可以基于用户202的估计行进路径210来确定要扫描的区域。要扫描的区域也可以基于用户202的位置和速度或用户定义的设置。例如,如果用户202以相对较高的速度行进(例如,跑步或骑自行车)行进,则UAV 100可以扫描距离估计行进路径210的所有点高达1公里的区域。如果用户202以相对较慢的速度行进,则UAV 100可以扫描距离估计行进路径210的所有点高达0.5公里的区域。用户202还可以指定UAV 100的扫描距离。要扫描的区域可以还包括用户侧面和后面的区域,以检测可能从各方接近用户202的危险。例如,除了扫描估计行进路径210周围的区域之外,UAV 100还可以扫描用户202的当前位置的某一半径内的区域。UAV 100还可以扫描用户202的先前行进路径周围的区域。
UAV 100可以针对对象扫描所确定的区域。UAV 100可以利用传感器、相机、图像处理、图案识别、追踪算法、设备到设备和/或蜂窝通信、GPS、导航系统和其它硬件和/或软件组件来扫描确定的区域并检测区域中的对象。例如,UAV 100可以利用相机来采集确定区域的图像和视频,并使用图像处理和追踪算法来检测静止和移动对象(例如车辆、人、动物、灌木、树木、路缘石)。在一些实施例中,用户202可以设置对象的大小(和/或速度)的阈值。例如,用户202可以配置UAV 100以检测至少是车辆大小的对象,而不是人、动物或植物的大小。
UAV 100还可以与能够进行无线通信的其它对象(例如其它UAV、无线通信设备或车辆)通信,以便确定这些对象是否存在于所确定的扫描区域中。例如,UAV 100可以通过设备到设备和/或蜂窝通信协议或通过Wi-Fi与位于所确定的区域内的车辆204的电子系统进行通信。车辆204可以是自主车辆,也可以具有驾驶者。车辆204可以向UAV 100提供关于车辆204的信息,例如车辆的位置和速度。
UAV100可以估计UAV 100在所确定的扫描区域内检测到的每个对象的行进路径。该估计可以与用户202的估计行进路径210类似地执行。如果对象是静止的,则估计行进路径可以是对象保持在相同的位置。例如,UAV 100可以使用传感器、相机、图像处理、图案识别、追踪算法、GPS、导航系统以及其它硬件和/或软件组件来获得每个对象的位置和速度。UAV 100可以使用该信息来确定针对每个对象的行进路径。针对其估计行进路径的指定时间帧可以与用于用户202的估计行进路径210的相同。例如,UAV 100可以计算用户202在一分钟的持续时间内的估计行进路径210,并且还计算车辆204在一分钟的持续时间内的估计行进路径212。UAV 100可以确定估计行进路径212的准确度或不确定性的概率,其可以表示为估计行进路径212是准确的概率或置信度值(例如,90%准确度)、误差的标准偏差,或一些其它统计表示。
UAV 100可以确定任何检测到的对象的估计行进路径是否与用户202的估计行进路径210以至少预定概率相交。如果任何对象确实与估计行进路径210相交,则UAV 100可以确定对象是接近对象。UAV 100可以利用各种数学或统计分析方法来确定两个估计行进路径是否以至少预定概率相交。在一些实施例中,预定概率可以由用户202指定。例如,如果根据统计分析估计行进路径相交至少有75%的概率,则用户202可以指定认为两个估计行进路径相交。UAV 100可以确定用户202的估计行进路径210和车辆204的估计行进路径212将以85%的概率相交,并且因此满足用户202所指定的预定概率。
对于每个接近对象(即,将与用户202的估计行进路径210以至少预定概率相交的每个对象),UAV 100可以确定这些接近对象是否可能对用户构成危险。为了评估潜在的危险,UAV 100可以确定每个接近对象的一个或多个属性。属性可以包括但不限于接近对象的位置、接近对象的速度、接近对象的大小和对象的危险特性(例如,火、毒性、潜在的跌倒危险等)。可以使用UAV 100中的传感器、相机、图像处理、图案识别、追踪算法、设备到设备和/或蜂窝通信、GPS、导航系统以及其它硬件和/或软件组件来获得这些属性。属性可以在检测到接近对象并估计其行进路径时预先获得。例如,UAV 100可以使用设备到设备和/或蜂窝通信与车辆204通信,以获得针对车辆204的位置、速度、大小和其它属性。
在一些实施例中,UAV 100可以将接近对象的属性与一个或多个阈值进行比较。UAV 100可以存储每个属性的阈值,例如距离阈值、速度阈值和大小或类型阈值。如果接近对象的属性超过一个或多个阈值,则UAV 100可以确定接近对象对用户202构成危险。例如,UAV 100可以存储25公里/小时(km/h)的速度阈值,并且车辆204可以以50km/h行驶。因此,UAV 100可以确定车辆204可能对用户202构成危险。在另一个示例中,UAV 100可以存储小型乘用车的大小阈值。阈值可以通过参照示例(例如,动物、人、乘用车、卡车等)来表示,或者可以以数字形式(例如,1平方米)表示。UAV 100可以确定车辆204至少是小型乘用车的大小,因此可能对用户202构成危险。在另一示例中,UAV 100可以确定交叉路口206满足交叉路口对象的类型阈值并且可能对用户202构成危险,而不管车辆是否将穿过交叉路口206。用户202可以根据用户的偏好或当前使用情况配置每个阈值。
如果UAV 100确定接近对象的估计行进路径将与用户202的估计行进路径相交,并且接近对象的至少一个属性超过阈值,则可以认为接近对象对用户202构成危险。UAV 100可以执行一个或多个动作来减轻危险,如图200b所示。图200b示出了接近交叉路口206的用户202和车辆204。UAV 100可以执行一个或多个动作来警告用户202或车辆204,或者防止碰撞。动作可以包括但不限于向用户202生成视觉警告(例如,闪烁的灯)、向用户202发出音频警告(例如,从UAV上的扬声器)、阻挡用户202朝向对象(或与对象的交叉点)的路径、护送用户202通过对象所构成的危险、阻挡接近对象的路径、向用户202携带的无线通信设备发送警告,以及使用设备到设备和/或蜂窝通信向接近对象发送警告。例如,在图200b中,UAV100可以将自身定位在交叉路口206的前方以阻挡用户202的路径,向用户202显示视觉警告,并与车辆204通信以指示用户202正接近交叉路口206。
只要UAV 100确定接近对象仍然构成危险,UAV 100就可以继续执行一个或多个动作以减轻危险。为了确定危险是否仍然存在,UAV 100可以确定接近对象的估计行进路径是否仍然与用户202的估计行进路径在预定概率内相交,和/或接近对象的一个或多个属性是否仍然超过至少一个阈值。例如,如果车辆204已经通过交叉路口206,则UAV 100可以确定用户202的估计行进路径210和车辆204的估计行进路径212不再相交,并且因此车辆204不再构成危险。在另一示例中,UAV 100可以确定车辆204在交叉路口206前停止,因此车辆204不再构成危险。一旦危险已经过去,UAV 100可以在其监测位置继续前进,并继续针对危险扫描用户202周围的区域,并减轻检测到的危险。
在一些实施例中,可以有多于一个的UAV来监测对用户202的危险。例如,单独的UAV可以监测来自不同方向的危险或不同类型的危险(例如,一个监测车辆,另一个监测其它行人,再另一个监测无生命对象)。UAV可以使用设备到设备和/或蜂窝通信来彼此通信。可以有主UAV,其控制其它UAV,从其它UAV接收信息,确定检测到的接近对象是否对用户构成危险,并控制其它UAV执行各种动作以减轻危险。
图3示出了根据各种实施例的用于利用至少一个UAV(例如,图1-2B中的100)来监测对用户的危险的方法300。参考图1-3,方法300的操作可以由一个或多个UAV的一个或多个处理器(例如,处理器120)执行。UAV可以具有传感器、相机、图像处理、图案识别、追踪算法、设备到设备和/或蜂窝通信、GPS、导航系统以及用于检测UAV周围的对象(例如控制UAV的用户和用户附近的可以对用户构成危险的对象)的其它硬件和/或软件组件。用户可以是在开放空间中行进(例如通过马路和街道)的行人、骑车人或其他人。用户可以携带可以控制UAV的无线通信设备。
在块302中,至少一个UAV的处理器可以确定UAV相对于用户的监测位置。监测位置可以是UAV能够监测用户的行进路径中的潜在危险的位置。例如,UAV可以确定比用户高几米的监测位置,使得UAV具有到各种附近对象的视线,并且在用户前面几米,使得在用户到达UAV的位置之前有足够的时间来减轻任何检测到的危险。UAV可以根据用户的各种属性(例如,位置、速度、高度)、各种环境条件(例如,照明、天气、时间、周围的静止对象的高度)和/或类似物来确定监测位置。在一些实施例中,用户可以手动指定UAV的监测位置,因此处理器可以跳过块302中的操作。参考方法400(图4)更详细地描述了确定UAV的监测位置。
在块304中,处理器可以针对对象监测用户周围的区域。处理器可以基于用户的位置、速度、行进路径历史和/或由用户输入的导航信息来首先估计针对用户的行进路径。处理器可以利用传感器、相机、图像处理、图案识别、追踪算法、设备到设备和/或蜂窝通信、GPS、导航系统和其它硬件和/或软件组件来检测在用户的估计行进路径周围的确定区域中的移动或静止对象(例如,其他人、动物、车辆、建筑物、树木和植物、路缘石、交叉路口和其它静止或移动对象)。确定区域可以取决于用户的位置和速度,或者可以由用户手动指定。确定区域还可以包括用户周围的指定半径,和/或用户的先前行进路径周围的区域,以便扫描从用户侧面或从后方接近的危险。例如,针对对象要扫描的确定区域可以在距估计行进路径和先前行进路径的所有点0-2公里之间,以及距当前用户的当前位置的半径1公里的半径。处理器可以估计针对每个检测到的对象的行进路径,然后确定针对任何对象的估计行进路径是否与用户的估计行进路径相交。参考方法500(图5)更详细地描述了针对对象对用户周围区域进行监测。
在块306中,处理器可以检测接近对象。接近对象可以是估计行进路径与用户的估计行进路径以至少预定概率相交的对象(例如,将穿过用户将要穿过的相同交叉路口的车辆)。例如,处理器可以确定每个估计行进路径的准确度或不确定性的概率、对象或用户将实际沿行进路径而行的置信度值或概率。处理器可以进行统计分析以确定两个行进路径是否将以至少预定概率在对象的危险半径内相交。预定概率可以由用户指定。
在确定块308中,处理器可以确定接近对象是否对用户构成危险。处理器可以确定接近对象的一个或多个属性(例如,位置、速度、大小、类型、危害等),并将属性与一个或多个对应的阈值进行比较。如果属性超过阈值中的至少一个阈值,则可以认为接近对象是对用户的危险。例如,如果车辆以高速度接近并且车辆和用户处于碰撞路线上,则处理器可以确定车辆对用户构成危险。作为另一示例,如果车辆和用户的估计最接近的接近点大于阈值距离(例如,例如10英尺),则处理器可以确定车辆不对用户构成危险。作为另一示例,如果接近对象是火或危险化学品,则处理器可以确定用户的路径是否会使用户足够接近对象(基于危害的性质)而对用户构成危险。
在一些实施例和情形下,处理器可以利用设备到设备和/或蜂窝通信来与一些对象(例如,具有电子通信系统的车辆、无线通信设备、其它UAV)进行通信,并从电子对象获得属性。参考方法600(图6)更详细地描述了确定接近对象是否对用户造成危险。
响应于确定接近对象不对用户构成危险(即,确定块308=“否”),处理器可以在块304中继续针对对象监测用户周围的区域。替代地,在块302中,处理器可以重新确定UAV相对于用户的监测位置。例如,每隔几秒钟,处理器可以重新确定监测位置以考虑用户的位置和速度的变化。处理器重新确定监测位置的频率可以取决于用户的速度和其它因素。例如,如果用户以相对较高的速度行进(例如,在自行车上),则处理器可以更频繁地重新确定监测位置。
响应于确定接近对象对用户构成危险(即,确定块308=“是”),处理器可以在块310中执行一个或多个动作以减轻接近对象的危险。可以执行的动作的一些非限制性示例包括向用户生成视觉警告(例如,闪烁的灯)、向用户发出音频警告、阻挡用户的路径、护送用户通过危险、阻挡接近对象的路径、向用户携带的无线通信设备发送警告,以及使用设备到设备和/或蜂窝通信向接近对象发送警告。
处理器可以在确定块308中继续确定接近对象是否对用户构成危险。例如,处理器可以重新估计用户和接近对象的行进路径,以确定它们是否仍然相交,并且还确定接近对象的一个或多个属性是否仍然超过至少一个阈值。只要接近对象继续对用户构成危险,处理器就可以继续执行一个或多个动作以减轻动作直到危险已经过去(例如,如果车辆通过用户的行进路径,或者如果车辆停止)。以此方式,方法300提供了利用UAV来监测和减轻对在开放空间中行进的用户的危险的方法。
图4示出了根据各种实施例的用于确定UAV相对于用户的监测位置的方法400。方法400可以实施由方法300的块302表示的操作。参考图1-4,方法400的操作可以由一个或多个UAV的一个或多个处理器(例如,处理器120)执行。UAV可以具有传感器、相机、图像处理、图案识别、追踪算法、GPS、导航系统以及用于检测UAV周围的对象(例如控制UAV的用户和用户附近的可以对用户构成危险的对象)的其它硬件和/或软件组件。用户可以是在开放空间中行进(例如通过马路和街道)的行人、骑车人或其他人。用户可以携带可以控制UAV的无线通信设备。
在块402中,UAV处理器可以确定用户的一个或多个属性。属性可以包括但不限于用户的位置、速度和用户的高度。这些属性可以例如确定UAV应该位于用户前面多远,UAV可以位于用户上方多高以及UAV应该多快地移动以便跟上用户。UAV可以利用传感器、相机、图像处理、图案识别、追踪算法、GPS、导航系统以及其它硬件和/或软件组件来采集用户的图像和移动,并将该信息与GPS和导航数据组合。在一些实施例中,UAV可以与用户携带的设备(例如,无线通信设备)通信,并从该设备获得用户的一个或多个属性。例如,设备可以确定其当前位置和速度,这也是用户的相同位置和速度,并将信息发送到UAV。
在块404中,处理器可以任选地确定与用户一起行进的一个或多个另外的人的一个或多个属性。如果用户正在与一组人群一起行进,则处理器还可以确定组中每个人的属性(例如,位置、速度、高度)。这允许UAV能够监测对整组人的危险。另外的人的属性可以以与用户的属性相似的方式获得。
在块406中,处理器可以确定可以影响UAV的监测位置的一个或多个环境条件。环境条件可以包括但不限于照明条件、天气条件、当前时间和附近静止对象的高度。例如,UAV应该在夜间或者在有雾、下雨或下雪时保持更接近用户。在另一示例中,附近对象的高度可以确定UAV的高度,以使得UAV的相机和传感器不被对象阻挡。处理器可以利用传感器、相机、图像处理、图案识别、追踪算法、GPS、导航系统以及通过网络连接获得的信息(例如,利用卫星或移动电话网络数据来确定当前天气)来确定一个或多个环境条件。
在块408中,处理器可以基于用户和与用户在一起的任何另外的人的一个或多个属性以及一个或多个环境条件来确定UAV的监测位置。例如,如果用户是在街道上行走的小孩,则处理器可以确定UAV的监测位置可以在用户前面1米,且在用户上方0.5米。如果用户是晚上独自行走的成年人,则处理器可以确定UAV的监测位置可以在用户前面2米,且在用户上方1米。如果用户骑自行车,则处理器可以确定UAV的监测位置可以在用户前面3米,且在用户上方2米。如果有多个人一起行进,则处理器可以平均所有人的属性、采用最小或最大属性值或其它方法,以便确定监测位置。例如,UAV的高度可以根据最高的人的高度来确定,或者UAV的速度可以根据组中每个人的速度的平均值来确定。处理器可以在方法300的块304中针对对象监测用户周围的区域。
图5示出了根据各种实施例的利用UAV来针对对象监测用户周围的区域的方法500。方法500可以实施由方法300的块304表示的操作。参考图1-5,方法500的操作可以由一个或多个UAV的一个或多个处理器(例如,处理器120)执行。UAV可以具有传感器、相机、图像处理、图案识别、追踪算法、设备到设备和/或蜂窝通信、GPS、导航系统以及用于检测UAV周围的对象(例如控制UAV的用户和用户附近的可以对用户构成危险的对象)的其它硬件和/或软件组件。用户可以是在开放空间中行进(例如通过马路和街道)的行人、骑车人或其他人。用户可以携带可以控制UAV的无线通信设备。
在方法300的块302中,在确定UAV相对于用户的监测位置之后,处理器可以在块502中估计针对用户的行进路径。估计行进路径可以是用户在指定的未来时间帧内最有可能跟随的行进路径。例如,处理器可以确定用户在下一分钟最可能的行进路径。用于在其上估计行进路径的指定时间帧可以取决于用户的位置和速度(例如,如果用户行进较快,则用于估计的时间帧可以更长),或者可以由用户手动指定。
处理器可以根据用户的当前位置和速度、用户的先前行进路径、导航数据(例如,如果用户已经将目的地输入到UAV)、周围区域的地理信息和/或其它信息估计用户在给定时间帧上的未来位置、速度和行进路径。UAV可以使用UAV中的传感器、相机、图像处理、图案识别、追踪算法、GPS、导航系统和其它硬件和/或软件组件来收集该信息。例如,如果用户正走在通向交叉路口的街道上,则处理器可以确定用户可以沿相同方向继续沿着相同的街道走下去,并且在下一分钟内穿过交叉路口。估计行进路径继而在下一分钟可以是沿着街道的直线路径。处理器可以确定行进路径的估计的准确度或不确定性的概率,其可以表示为估计行进路径准确的概率或置信度值(例如,90%准确度)、误差的标准偏差或一些其它的统计表示。
在块504中,处理器可以基于用户的估计行进路径来确定要扫描的区域。例如,处理器可以确定应当扫描距估计行进路径中的任何点一定距离内的所有区域。要扫描的区域也可以基于用户的位置和速度。例如,如果用户以相对较高的速度行进,则处理器可以将扫描区域确定为距估计行进路径的所有点高达1公里的区域。如果用户以相对较慢的速度行进,则UAV将扫描区域确定为距估计行进路径的所有点0.5公里的区域。要扫描的区域还可以包括自用户的当前位置的指定半径,和/或还可以包括用户的先前行进路径周围的区域(例如,距先前行进路径的所有点高达1公里)。这可以允许UAV扫描从侧面或从后面接近用户的危险。在一些实施例中,用户可以手动指定用于UAV的确定的扫描区域,并且因此处理器可以不执行块504中的操作。
在块506中,处理器可以针对一个或多个对象扫描所确定的区域。处理器可以利用传感器、相机、图像处理、图案识别、追踪算法、设备到设备和/或蜂窝通信、GPS、导航系统以及其它硬件和/或软件组件来扫描该区域并检测对象。例如,相机可以用于采集确定区域内的图像和视频,并且图像处理、图案识别和追踪算法可以用于从图像和视频中检测和识别对象。对象可以包括诸如动物、其他人和车辆之类的移动对象,以及诸如树、灌木丛、交叉路口、消防栓、邮箱和街道路缘石之类的静止对象。在一些实施例中,可以存在用于检测对象的大小阈值,其可由用户手动指定。例如,UAV可以被配置为检测至少车辆大小的对象,并忽略小于车辆的对象。
处理器可以利用设备到设备和/或蜂窝通信或Wi-Fi来检测一些对象。例如,UAV可以通过各种通信协议与车载电子系统、无线通信设备或其它UAV进行通信,以检测车辆、设备和人员在确定区域内的存在。处理器还可以从对象获得各种属性,例如对象的位置、速度、大小和危险性质。
在块508中,处理器可以估计所确定的区域中的检测到的对象的行进路径。该估计可以类似于用户的行进路径的估计。例如,处理器可以根据检测到的对象的当前位置和速度、检测到的对象的先前行进路径(如果已知)、周围区域的地理信息和/或其它信息来确定检测到的对象在指定时间帧上的未来位置、速度和行进路径。如果检测到的对象是静止的,则行进路径可以是对象保持在相同的位置。针对其估计行进路径的指定时间帧可以与用于估计用户的行进路径的相同。例如,处理器可以估计用户和检测到的对象在下一分钟的行进路径。处理器可以确定针对检测到的对象的行进路径的估计的准确度或不确定性的概率,其可以表示为估计行进路径准确的概率或置信度值(例如,90%准确度)、误差的标准偏差或一些其它的统计表示。
在确定块510中,处理器可以确定用户和检测到的对象的估计行进路径是否以至少预定的概率相交。处理器可以利用数学或统计分析方法来确定两个估计行进路径是否将以至少预定概率相交。预定概率可以由用户手动指定,或者UAV可以存储默认值。例如,如果根据统计分析估计行进路径相交至少有75%的概率,则用户可以指定认为两个估计行进路径相交。针对用户的估计行进路径可以是95%准确的,并且检测到的对象的估计行进路径可以是90%准确的。在此情况下,两个估计行进路径准确的总体概率可以计算为95%×90%=85.5%。这超过了用户指定的预定概率,并且因此处理器可以确定用户和检测到的对象的估计行进路径以至少预定概率相交。
响应于确定用户和检测到的对象的估计行进路径不以至少预定概率相交(即,确定块510=“否”),处理器可以在块506和508中针对对象继续扫描确定区域并针对每个检测到的对象估计行进路径。换言之,处理器可以针对可以与用户的估计行进路径相交的对象继续监测确定区域。
响应于确定用户和检测到的对象的估计行进路径以至少预定概率相交(即,确定块510=“是”),处理器可以确定检测到的对象应被视为如方法300的块306中所述的接近对象,
图6示出了根据各种实施例的用于由UAV确定接近对象是否对用户构成危险的方法600。方法600可以实施由方法300的确定块308表示的操作。参考图1-6,方法600的操作可以由一个或多个UAV的一个或多个处理器(例如,处理器120)执行。UAV可以具有传感器、相机、图像处理、图案识别、追踪算法、设备到设备和/或蜂窝通信、GPS、导航系统以及用于检测UAV周围的对象(例如控制UAV的用户和用户附近的可以对用户构成危险的对象)的其它硬件和/或软件组件。用户可以是在开放空间中行进(例如通过马路和街道)的行人、骑车人或其他人。用户可以携带可以控制UAV的无线通信设备。
在方法300的块306中检测到接近对象之后,处理器可以在块602中确定接近对象的一个或多个属性。一个或多个属性可以包括但不限于接近对象的位置、速度、大小、对象类型、危险性质(如毒物、热、绊倒风险、攻击潜力等)。可以使用UAV中的传感器、相机、图像处理、图案识别、追踪算法、设备到设备和/或蜂窝通信、GPS、导航系统以及其它硬件和/或软件组件来获得一个或多个属性。如果接近对象能够进行设备到设备通信和/或蜂窝通信和/或Wi-Fi通信(例如,车辆电子系统、另一UAV、无线通信设备),则UAV还可以与接近对象进行通信以获得属性。当处理器估计接近对象的行进路径时,可以预先获得属性。
在块604中,处理器可以将接近对象的一个或多个属性与一个或多个阈值进行比较。UAV可以在存储器中存储每个属性的对应阈值(例如,速度阈值、距离阈值、大小阈值、类型阈值)。阈值的值可以由用户手动指定。
在确定块606中,处理器可以确定接近对象的一个或多个属性是否超过一个或多个阈值中的至少一个阈值。例如,处理器可以确定接近对象的速度是否超过速度阈值,接近对象的大小是否超过大小阈值,和/或接近对象的位置是否在距离阈值内。
响应于确定接近对象的一个或多个属性超过一个或多个阈值中的至少一个阈值(即,确定块606=“是”),处理器可以在方法300的块310中执行一个或多个动作以减轻接近对象的危险。
响应于确定接近对象的一个或多个属性不超过一个或多个阈值中的至少一个阈值(即,确定块606=“否”),处理器可以在块304中针对对象继续监测用户周围的区域,或者替代地在方法300的块302中重新确定UAV相对于用户的监测位置。
各种实施例可以在各种UAV内实现,其中,图7中示出了四转子UAV的形式的示例,其适用于各种实施例。参考图1-7,UAV 100可以包括可以由适合于飞行的塑料、金属或其它材料的任何组合制成的主体700(即机身、框架等)。主体700可以包括处理器730,其被配置为监测和控制UAV 100的各种功能、子系统和/或其它组件。例如,处理器730可以被配置为监测和控制UAV 100的各种功能,例如与推进、导航、电源管理、传感器管理和/或稳定性管理相关的模块、软件、指令、电路、硬件等的任何组合。
处理器730可以包括一个或多个处理单元701,例如被配置为执行处理器可执行指令(例如,应用、例程、脚本、指令集等)的一个或多个处理器,被配置为存储数据(例如,飞行计划、获得的传感器数据、接收的消息、应用等)的存储器和/或储存单元702,以及用于发送和接收无线信号的无线收发机704和天线706(例如,无线电和天线、RF等)。在一些实施例中,UAV 100还可以包括用于经由诸如蜂窝网络收发机或芯片和相关天线(未示出)的各种广域网进行通信的组件。在一些实施例中,UAV 100的处理器730还可以包括用于从操作者接收数据和/或用于收集指示与UAV 100相关的各种条件的数据的各种输入单元708。例如,输入单元708可以包括相机、麦克风、位置信息功能(例如,用于接收GPS坐标的全球定位系统(GPS)接收机)、飞行仪器(例如姿态指示器、陀螺仪、加速度计、高度计、罗盘等)、键盘等。处理器730的各种组件可以经由总线710或其它类似的电路连接。
主体700可以包括具有各种设计和目的的起落架720,例如支腿、滑橇、轮子、浮筒等。主体700还可以包括有效载荷机构721,其被配置为保持、钩住、抓住、包围和以其它方式携带各种有效载荷,如箱体。在一些实施例中,有效载荷机构721可以包括和/或耦合到致动器、轨迹、轨道、压舱物、电机和其它组件,以用于调整由UAV 100承载的有效载荷的位置和/或朝向。例如,有效载荷机构721可以包括可移动地附接到轨道的箱体,以使得箱内的有效载荷可以沿着轨道来回移动。有效载荷机构721可以耦合到处理器730,并且因此可以被配置为接收配置或调整指令。例如,有效载荷机构721可以被配置为基于从处理器730接收的指令来启用电机以重新定位有效载荷。
UAV 100可以是直升机设计,其利用由对应的电机722驱动的一个或多个转子724来提供垂直升空(或起飞)以及其它空中运动(例如,向前前进、上升、下降、横向运动、倾斜、旋转等)。UAV 100可以利用多个电机722和对应的转子724来垂直升空并提供空中推进。例如,UAV 100可以是配备有四个电机722和对应转子724的“四轴飞行器”。电机722可以耦合到处理器730,并且因此可以被配置为从处理器730接收操作指令或信号。例如,电机722可以被配置为基于从处理器730接收的指令来增加其对应转子724的转速等。在一些实施例中,电机722可以由处理器730独立控制,以使得一些转子724可以以不同的速度启用,使用不同的功率量,和/或提供不同输出级,以用于移动UAV 100。例如,主体700一侧上的电机722可以被配置为使其对应转子724以比主体700的相对侧上的转子724更高的每分钟旋转速度(RPM)旋转,以平衡负载有偏心有效载荷的UAV 100。
主体700可以包括电源712,电源712可被耦合到并配置为为UAV 100的各种其它组件供电。例如,电源712可以是可充电电池,以用于提供电力来操作电机722、有效载荷机构721和/或处理器730的单元。
本文描述的各种处理器可以是任何可编程微处理器、微计算机或多处理器芯片或多个芯片,其可以由软件指令(应用程序)来配置以执行各种功能,功能包括本文所述的各种实施例的功能。在各种设备中,可以提供多个处理器,例如专用于无线通信功能的一个处理器和专用于运行其它应用程序的一个处理器。通常,软件应用程序可以在被访问并加载到处理器之前存储在内部存储器中。处理器可以包括足以存储应用软件指令的内部存储器。在许多设备中,内部存储器可以是易失性或非易失性存储器,例如闪速存储器,或二者的混合。为了本说明书的目的,对存储器的一般引用是指可由处理器访问的存储器,包括内部存储器或插入各种设备中的可移动存储器以及处理器内的存储器。
仅仅作为示例来提供了所示和所述的各种实施例以描述权利要求的各种特征。然而,关于任何给定实施例所示和所述的特征不一定限于相关联的实施例,并且可以与所示和所述的其它实施例一起使用或组合。此外,权利要求并非旨在受任何一个示例性实施例的限制。
前述方法描述和过程流程图仅作为说明性示例提供,并且并非旨在要求或暗示各种实施例的操作必须以所呈现的顺序执行。如本领域技术人员将理解的,可以以任何顺序执行前述实施例中的步骤的顺序。诸如“此后”、“然后”、“下一个”等的词语并非旨在限制步骤的顺序;这些单词用于指导读者完成方法的描述。此外,例如使用冠词“一”、“一个”或“所述”的对单数形式的权利要求要素的引用不应被解释为将要素限制为单数。
结合本文所公开的实施例描述的各种说明性的逻辑块、模块、电路和算法步骤可以实施为电子硬件、计算机软件或二者的组合。为了清楚地说明硬件和软件之间的这种可互换性,上面在功能方面对各种说明性组件、块、模块、电路和步骤进行了总体描述。这种功能是被实施为硬件还是软件,取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用,以变通的方式实现所描述的功能,但是,不应将这种实现决策解释为脱离本权利要求的范围。
可以利用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立门或晶体管逻辑单元、分立硬件组件或者被设计用于执行本文所述功能的其任何组合,来实施或执行用于实施结合本文公开的各方面描述的各种说明性逻辑单元、逻辑块、模块和电路的硬件。通用处理器可以是微处理器,但是替代地,该处理器也可以是任何常规的处理器、控制器、微控制器或者状态机。处理器也可以被实施为接收机智能对象的组合,例如,DSP和微处理器的组合、多个微处理器的组合、一个或多个微处理器与DSP内核的组合或者任何其它此种构造。替代地,一些步骤或方法可以由专用于给定功能的电路来执行。
在一个或多个示例性方面中,所描述的功能可以在硬件、软件、固件或其任何组合中实施。当在软件中实施时,该功能可以作为一个或多个指令或代码存储在非暂时性计算机可读储存介质或非暂时性处理器可读储存介质上。本文公开的方法或算法的步骤可以体现在处理器可执行软件中,其可以驻留在非暂时性计算机可读或处理器可读储存介质上。非暂时性计算机可读或处理器可读储存介质可以是可由计算机或处理器访问的任何储存介质。通过示例而非限制的方式,这样的非暂时性计算机可读或处理器可读储存介质可以包括随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、闪速存储器、紧致光盘ROM(CD-ROM)或其它光盘储存设备、磁盘储存设备或其它磁储存智能对象或者任何其它介质,所述其它介质可以用于以指令或数据结构的形式存储所需程序代码并且能够被计算机访问。本文所使用的磁盘和光盘包括CD、激光盘、光盘、数字多功能光盘(DVD)、软盘和蓝光盘,其中,磁盘通常磁性地再现数据,而光盘通常利用激光光学地再现数据。本文所述的存储器的组合也包括在非暂时性计算机可读和处理器可读储存介质的范围内。另外,方法或算法的操作可以作为代码和/或指令中的一个或任何组合或集合驻留在非暂时性处理器可读储存介质和/或计算机可读储存介质上,其可以并入计算机程序产品中。
提供了所公开的实施例的前述说明,以使所属领域的任何技术人员能够实现或使用本权利要求。对这些实施例的各种修改对于本领域技术人员将是显而易见的,在不脱离权利要求的精神或范围的情况下,本文所定义的一般原理可以应用于一些实施例。因此,权利要求不旨在限于本文所示的实施例,而应被给予与所附权利要求书及本文公开的原理和新颖特征一致的最宽范围。
Claims (41)
1.一种用于利用无人飞行器(UAV)来监测对用户的危险的方法,所述方法包括:
将所述UAV相对于所述用户保持在监测位置;
由所述UAV针对接近对象来监测所述用户周围的区域;
由所述UAV检测接近对象;
由所述UAV确定所述接近对象是否对所述用户构成危险;以及
由所述UAV响应于确定所述接近对象对所述用户构成危险来执行一个或多个动作以减轻所述接近对象的所述危险。
2.根据权利要求1所述的方法,其中,将UAV相对于所述用户保持在监测位置包括:
由所述UAV确定所述用户的一个或多个属性;以及
由所述UAV基于所述用户的所述一个或多个属性来确定所述监测位置。
3.根据权利要求2所述的方法,其中,确定所述用户的所述一个或多个属性包括确定所述用户的位置、速度和高度中的至少一者。
4.根据权利要求2所述的方法,进一步包括:
由所述UAV确定与所述用户在一起的一个或多个另外的人的一个或多个属性,
其中,确定所述监测位置是进一步基于所述一个或多个另外的人的所述一个或多个属性的。
5.根据权利要求2所述的方法,进一步包括:
由所述UAV确定一个或多个环境条件;
其中,确定所述监测位置是进一步基于所述一个或多个环境条件的。
6.根据权利要求5所述的方法,其中,确定一个或多个环境条件包括:确定所述用户周围的一个或多个静止对象的高度、照明条件、天气条件或当前时间中的至少一者。
7.根据权利要求1所述的方法,其中,针对接近对象来监测所述用户周围的所述区域包括:
由所述UAV估计针对所述用户的行进路径;
由所述UAV基于所估计的针对所述用户的行进路径来确定要扫描的区域;
由所述UAV扫描所确定的区域以检测对象;
由所述UAV估计针对检测到的对象的行进路径;以及
由所述UAV确定所述用户的所估计的行进路径是否与所述检测到的对象的所估计的行进路径以至少预定概率相交。
8.根据权利要求7所述的方法,其中:
估计所述用户的所述行进路径包括至少基于所述用户的位置和速度来估计所述用户的所述行进路径;以及
估计所述检测到的对象的所述行进路径包括至少基于所述检测到的对象的位置和速度来估计所述检测到的对象的所述行进路径。
9.根据权利要求7所述的方法,其中,所述预定概率是由所述用户指定的。
10.根据权利要求7所述的方法,其中,所述用户的所估计的行进路径和所述检测到的对象的所估计的行进路径是在指定时间帧上估计的。
11.根据权利要求7所述的方法,其中,确定要扫描的所述区域包括确定距所述用户的所估计的行进路径的所有点一定距离内的区域。
12.根据权利要求11所述的方法,其中,所述距离是由所述用户指定的。
13.根据权利要求7所述的方法,其中,确定要扫描的所述区域进一步包括确定以下各项中的至少一项:所述用户周围的指定半径和距所述用户的先前行进路径的所有点一定距离内的区域。
14.根据权利要求7所述的方法,进一步包括确定所述用户的所估计的行进路径和所述检测到的对象的所估计的行进路径中的每一者的准确度的概率。
15.根据权利要求7所述的方法,其中,扫描所确定的区域以检测对象包括通过设备到设备通信或蜂窝通信与一个或多个对象进行通信。
16.根据权利要求1所述的方法,其中,确定所述接近对象是否对所述用户构成危险包括:
由所述UAV确定针对所述接近对象的一个或多个属性;
由所述UAV将所述一个或多个属性与一个或多个阈值进行比较;
由所述UAV确定所述接近对象的所述一个或多个属性是否超过所述一个或多个阈值中的至少一个阈值;以及
由所述UAV响应于确定所述接近对象的所述一个或多个属性超过所述一个或多个阈值中的至少一个阈值,来确定所述接近对象对所述用户构成危险。
17.根据权利要求16所述的方法,其中,所述一个或多个属性包括所述接近对象的位置、所述接近对象的速度、所述接近对象的大小、所述接近对象的类型以及所述接近对象的危险特性中的一者或多者。
18.根据权利要求16所述的方法,其中,所述一个或多个阈值是由所述用户指定的。
19.根据权利要求16所述的方法,其中,所述一个或多个属性是通过与所述接近对象的设备到设备通信或蜂窝通信来获得的。
20.根据权利要求1所述的方法,其中,执行所述一个或多个动作包括以下各项中的至少一项:生成视觉警告、发出音频警告、向所述接近对象发送警告、向所述用户携带的无线通信设备发送警告、护送所述用户通过所述危险、阻挡所述用户的行进路径或阻挡所述接近对象的行进路径。
21.根据权利要求1所述的方法,进一步包括:
由所述UAV确定所述接近对象是否仍然对所述用户构成危险;以及
由所述UAV响应于确定所述接近对象仍然对所述用户构成危险来继续所述一个或多个动作。
22.根据权利要求21所述的方法,其中,确定所述接近对象是否仍然对所述用户构成危险包括以下各项中的至少一项:
由所述UAV估计所述用户的行进路径和所述接近对象的行进路径;以及
由所述UAV将所述接近对象的一个或多个属性与一个或多个阈值进行比较。
23.一种无人飞行器(UAV),包括:
处理器,其被配置有处理器可执行指令,以进行以下操作:
将所述UAV相对于用户保持在监测位置;
针对接近对象来监测所述用户周围的区域;
检测接近对象;
确定所述接近对象是否对所述用户构成危险;以及
响应于确定所述接近对象对所述用户构成危险来执行一个或多个动作以减轻所述接近对象的所述危险。
24.根据权利要求23所述的UAV,其中,所述处理器进一步被配置有处理器可执行指令,以用于通过以下操作来将所述UAV相对于所述用户保持在监测位置:
确定所述用户的一个或多个属性;以及
基于所述用户的所述一个或多个属性来确定所述监测位置。
25.根据权利要求24所述的UAV,其中,所述处理器进一步被配置有处理器可执行指令,以确定所述用户的一个或多个属性,所述一个或多个属性包括所述用户的位置、速度和高度中的至少一者。
26.根据权利要求24所述的UAV,其中,所述处理器进一步被配置有处理器可执行指令,以进行以下操作:
确定与所述用户在一起的一个或多个另外的人的一个或多个属性,
其中,确定所述监测位置是进一步基于所述一个或多个另外的人的所述一个或多个属性的。
27.根据权利要求24所述的UAV,其中,所述处理器进一步被配置有处理器可执行指令,以进行以下操作:
确定一个或多个环境条件;
其中,确定所述监测位置是进一步基于所述一个或多个环境条件的。
28.根据权利要求27所述的UAV,其中,所述处理器进一步被配置有处理器可执行指令,以确定一个或多个环境条件,所述一个或多个环境条件包括所述用户周围的一个或多个静止对象的高度、照明条件、天气条件或当前时间中的至少一者。
29.根据权利要求23所述的UAV,其中,所述处理器进一步被配置有处理器可执行指令,以通过以下操作针对接近对象来监测所述用户周围的所述区域:
估计针对所述用户的行进路径;
基于所估计的针对所述用户的行进路径来确定要扫描的区域;
扫描所确定的区域以检测对象;
估计针对所述检测到的对象的行进路径;以及
确定所述用户的所估计的行进路径是否与所述检测到的对象的所估计的行进路径以至少预定概率相交。
30.根据权利要求29所述的UAV,其中,所述处理器进一步被配置有处理器可执行指令,以进行以下操作:
至少基于所述用户的位置和速度来估计所述用户的所述行进路径;以及
至少基于所述检测到的对象的位置和速度来估计所述检测到的对象的所述行进路径。
31.根据权利要求29所述的UAV,其中,所述处理器进一步被配置有处理器可执行指令,以在指定时间帧上估计所述用户的所述行进路径和估计所述检测到的对象的所述行进路径。
32.根据权利要求29所述的UAV,其中,所述处理器进一步被配置有处理器可执行指令,以确定所述要扫描的区域,所述要扫描的区域包括距所述用户的所估计的行进路径的所有点一定距离内的区域。
33.根据权利要求29所述的UAV,其中,所述处理器进一步被配置有处理器可执行指令,以确定所述要扫描的区域,所述要扫描的区域包括以下各项中的至少一项:所述用户周围的指定半径和距所述用户的先前行进路径的所有点一定距离内的区域。
34.根据权利要求29所述的UAV,其中,所述处理器进一步被配置有处理器可执行指令,以借助通过设备到设备通信或蜂窝通信与一个或多个对象进行通信,来扫描所确定的区域以检测对象。
35.根据权利要求23所述的UAV,其中,所述处理器进一步被配置有处理器可执行指令,以通过以下操作来确定所述接近对象是否对所述用户构成危险:
确定针对所述接近对象的一个或多个属性;
将所述一个或多个属性与一个或多个阈值进行比较;
确定所述接近对象的所述一个或多个属性是否超过所述一个或多个阈值中的至少一个阈值;以及
响应于确定所述接近对象的所述一个或多个属性超过所述一个或多个阈值中的至少一个阈值,来确定所述接近对象对所述用户构成危险。
36.根据权利要求35所述的UAV,其中,所述一个或多个属性包括所述接近对象的位置、所述接近对象的速度、所述接近对象的大小、所述接近对象的类型或所述接近对象的危险特性中的一者或多者。
37.根据权利要求23所述的UAV,其中,所述一个或多个动作包括以下各项中的至少一项:生成视觉警告、发出音频警告、向所述接近对象发送警告、向所述用户携带的无线通信设备发送警告、护送所述用户通过所述危险、阻挡所述用户的行进路径或阻挡所述接近对象的行进路径。
38.根据权利要求23所述的UAV,其中,所述处理器进一步被配置有处理器可执行指令,以进行以下操作:
确定所述接近对象是否仍然对所述用户构成危险;以及
响应于确定所述接近对象仍然对所述用户构成危险来继续所述一个或多个动作。
39.根据权利要求38所述的UAV,其中,所述处理器进一步被配置有处理器可执行指令,以确定所述接近对象是否仍然对所述用户构成危险,确定所述接近对象是否仍然对所述用户构成危险包括以下各项中的至少一项:
估计所述用户的行进路径和所述接近对象的行进路径;以及
将所述接近对象的一个或多个属性与一个或多个阈值进行比较。
40.一种非暂时性计算机可读储存介质,其上存储有处理器可执行软件指令,所述处理器可执行软件指令被配置为使无人飞行器(UAV)的处理器执行包括以下各项的操作:
将所述UAV相对于用户保持在监测位置;
针对接近对象来监测所述用户周围的区域;
检测接近对象;
确定所述接近对象是否对所述用户构成危险;以及
响应于确定所述接近对象对所述用户构成危险来执行一个或多个动作以减轻所述接近对象的所述危险。
41.一种无人飞行器(UAV),包括:
用于将所述UAV相对于用户保持在监测位置的单元;
用于针对接近对象来监测所述用户周围的区域的单元;
用于检测接近对象的单元;
用于确定所述接近对象是否对所述用户构成危险的单元;以及
用于响应于确定所述接近对象对所述用户构成危险来执行一个或多个动作以减轻所述接近对象的所述危险的单元。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/221,711 | 2016-07-28 | ||
US15/221,711 US10351237B2 (en) | 2016-07-28 | 2016-07-28 | Systems and methods for utilizing unmanned aerial vehicles to monitor hazards for users |
PCT/US2017/033794 WO2018022177A1 (en) | 2016-07-28 | 2017-05-22 | Systems and methods for utilizing unmanned aerial vehicles to monitor hazards for users |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109564437A true CN109564437A (zh) | 2019-04-02 |
CN109564437B CN109564437B (zh) | 2020-06-09 |
Family
ID=59071075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201780045666.0A Active CN109564437B (zh) | 2016-07-28 | 2017-05-22 | 用于利用无人飞行器监测对用户的危险的系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10351237B2 (zh) |
EP (1) | EP3491478B1 (zh) |
CN (1) | CN109564437B (zh) |
TW (1) | TW201823898A (zh) |
WO (1) | WO2018022177A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112037579A (zh) * | 2019-06-03 | 2020-12-04 | 索尼公司 | 监测载具移动以减轻交通风险 |
CN112180401A (zh) * | 2019-07-02 | 2021-01-05 | 诺基亚通信公司 | 移动对象的位置确定 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10173776B2 (en) * | 2016-08-25 | 2019-01-08 | International Business Machines Corporation | Aerial drone for deploying a warning sign |
CN108279694B (zh) * | 2017-01-05 | 2022-12-02 | 三星电子株式会社 | 电子设备及其控制方法 |
US10600295B2 (en) * | 2017-05-05 | 2020-03-24 | Tg-17, Inc. | System and method for threat monitoring, detection, and response |
US10654570B2 (en) | 2017-06-05 | 2020-05-19 | International Business Machines Corporation | Vehicular alert system |
JP6839625B2 (ja) * | 2017-07-27 | 2021-03-10 | 京セラ株式会社 | 飛行体、通信端末、及びプログラム |
US20190114920A1 (en) * | 2017-10-13 | 2019-04-18 | Aptiv Technologies Limited | Automated vehicle safety system that protects pedestrians |
US10829110B2 (en) * | 2017-10-26 | 2020-11-10 | Robert Bosch Gmbh | Method and device for adapting a driving behavior of a semi, highly or fully automated vehicle |
WO2019168793A1 (en) * | 2018-02-28 | 2019-09-06 | Walmart Apollo, Llc | System and method for indicating drones flying overhead |
US10300888B1 (en) * | 2018-03-06 | 2019-05-28 | GM Global Technology Operations LLC | Performing remote vehicle commands using live camera supervision |
US11216954B2 (en) * | 2018-04-18 | 2022-01-04 | Tg-17, Inc. | Systems and methods for real-time adjustment of neural networks for autonomous tracking and localization of moving subject |
US11454975B2 (en) * | 2018-06-28 | 2022-09-27 | Uatc, Llc | Providing actionable uncertainties in autonomous vehicles |
US10926876B2 (en) | 2018-10-24 | 2021-02-23 | Here Global B.V. | Traffic control system, controller and method for directing vehicle behavior at a defined spatial location |
US11235872B2 (en) * | 2018-10-26 | 2022-02-01 | Here Global B.V. | Method and apparatus for utilizing an unmanned air vehicle to define or provide guidance along a route |
US10685679B1 (en) * | 2018-11-27 | 2020-06-16 | Canon Kabushiki Kaisha | System and method of determining a virtual camera path |
US20200285255A1 (en) * | 2019-03-08 | 2020-09-10 | Here Global B.V. | Method and apparatus for providing drone-based alerting of movement of a part of a vehicle into a path of travel |
CN110210638A (zh) * | 2019-06-04 | 2019-09-06 | 北京百度网讯科技有限公司 | 无人公共交通车辆预约链接推送方法和装置、设备、介质 |
US11776396B2 (en) | 2019-12-17 | 2023-10-03 | Denso International America, Inc. | Intersection infrastructure warning system |
JP7501094B2 (ja) * | 2020-05-19 | 2024-06-18 | マツダ株式会社 | 車両の駐車位置報知システム |
US11493586B2 (en) * | 2020-06-28 | 2022-11-08 | T-Mobile Usa, Inc. | Mobile proximity detector for mobile electronic devices |
US11879745B2 (en) * | 2020-07-20 | 2024-01-23 | Ford Global Technologies, Llc | Systems and methods for facilitating a final leg of a journey |
CN114829896A (zh) * | 2020-11-27 | 2022-07-29 | 乐天集团股份有限公司 | 感测系统、感测数据取得方法、及控制装置 |
US11532221B1 (en) * | 2021-08-05 | 2022-12-20 | Ford Global Technologies, Llc | System and method for vehicle security monitoring |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150134143A1 (en) * | 2013-10-04 | 2015-05-14 | Jim Willenborg | Novel tracking system using unmanned aerial vehicles |
WO2016029169A1 (en) * | 2014-08-22 | 2016-02-25 | Cape Productions Inc. | Methods and apparatus for unmanned aerial vehicle autonomous aviation |
US20160059962A1 (en) * | 2014-09-03 | 2016-03-03 | International Business Machines Corporation | Unmanned aerial vehicle for hazard detection |
CN105517664A (zh) * | 2014-05-30 | 2016-04-20 | 深圳市大疆创新科技有限公司 | 无人飞行器对接系统及方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7818127B1 (en) * | 2004-06-18 | 2010-10-19 | Geneva Aerospace, Inc. | Collision avoidance for vehicle control systems |
DK2606482T3 (da) * | 2011-05-23 | 2017-11-06 | Ion Geophysical Corp | Havtrusselovervågnings- og forsvarssystem |
CN106132826B (zh) | 2014-03-25 | 2018-04-13 | 瓦斯菲·阿希达法特 | 警用无人机 |
CN106458318A (zh) | 2014-05-23 | 2017-02-22 | 莉莉机器人公司 | 用于照相和/或摄像的无人航拍直升机 |
US20160101856A1 (en) | 2014-06-23 | 2016-04-14 | Nixie Labs, Inc. | Wearable unmanned aerial vehicles, and associated systems and methods |
US9928748B2 (en) | 2015-11-25 | 2018-03-27 | International Business Machines Corporation | Dynamic geo-fence for drone |
US9665098B1 (en) | 2016-02-16 | 2017-05-30 | Gopro, Inc. | Systems and methods for determining preferences for flight control settings of an unmanned aerial vehicle |
CN105867405A (zh) | 2016-05-23 | 2016-08-17 | 零度智控(北京)智能科技有限公司 | 无人机、无人机降落控制装置及方法 |
-
2016
- 2016-07-28 US US15/221,711 patent/US10351237B2/en active Active
-
2017
- 2017-05-22 CN CN201780045666.0A patent/CN109564437B/zh active Active
- 2017-05-22 WO PCT/US2017/033794 patent/WO2018022177A1/en unknown
- 2017-05-22 EP EP17730985.3A patent/EP3491478B1/en active Active
- 2017-05-24 TW TW106117151A patent/TW201823898A/zh unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150134143A1 (en) * | 2013-10-04 | 2015-05-14 | Jim Willenborg | Novel tracking system using unmanned aerial vehicles |
CN105517664A (zh) * | 2014-05-30 | 2016-04-20 | 深圳市大疆创新科技有限公司 | 无人飞行器对接系统及方法 |
WO2016029169A1 (en) * | 2014-08-22 | 2016-02-25 | Cape Productions Inc. | Methods and apparatus for unmanned aerial vehicle autonomous aviation |
US20160059962A1 (en) * | 2014-09-03 | 2016-03-03 | International Business Machines Corporation | Unmanned aerial vehicle for hazard detection |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112037579A (zh) * | 2019-06-03 | 2020-12-04 | 索尼公司 | 监测载具移动以减轻交通风险 |
US11820400B2 (en) | 2019-06-03 | 2023-11-21 | Sony Corporation | Monitoring vehicle movement for traffic risk mitigation |
CN112180401A (zh) * | 2019-07-02 | 2021-01-05 | 诺基亚通信公司 | 移动对象的位置确定 |
Also Published As
Publication number | Publication date |
---|---|
WO2018022177A1 (en) | 2018-02-01 |
CN109564437B (zh) | 2020-06-09 |
EP3491478B1 (en) | 2020-12-23 |
EP3491478A1 (en) | 2019-06-05 |
US20180029706A1 (en) | 2018-02-01 |
US10351237B2 (en) | 2019-07-16 |
TW201823898A (zh) | 2018-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109564437A (zh) | 用于利用无人飞行器监测对用户的危险的系统和方法 | |
US11294398B2 (en) | Personal security robotic vehicle | |
CN105247593B (zh) | 飞行禁区的飞行控制 | |
US10303181B1 (en) | Self-driving vehicle systems and methods | |
US8972166B2 (en) | Proactive mitigation of navigational uncertainty | |
US11608606B2 (en) | Method and control unit for ground bearing capacity analysis | |
EP3776108B1 (en) | Tracking stolen robotic vehicles | |
US11269069B2 (en) | Sensors for determining object location | |
KR102565117B1 (ko) | 비콘을 사용한 차량의 로컬화 | |
US20230092933A1 (en) | Systems and methods for detecting an environment external to a personal mobile vehicle in a fleet management system | |
CN108701416A (zh) | 检测道路交通中危险情况的方法 | |
CN111971207B (zh) | 追回机器人运载工具的方法、机器人运载工具和处理设备 | |
CN114326775A (zh) | 基于物联网的无人机系统 | |
CN112005175B (zh) | 跟踪被盗机器人交通工具 | |
US20220383751A1 (en) | Systems and methods for personal mobile vehicle localization in a fleet management system | |
US20240181650A1 (en) | Road debris detection and removal system | |
Contributors et al. | D3. 1-State of the Art of Automated Driving technologies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |