CN115220475A - 用于uav飞行控制的系统和方法 - Google Patents
用于uav飞行控制的系统和方法 Download PDFInfo
- Publication number
- CN115220475A CN115220475A CN202210869678.8A CN202210869678A CN115220475A CN 115220475 A CN115220475 A CN 115220475A CN 202210869678 A CN202210869678 A CN 202210869678A CN 115220475 A CN115220475 A CN 115220475A
- Authority
- CN
- China
- Prior art keywords
- motion path
- movable object
- target object
- motion
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 title description 16
- 230000033001 locomotion Effects 0.000 claims abstract description 686
- 230000008859 change Effects 0.000 claims description 94
- 238000012545 processing Methods 0.000 claims description 29
- 230000001133 acceleration Effects 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 description 80
- 230000006854 communication Effects 0.000 description 64
- 238000004891 communication Methods 0.000 description 64
- 239000013598 vector Substances 0.000 description 45
- 230000007246 mechanism Effects 0.000 description 21
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 13
- 230000001788 irregular Effects 0.000 description 11
- 238000013519 translation Methods 0.000 description 11
- 230000009471 action Effects 0.000 description 8
- 241001465754 Metazoa Species 0.000 description 7
- 241000712469 Fowl plague virus Species 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000005755 formation reaction Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 230000001154 acute effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 241000283073 Equus caballus Species 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 230000007175 bidirectional communication Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000000575 pesticide Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000271566 Aves Species 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 241000282465 Canis Species 0.000 description 1
- 241001481833 Coryphaena hippurus Species 0.000 description 1
- 241000282324 Felis Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241000283984 Rodentia Species 0.000 description 1
- 241000238370 Sepia Species 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000003019 stabilising effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/222—Remote-control arrangements operated by humans
- G05D1/223—Command input arrangements on the remote controller, e.g. joysticks or touch screens
- G05D1/2232—Touch screens
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/222—Remote-control arrangements operated by humans
- G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
- G05D1/2244—Optic
- G05D1/2245—Optic providing the operator with a purely computer-generated representation of the environment of the vehicle, e.g. virtual reality
- G05D1/2246—Optic providing the operator with a purely computer-generated representation of the environment of the vehicle, e.g. virtual reality displaying a map of the environment
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/40—Control within particular dimensions
- G05D1/46—Control of position or course in three dimensions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/656—Interaction with payloads or external entities
- G05D1/689—Pointing payloads towards fixed or moving targets
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2105/00—Specific applications of the controlled vehicles
- G05D2105/80—Specific applications of the controlled vehicles for information gathering, e.g. for academic research
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2109/00—Types of controlled vehicles
- G05D2109/20—Aircraft, e.g. drones
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了通过图形用户界面来控制一个或多个可移动物体(302)的系统、方法和装置。可以提供一种用于控制可移动物体(302)的方法。所述方法可以包括获得目标物体(308)的一个或多个参数,并且基于所述目标物体(302)的所述一个或多个参数来生成所述可移动物体的运动路径(310)。所述运动路径(310)可以包括相对于所述目标物体(308)的所述一个或多个参数限定的多个空间点。所述多个空间点可以被配置成处于一个或多个平面上。
Description
背景技术
飞行器有广泛的现实世界的应用,包括监视、侦察、勘探、物流运输、抢险救灾、空中摄影,大型农业自动化、实时视频广播等。在一些应用中,可以控制携带了有效载荷(例如,相机)的飞行器来围绕目标物体飞行以获取数据或执行某些任务。然而,实际飞行控制应用的发展由于缺乏容易使用的交互控制与指导系统而已经受到阻碍。缺少容易使用的交互飞行控制与指导系统可能在某些应用中降低飞行器的有用性。
发明内容
目前,一个或多个操作员可能必须手动选择目标物体,并且手动控制飞行器围绕所述目标物体飞行和/或跟随所述目标物体。这些操作员可能还必须手动控制飞行器以使其沿希望的轨迹飞行和/或规避沿途的障碍物。如果目标物体改变其位置、大小、形状和/或朝向,则操作员必须对这些改变作出反应并且实时地手动调整飞行轨迹。目前已知的飞行控制系统一般要求操作员具有一定程度的航空经验或者操作飞行器的手动技能,并且提供的实时自动控制能力是有限的。
相应地,需要直观的且容易使用的、并且允许人类通过与人-系统界面进行交互来管理和操作飞行器的飞行控制系统。用户对飞行器进行手动驾驶的负担可以大大减小,因此允许用户更容易关注有效载荷或任务操作,例如视觉监测和/或拍摄静止目标或移动目标的空中图像/视频。在一些情况中,有效载荷或任务操作可以包括从不同的距离和/或以不同的角度或海拔来观测目标物体、分配材料(例如,喷水救火、或针对农业用途在田野上喷洒农药)、以及多种不同其他应用。
改进的飞行控制能力可以允许可移动物体自动地围绕目标物体经由一条或多条复杂的飞行轨迹来飞行,而无需用户进行明显的手动输入和/或操作。如在此所描述的一些实施方式中,用户可以通过使用例如触摸屏用户终端而容易地调整飞行轨迹来实时地遵循任何路径、形状和/或形式。这种改进的飞行控制能力可以在目标物体的位置、形状、大小、几何形状和/或朝向动态地改变时,或者在所述可移动物体围绕所述目标物体飞行和/或跟踪所述目标物体的时候用户转变到关注另一个目标物体时是特别有用的。可以将这种改进的飞行控制能力结合到飞行器中,诸如无人飞行器(UAV)中。
目前已知的飞行控制方法可以是基于全球定位系统(GPS)数据或相机视觉的。
在基于相机视觉的方法中,可以使用定位在飞行器上的成像装置所捕捉的图像来控制飞行器围绕目标物体飞行和/或跟踪所述目标物体。基于视觉的飞行控制方法可以是手动的或自动的。
例如,在一些基于视觉的手动飞行控制方法中,可以首先使用成像装置捕捉图像,并且操作者可以从图像中手动选择有待跟踪的目标物体。这种手动选择可以使用输入装置来执行,例如,平板计算机、移动装置或个人计算机(PC)。在一些情形下,所述飞行器可以被配置成在操作者利用输入装置已经手动地选定了所述目标物体之后自动地围绕和/或跟踪所述目标物体飞行。在其他情形中,所述操作者可以甚至在已经选定目标物体之后需要继续手动地控制飞行器来围绕所述目标物体飞行和/或跟踪所述目标物体。
相反,在一些基于视觉的自动飞行控制方法中,可以使用跟踪算法来实现自动飞行控制,所述跟踪算法可以自动地检测特定类型的物体或携带有标记的物体。所述物体类型可以是基于不同的物体类别(例如,人、建筑物、载运工具、风景、等)的。所述标记可以包括一个或多个包括独特图案的光学标记。
在基于视觉的自动飞行控制方法中,目标物体可以基于预定特征(例如,颜色、结构、突出特征等)和/或通过建模(例如,物体类别)来限定。在已经限定了目标物体之后,可以随着目标物体移动实时地检测和计算这些特征和/或模型的移动。在这些方法中,通常可能要求这些特征和/或模型的高度一致性,以便精确地跟踪目标物体。特别地,跟踪精度水平可能取决于这些特征之间的空间关系和/或模型中的误差。
然而,在许多情形下,当所述目标物体的位置、形状、大小、几何形状和/或朝向改变时,如果所述目标物体不再具备这些预定特征或者如果所述目标物体不再符合之前已知的模型,则可能失去对所述目标物体的视觉识别。这个问题通常在飞行器围绕目标物体飞行并且从不同的视点捕捉所述目标物体的图像时加剧。每个视点提供了所述目标物体的独特展望。如果所述目标物体具有不规则的形状、在飞行器围绕所述目标物体飞行和/或跟踪所述目标物体时改变其位置和/或朝向、或变形成不同形状,则这些基于视觉的方式就可能不能考虑到这些改变并且可能不能从其他周围物体中区分出目标物体。
替代地,基于视觉的方法在所述飞行器与所述目标物体之间的飞行路径中出现障碍物时可能是不够的。这些障碍物可能是静止的或者能够移动。在一些情况下,这些障碍物可能是快速移动的一群物体,由此这个群的大小和/或形状可能是无定形的并且在物体移动时随时间而改变。这样的物体群体的示例可以包括但不限于移动动物群体(例如,在平原上奔跑的马群、或以不同队形飞翔的鸟群),人群(例如,游行队伍中移动的大群人),载运工具群体(例如,执行空中杂技表演的飞机编队)、或者包括以不同队形移动的不同物体的群体(例如,由有待跟踪的移动动物、人以及载运工具构成的群体)。当这些障碍物在飞行器上的相机的视野中在视觉上阻挡了目标物体时,就可能丢失对所述目标物体的跟踪,因为基于视觉的方法一般要求在相机与目标物体之间的清晰视线。
在基于全球定位系统(GPS)的飞行控制方法中,成像装置和目标物体可以各自配备有GPS设备(例如,GPS接收器)。所述成像装置与目标物体之间的空间关系可以是基于对它们的实时位置的估计来计算的。所述成像装置可以被配置成基于它们的空间关系来围绕和/或跟踪目标物体飞行。然而,这种方法可能受GPS信号质量和GPS信号的可获得性的限制。例如,基于全球定位系统(GPS)的方法在室内或者当GPS信号接收被建筑物和/或自然地形特征(例如山谷、高山等等)阻挡时可能不工作。这些方法是基于GPS跟踪,并且因此在这个或这些目标物体(例如,动物群体)不携带GPS设备时无法使用。另外,基于GPS的方法不能考虑到所述目标物体的形状、大小、几何形状和/或朝向的改变,并且在此类改变出现时无法提供足够的信息来调整飞行器的飞行轨迹。此外,基于GPS的方法不能考虑到在所述可移动物体的路径中的障碍物。
相应地,存在为多种不同应用改进飞行器在不同条件下的跟踪能力和稳健性的需要。这些条件可以包括所述目标物体的位置、形状、大小、几何形状和/或朝向的改变、室内和室外环境、静止障碍物、动态出现的障碍物、没有GPS信号的地点或具有较弱的GPS信号接收的地点、各种不同的地形等。这些应用可以包括围绕静止的目标物体、移动的目标物体或移动的目标物体群体飞行和/或对其进行跟踪。这些目标物体可以包括没有携带GPS设备的目标物体,以及没有明确定义的特征或没有落入已知物体类别中的目标物体。这些目标物体可以具有规则的形状或不规则的形状。这些目标物体能够动态地改变其位置、形状、大小、几何形状和/或朝向。例如,这些目标物体的形状、大小、几何形状和/或朝向可以是无定形的并且随时间改变的。在一些情况下,这些目标物体可以处于不稳定状态下,例如灾祸(例如,火灾或地震)刚刚袭击的场所。飞行器可以被配置成自动地或基于用户的输入来调整飞行路径从而规避障碍物并且导航围绕其飞行。这些障碍物可以共同形成大小和/或形状可能是无定形的并且随时间改变(例如,鸟群)的群体、以不同形式移动的不同障碍物(其他飞行器)、或以上各项的任何组合。在此提供了多种系统、方法以及装置来至少解决以上需要。
例如,在本发明的一些方面,提供了一种用于控制可移动物体的方法。所述方法可以包括:获得目标物体的一个或多个参数;并且基于所述目标物体的所述一个或多个参数来生成所述可移动物体的运动路径,其中所述运动路径包括相对于所述目标物体的所述一个或多个参数而限定的多个空间点,并且其中所述多个空间点被配置成处于一个或多个平面上。
根据本发明的一个方面,提供了一种用于控制可移动物体的设备。所述设备可以包括一个或多个处理器,所述一个或多个处理器被单独地或共同地配置成用于:获得目标物体的一个或多个参数;并且基于所述目标物体的所述一个或多个参数来生成所述可移动物体的运动路径,其中所述运动路径包括相对于所述目标物体的所述一个或多个参数而限定的多个空间点,并且其中所述多个空间点被配置成处于一个或多个平面上。
根据本发明的另一方面,提供了一种非瞬态计算机可读介质,所述非瞬态计算机可读介质储存有当被执行时致使计算机执行用于控制可移动物体的方法的多个指令。所述方法可以包括:获得目标物体的一个或多个参数;并且基于所述目标物体的所述一个或多个参数来生成所述可移动物体的运动路径,其中所述运动路径包括相对于所述目标物体的所述一个或多个参数而限定的多个空间点,并且其中所述多个空间点被配置成处于一个或多个平面上。
根据本发明的一个额外方面,可以提供一种无人飞行器(UAV)系统。所述系统可以包括可操作来控制所述UAV的设备。所述设备可以包括一个或多个处理器,所述一个或多个处理器被单独地或共同地配置成用于:获得目标物体的一个或多个参数;基于所述目标物体的一个或多个参数来产生所述UAV的飞行轨迹,其中所述飞行轨迹包括相对于所述目标物体的一个或多个参数而限定的多个空间点,并且其中所述多个空间点被配置成处于一个或多个平面上。
本发明的另外方面可以涉及一种用于控制可移动物体的方法。所述方法可以包括:相对于至少一个目标物体,针对处于第一空间点处的所述可移动物体确定第二空间点;并且生成所述可移动物体从所述第一空间点到所述第二空间点的运动路径。
根据本发明的一个方面,提供了一种用于控制可移动物体的设备。所述设备可以包括一个或多个处理器,所述一个或多个处理器被单独地或共同地配置成用于:相对于至少一个目标物体,针对处于第一空间点处的所述可移动物体确定第二空间点;并且生成所述可移动物体从所述第一空间点到所述第二空间点的运动路径。
根据本发明的另一方面,提供了一种非瞬态计算机可读介质,所述非瞬态计算机可读介质储存有当被执行时致使计算机执行用于控制可移动物体的方法的多个指令。所述方法可以包括:相对于至少一个目标物体,针对处于第一空间点处的所述可移动物体确定第二空间点;并且生成所述可移动物体从所述第一空间点到所述第二空间点的运动路径。
根据本发明的一个额外方面,可以提供一种无人飞行器(UAV)系统。所述系统可以包括可操作来控制所述UAV的设备。所述设备可以包括一个或多个处理器,所述一个或多个处理器被单独地或共同地配置成用于:相对于至少一个目标物体,针对处于第一空间点处的所述UAV确定第二空间点;并且生成所述UAV从所述第一空间点到所述第二空间点的飞行轨迹。
本发明的另外方面可以涉及一种使用计算机实现的图形显示器来控制可移动物体的运动路径的方法。所述方法可以包括:接收指明一个或多个空间点在三维(3-D)空间内在任何方向上的移动的输入,其中所述一个或多个空间点被视觉地描绘在所述图形显示器上;并且处理所述输入以便基于所述一个或多个空间点的移动来生成所述可移动物体的运动路径。
根据本发明的一个方面,提供了一种使用计算机实现的图形显示器来控制可移动物体的运动路径的设备。所述设备可以包括一个或多个处理器,所述一个或多个处理器被单独地或共同地配置成用于:接收指明一个或多个空间点在三维(3-D)空间内在任何方向上的移动的输入,其中所述一个或多个空间点被视觉地描绘在所述图形显示器上;并且处理所述输入以便基于所述一个或多个空间点的移动来生成所述可移动物体的运动路径。
根据本发明的另一方面,提供了一种非瞬态计算机可读介质,所述非瞬态计算机可读介质储存有当被执行时致使计算机执行使用计算机实现的图形显示器来控制可移动物体的运动路径的方法的多个指令。所述方法可以包括:接收指明一个或多个空间点在三维(3-D)空间内在任何方向上的移动的输入,其中所述一个或多个空间点被视觉地描绘在所述图形显示器上;并且处理所述输入以便基于所述一个或多个空间点的移动来生成所述可移动物体的运动路径。
根据本发明的一个额外方面,可以提供一种无人飞行器(UAV)系统。所述系统可以包括可操作来控制所述UAV的飞行轨迹的设备。所述设备可以包括计算机实现的图形显示器和一个或多个处理器,所述一个或多个处理器被单独地或共同地配置成:接收指明一个或多个空间点在三维(3-D)空间内在任何方向上的移动的输入,其中所述一个或多个空间点被视觉地描绘在所述图形显示器上;并且处理所述输入以便基于所述一个或多个空间点的移动来生成所述UAV的飞行轨迹。
本发明的另外方面可以涉及一种用于控制可移动物体的方法。所述方法可以包括:生成运动路径,所述运动路径包括相对于目标物体的一个或多个参数限定的至少一个空间点;并且针对所述至少一个空间点来确定所述可移动物体的一个或多个运动特征。
根据本发明的一个方面,提供了一种用于控制可移动物体的设备。所述设备可以包括一个或多个处理器,所述一个或多个处理器被单独地或共同地配置成用于:生成运动路径,所述运动路径包括相对于目标物体的一个或多个参数限定的至少一个空间点;并且针对所述至少一个空间点来确定所述可移动物体的一个或多个运动特征。
根据本发明的另一方面,提供了一种非瞬态计算机可读介质,所述非瞬态计算机可读介质储存有当被执行时致使计算机执行用于控制可移动物体的方法的多个指令。所述方法可以包括:生成运动路径,所述运动路径包括相对于目标物体的一个或多个参数限定的至少一个空间点;并且针对所述至少一个空间点来确定所述可移动物体的一个或多个运动特征。
根据本发明的一个额外方面,可以提供一种无人飞行器(UAV)系统。所述系统可以包括可操作来控制所述UAV的飞行轨迹的设备。所述设备可以包括一个或多个处理器,所述一个或多个处理器被单独地或共同地配置成用于:生成所述飞行轨迹,所述飞行轨迹包括相对于目标物体的一个或多个参数限定的至少一个空间点;并且针对所述至少一个空间点来确定所述UAV的一个或多个运动特征。
应当理解的是,本发明的不同方面可以单独地、共同地或相互组合地进行理解。本发明在此所描述的各个方面可以被应用于以下阐述的这些具体应用中的任一应用中或用于任何其他类型的可移动物体。在此对飞行器的任何描述都可以应用于并且使用于任何可移动物体,例如任何载运工具。此外,在本文中在空中运动(例如,飞行)的背景下公开的这些系统、装置及方法也可以应用于其他类型移动的背景中,例如,在地面上或水上的移动、水下运动或在太空中的运动。
通过浏览说明书、权利要求书及附图,将清楚本发明的其他目的和特征。
援引并入
本说明书中提及的所有出版物、专利和专利申请均通过援引并入本文,其程度就如同明确且单独地指明了每一个单独的出版物、专利或专利申请均通过援引并入本文。
附图说明
在所附权利要求书中具体阐述了本发明的新颖特征。通过参考对在其中利用到本发明原理的说明性实施方式加以阐述的以下详细描述和附图,将会对本发明的特征和优点获得更好的理解;在附图中:
图1示出了在视觉导航中使用的系统的示例;
图2示出了在视觉导航系统中可能出现的通信的示例;
图3示出了根据一些实施方式的其中运动控制器可以用来控制可移动物体沿着运动路径进行移动的示例;
图4示出了根据一些实施方式的运动控制器的输入和输出的框图;
图5示出了根据一些实施方式的用户界面(UI)的示例,用户可以通过所述用户界面、通过使运动路径的轴线倾斜而致使所述运动路径的朝向发生改变;
图6示出了根据一些实施方式的多个不同运动路径的示例,这些不同运动路径是基于目标物体的不同朝向而限定的;
图7示出了根据一些实施方式的用户界面(UI)的示例,用户可以通过所述用户界面来选择/移动一个点并且致使运动路径的某个位置发生改变;
图8示出了根据一些实施方式的多个运动路径的示例,这些运动路径是在目标物体沿着一条轴线移动时相对于所述目标物体限定的;
图9示出了根据一些实施方式的多个运动路径的示例,这些运动路径是相对于沿着一个目标物体上的同一轴线的不同选定点限定的;
图10示出了根据一些实施方式的多个运动路径的示例,这些运动路径是相对于沿着延伸经过目标物体的多条不同轴线的不同选定点限定的;
图11示出了根据一些实施方式可移动物体可以如何从一条运动路径移动至另一条运动路径的示例;
图12示出了根据一些实施方式的用户界面(UI)的示例,用户可以通过所述用户界面来控制可移动物体从初始位置飞到运动路径上的进入点;
图13示出了根据一些实施方式的用户界面(UI)的示例,用户可以通过所述用户界面来选择/移动一个点以调整运动路径的局部区域的形状;
图14示出了根据一些实施方式通过选择并移动沿着所述运动路径的多个不同点来导致所述运动路径发生改变的示例;
图15示出了根据一些实施方式来改变运动路径的局部区域以规避障碍物的示例;
图16展示了根据一些实施方式来使运动路径的局部区域平滑化;
图17示出了根据一些实施方式基于目标物体的形状/几何形状而限定的多个运动路径的示例;
图18示出了根据一些实施方式在运动路径的局部区域中的平面外改变的示例;
图19示出了根据一些实施方式基于目标物体的轮廓而限定的3-D运动路径的示例;
图20示出了根据一些实施方式基于目标物体的轮廓而限定的数字8形状的3-D运动路径的示例;
图21示出了根据一些实施方式基于一个目标物体的多个不同朝向而限定的数字8形状的3-D运动路径的多个示例;
图22示出了根据一些实施方式的具有无定形形状并且相对于目标物体而限定的3-D运动路径的示例;
图23示出了根据一些实施方式当可移动物体沿着运动路径移动时所述可移动物体可以沿着俯仰轴线、横滚轴线和/或偏航轴线而调整的姿态;
图24示出了根据一些实施方式当飞行器导航围绕目标物体时所述飞行器的多个不同朝向的示例;并且
图25是根据一些实施方式的用于控制可移动物体的系统的示意性框图。
具体实施方式
可以用在此提供的系统、方法和装置来改善可移动物体例如无人飞行器(UAV)的操作方便性。在此提供的运动控制与跟踪系统是直观的且容易使用的,并且允许人类通过与图形人-系统界面进行交互来管理和操作可移动物体(例如,UAV)。用户对UAV进行手动驾驶的负担可以大大减小,因此允许用户更容易关注有效载荷或任务操作,例如视觉监测和/或拍摄静止目标或移动目标的空中图像。也可以通过以所述图形人-系统界面来控制UAV沿着希望的运动路径跟随和/或跟踪目标物体而使用户对UAV进行手动驾驶的负担大大减小。所述运动路径可以是相对于目标物体的一个或多个参数(例如,位置、大小、形状、和/或朝向)来限定的。
改进的运动控制与跟踪能力可以进一步允许UAV自动地围绕一个或多个静止的/移动的目标物体飞行和/或对其进行跟踪,而不需要用户的手动输入和/或手动操作。改进的运动控制与跟踪能力可以在以下时候是特别有用的:(1)这些目标物体没有良好限定的特征或没有落入已知的物体类别中,和/或(2)这些目标物体能够动态地改变其位置、形状、大小、几何形状、和/或朝向。具体而言,改进的运动控制与跟踪能力使得能够取决于这些目标物体的状态来限定各种不同的运动路径(例如,飞行路径和轨迹)。运动路径的示例可以包括2维和/或3维飞行路径和轨迹,以及还有规则形状和/或不规则形状的飞行路径和轨迹。这种改进的运动控制与跟踪能力还可以通过用户经由图形界面来调整运动路径的一部分而允许UAV规避障碍物。应注意的是,可以将这种改进的运动控制与跟踪能力结合到任何类型的飞行器中以及能够跨越空中、水体、陆地、和/或太空的任何载运工具中。
应当理解的是,本发明的不同方面可以单独地、共同地、或相互组合地进行理解。本发明在此所描述的多个不同方面可以被应用于以下阐述的这些具体应用中的任一应用或用于任何其他类型的遥控载运工具或可移动物体。
图1示出了在视觉导航中使用的系统的示例。视觉导航系统100可以包括可移动物体102和能够与所述可移动物体进行通信的用户终端106。所述可移动物体可以被配置成用于携带有效载荷104。可以用用户终端来控制所述可移动物体和/或有效载荷的一个或多个运动特性。例如,可以用用户终端来控制所述可移动物体以使得所述可移动物体能够在一个环境中围绕目标物体108导航。还可以用用户终端来控制所述可移动物体以使得所述可移动物体能够在所述环境中跟踪或跟随所述目标物体。另外,可以用用户终端来控制所述可移动物体以使得所述可移动物体能够在所述环境中沿指定运动路径110导航。
可移动物体102可以是能够跨越一个环境的任何物体。所述可移动物体可能能够跨越空中、水、陆地、和/或太空。所述环境可以包括不能运动的物体(静止物体)以及能够运动的物体。静止物体的示例可以包括地理特征、植物、地标、建筑物、整体结构、或任何固定结构。能够运动的物体的示例包括人、载运工具、动物、抛射体等。
在一些情况下,所述环境可以是惯性参照系。所述惯性参照系可以用来一致地、各向同性地、并且以不依赖于时间的方式来描述时间和空间。所述惯性参照系可以是相对于可移动物体来建立、并且根据所述可移动物体而移动的。惯性参照系中的测量值可以通过变换(例如,牛顿物理学中的伽利略变换)而转换为另一参照系(例如,全局参照系)中的测量值。
可移动物体102可以是载运工具。所述载运工具可以是自推进式载运工具。所述载运工具可以借助于一个或多个推进单元跨越环境。所述载运工具可以是飞行器、基于陆地的载运工具、基于水的载运工具、或基于太空的载运工具。所述载运工具可以是无人载运工具。所述载运工具可能能够在其上没有人类乘员的情况下跨越环境。替代地,所述载运工具可以载有人类乘员。在一些实施方式中,所述可移动物体可以是无人飞行器(UAV)。
在此对UAV或任何其他类型可移动物体的任何描述都可以应用于任何其他类型的可移动物体或者一般意义上多种不同范畴的可移动物体,或反之亦然。例如,在此对UAV的任何描述都可以应用于任何无人的陆地、基于水上、或基于太空的载运工具。在本文的其他地方更详细地提供了可移动物体的进一步示例。
如上所述,所述可移动物体可能能够跨越环境。所述可移动物体可能能够在三个维度上飞行。所述可移动物体可能能够沿着一条、两条或三条轴线进行空间平移。所述一条、两条或三条轴线可以是彼此正交的。这些轴线可以是沿着俯仰、偏航和/或横滚轴线的。所述可移动物体可能能够绕一条、两条或三条轴线旋转。所述一条、两条或三条轴线可以是彼此正交的。这些轴线可以是俯仰、偏航和/或横滚轴线。所述可移动物体可能能够沿着多达6个自由度移动。所述可移动物体可以包括可以辅助可移动物体移动的一个或多个推进单元。例如,所述可移动物体可以是带有一个、两个或更多个推进单元的UAV。这些推进单元可以被配置成为UAV产生升力。这些推进单元可以包括旋翼。所述可移动物体可以是多旋翼UAV。
所述可移动物体可以具有任一物理构型。例如,所述可移动物体可以具有中央本体,其中一个或多个臂或分支从所述中央本体延伸。这些臂可以从所述中央本体横向或径向地延伸。这些臂可以是相对于所述中央本体可移动的或者可以是相对于所述中央本体静止的。这些臂可以支撑一个或多个推进单元。例如,每个臂可以支撑一个、两个或更多个推进单元。
所述可移动物体可以具有壳体。所述壳体可以由单一的集成件、两个集成件、或多个件形成。所述壳体可以包括空腔,所述空腔中布置了一个或多个部件。这些部件可以是电气部件,例如运动控制器(例如飞行控制器)、一个或多个处理器、一个或多个存储器存储单元、一个或多个传感器(例如,一个或多个惯性传感器或本文其他地方描述的任意其他类型的传感器)、一个或多个导航单元(例如,全球定位系统(GPS)单元)、一个或多个通信单元、或任意其他类型的部件。所述壳体可以具有单一空腔或多个空腔。在一些情形下,运动控制器(例如飞行控制器)可以与一个或多个推进单元进行通信和/或可以控制所述一个或多个推进单元的操作。所述运动控制器(或飞行控制器)可以借助于一个或多个电子速度控制(ESC)模块与所述一个或多个推进单元进行通信和/或控制其操作。所述运动控制器(或飞行控制器)可以与这些ESC模块进行通信以控制这些推进单元的操作。
所述可移动物体可以支撑机载的有效载荷104。所述有效载荷可以相对于可移动物体具有固定的位置,或者是相对于可移动物体可移动的。所述有效载荷可以相对于可移动物体进行空间平移。例如,所述有效载荷可以相对于可移动物体沿着一条、两条或三条轴线移动。所述有效载荷可以相对于可移动物体旋转。例如,所述有效载荷可以相对于可移动物体绕一条、两条或三条轴线旋转。这些轴线可以相互正交。这些轴线可以是俯仰、偏航和/或横滚轴线。替代地,所述有效载荷可以固定或集成到所述可移动物体中。
所述有效载荷可以借助于载体而相对于可移动物体是可移动的。所述载体可以包括可以准许所述载体相对于可移动物体移动的一个或多个云台级。例如,所述载体可以包括:可以准许所述载体相对于可移动物体绕第一轴线旋转的第一云台级、可以准许所述载体相对于可移动物体绕第二轴线旋转的第二云台级、和/或可以准许所述载体相对于可移动物体绕第三轴线旋转的第三云台级。本文其他地方描述的载体的任何说明和/或特性也可以适用。
所述有效载荷可以包括能够感测所述可移动物体周围的环境的装置、能够发射信号到所述环境中的装置、和/或能够与所述环境进行交互的装置。
可以作为有效载荷提供一个或多个传感器,并且所述传感器可能能够感测环境。所述一个或多个传感器可以包括成像装置。成像装置可以是物理成像装置。成像装置可以被配置成用于检测电磁辐射(例如,可见光、红外光和/或紫外光)并基于检测到的电磁辐射生成图像数据。成像装置可以包括响应于光的波长生成电信号的电荷耦合装置(CCD)传感器或互补型金属氧化物半导体(CMOS)传感器。可以处理所产生的电信号来产生图像数据。由成像装置生成的图像数据可以包括一张或多张图像,所述一张或多张图像可以是静态图像(例如,照片)、动态图像(例如,视频)、或其合适的组合。图像数据可以是多色的(例如,RGB、CMYK、HSV)或单色的(例如,灰度、黑白、棕褐)。所述成像装置可以包括被配置成将光引导到图像传感器上的镜头。
所述成像装置可以是相机。相机可以是捕捉动态图像数据(例如,视频)的动态相机或视频摄相机。相机可以是捕捉静态图像(例如,照片)的静态相机。相机可以捕捉动态图像数据和静态图像两者。相机可以在捕捉动态图像数据和静态图像之间切换。虽然在此提供的某些实施方式是在相机的背景下描述的,但是应理解的是,本公开可以适用于任何适合的成像装置,并且在此关于相机的任何描述也可以适用于任何适合的成像装置,并且在此关于相机的任何描述也可以适用于其他类型的成像装置。可以用相机来生成3D场景(例如,环境、一个或多个物体等等)的多个2D图像。由相机生成的这些图像可以表示3D场景到2D图像平面上的投影。因此,2D图像中的各点与场景中的一个3D空间坐标相对应。相机可以包括光学元件(例如,镜头、反射镜、滤镜等)。相机可以捕捉彩色图像、灰度图像、红外图像等等。相机在其被配置成捕捉红外线图像时可以是热成像装置。
在一些实施方式中,有效载荷可以包括多个成像装置、或带有多个镜头和/或图像传感器的一个成像装置。所述有效载荷可能能够实质上同时地拍摄多个图像。这多个图像可以辅助创建3D场景、3D虚拟环境、3D图、或3D模型。例如,可以拍摄右图像和左图像并用于立体映射。可以从经校准的双目图像中计算出深度图。可以同时拍摄任意数量的图像(例如,2个或更多、3个或更多、4个或更多、5个或更多、6个或更多、7个或更多、8个或更多、9个或更多)以辅助创建3D场景/虚拟环境/模型、和/或以用于深度映射。这些图像可以实质上指向同一方向或者可以指向多个略微不同的方向。在一些情形下,来自其他传感器的数据(例如,超声波数据、LIDAR数据、来自本文其他地方描述的任何其他传感器的数据、或来自外部装置的数据)可以辅助创建2D或3D图像或图。
成像装置可以用特定图像分辨率来捕捉图像或一系列图像。在一些实施方式中,图像分辨率可以是由图像中的像素数目限定的。在一些实施方式中,图像分辨率可以大于或等于约352x420像素、480x320像素、720x480像素、1280x720像素、1440x1080像素、1920x1080像素、2048x1080像素、3840x2160像素、4096x2160像素、7680x4320像素、或15360x8640像素。在一些实施方式中,相机可以是4K相机或者具有更高分辨率的相机。
所述成像装置可以用特定捕捉速率捕捉一系列图像。在一些实施方式中,能够以如约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i、或60i的标准视频帧速率捕捉此系列图像。在一些实施方式中,能够以小于或等于约每0.0001秒、0.0002秒、0.0005秒、0.001秒、0.002秒、0.005秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒或10秒一张图像的速率捕捉所述图像序列。在一些实施方式中,捕捉速率可以根据用户输入和/或外部条件(例如,雨、雪、风、环境的不明显的表面纹理)而改变。
成像装置可以具有多个可调参数。成像装置可以用不同的参数在经受完全相同的外部条件(例如,位置、光照)时捕捉不同的图像。可调参数可以包括曝光(例如,曝光时间、快门速度、光圈、胶片速度)、增益、提亮系数(gamma)、兴趣区、像素合并/子采样、像素时钟、偏移、触发、ISO等。与曝光相关的参数可以控制到达成像装置中的图像传感器的光量。例如,快门速度可以控制光照到图像传感器的时间量而光圈可以控制在给定时间内到达图像传感器的光量。与增益相关的参数可以控制对来自光学传感器的信号的放大。ISO可以控制相机对可用光的灵敏度水平。控制曝光和增益的参数在本文中可以统一被认为并且被称作EXPO。
在一些替代性实施方式中,成像装置可以延伸超出物理成像装置。例如,成像装置可以包括能够捕捉和/或生成图像或视频帧的任何技术。在一些实施方式中,所述成像装置可以是指能够处理从另一物理装置获得的图像的算法。
有效载荷可以包括一种或多种类型的传感器。传感器类型的一些示例可以包括:位置传感器(例如,全球定位系统(GPS)传感器、能够实现位置三角测量的移动装置发射器)、视觉传感器(例如,能够检测可见光、红外光或紫外光的成像装置,如相机)、接近度传感器或范围传感器(例如,超声波传感器、激光雷达、飞行时间相机或深度相机)、惯性传感器(例如,加速度计、陀螺仪、和/或重力检测传感器,其可以形成惯性测量单元(IMU))、高度传感器、姿态传感器(例如,罗盘)、压力传感器(例如,气压计)、温度传感器、湿度传感器、震动传感器、音频传感器(例如,麦克风)、和/或场传感器(例如,磁力计、电磁传感器、无线电传感器)。
有效载荷可以包括一个或多个能够发射信号到环境中的装置。例如,所述有效载荷可以包括沿着电磁波谱的发射体(例如,可见光发射体、紫外线发射体、红外线发射体)。所述有效载荷可以包括激光器或任何其他类型的电磁发射体。所述有效载荷可以发出一种或多种震动,例如超声波信号。所述有效载荷可以发出音频声音(例如,来自扬声器)。所述有效载荷可以发出无线信号,例如无线电信号或其他类型的信号。
所述有效载荷可能能够与环境进行交互。例如,所述有效载荷可以包括机械臂。所述有效载荷可以包括用于输送的物品,例如液体、气体和/或固体组分。例如,所述有效载荷可以包括农药、水、肥料、灭火材料、食物、包裹、或任何其他物品。
本文中有效载荷的任何示例都可以应用于所述可移动物体可以携带的或可以是所述可移动物体的一部分的装置。例如,一个或多个传感器可以是所述可移动物体的一部分。所述一个或多个传感器可以是除了所述有效载荷之外提供的。这可以适用于任何类型的有效载荷,例如本文描述的那些。
所述可移动物体可能能够与用户终端106进行通信。所述用户终端可以与可移动物体本身、与可移动物体的有效载荷、和/或与可移动物体的载体进行通信,其中所述载体用来支撑所述有效载荷。本文中对于与可移动物体的通信的任何说明也都可以应用于与可移动物体的有效载荷、可移动物体的载体、和/或可移动物体的一个或多个独立部件(例如,通信单元、导航单元、推进单元、电源、处理器、存储器存储单元、和/或致动器)的通信。
所述可移动物体与用户终端之间的通信可以是无线通信。可以在所述可移动物体与用户终端之间提供直接通信。这种直接通信可以无需任何中间装置或网络而发生。可以在所述可移动物体与用户终端之间提供间接通信。这种间接通信可以借助于一个或多个中间装置或网络来发生。例如,间接通信可以利用电信网络。间接通信可以借助于一个或多个路由器、通信塔、卫星、或任何其他的中间装置或网络来执行。通信类型的示例可以包括但不限于经由以下方式的通信:因特网,局域网(LAN),广域网(WAN),蓝牙,近场通信(NFC)技术,基于诸如通用分组无线电服务(GPRS)、GSM、增强型数据GSM环境(EDGE)、3G、4G、或长期演进(LTE)协议的移动数据协议的网络,红外线(IR)通信技术,和/或Wi-Fi,并且可以是无线式、有线式、或其组合。
所述用户终端可以是任何类型的外部装置。用户终端的示例可以包括但不限于:智能电话/手机、平板计算机、个人数字助理(PDA)、膝上计算机、台式计算机、媒体内容播放器、视频游戏站/系统、虚拟现实系统、增强现实系统、可穿戴式装置(例如,手表、眼镜、手套、头饰(例如,帽子、头盔、虚拟现实头戴耳机、增强现实头戴耳机、头装式装置(HMD)、头带)、挂件、臂章、腿环、鞋子、马甲)、手势识别装置、麦克风、能够提供或渲染图像数据的任意电子装置、或者任何其他类型的装置。所述用户终端可以是手持物体。所述用户终端可以是便携式的。所述用户终端可以由人类用户携带。在一些情况下,所述用户终端可以远离人类用户,并且用户可以使用无线和/或有线通信来控制所述用户终端。在本文其他地方更详细地提供了用户终端的多种不同示例和/或特征。
这些用户终端可以包括一个或多个处理器,所述一个或多个处理器可以是能够执行可以提供针对一个或多个动作的指令的非瞬态计算机可读介质。这些用户终端可以包括一个或多个存储器存储装置,所述一个或多个存储器存储装置包括非瞬态计算机可读介质,所述非瞬态计算机可读介质包括用于执行所述一个或多个动作的代码、逻辑、或指令。所述用户终端可以包括软件应用程序,这些软件应用程序允许用户终端与可移动物体进行通信并从其接收成像数据。这些用户终端可以包括通信单元,所述通信单元可以准许与所述可移动物体的通信。在一些情形下,所述通信单元可以包括单一通信模块、或多个通信模块。在一些情形下,用户终端可能能够使用单一通信链路或多个不同类型的通信链路来与所述可移动物体进行交互。
所述用户终端可以包括显示器。所述显示器可以是屏幕。所述显示器可以是或者可以不是触摸屏。所述显示器可以是发光二极管(LED)屏幕、OLED屏幕、液晶显示器(LCD)屏幕、等离子体屏幕、或任何其他类型的屏幕。所述显示器可以被配置成用于显示一个用户界面(UI)或图形用户界面(GUI)。所述GUI可以显示出可以准许用户来控制可移动物体的动作、或修改所述可移动物体的运动路径的图像。所述运动路径可以包括所述可移动物体的飞行路径或飞行轨迹。在一些情况下,指示所述运动路径的曲线可以显示在所述GUI中。在其他情况下,指示了沿着所述运动路径的空间点的多个点可以显示在所述GUI中。用户可以从所述图像中选择目标。所述目标可以是静止的目标或移动的目标。用户还可以从所述图像中选择行进方向。用户还可以选择所述图像的一部分(例如,点、区域、和/或物体)来限定所述目标和/或方向。用户可以通过直接触摸屏幕(例如,触摸屏)来选择所述目标和/或方向。用户可以触摸屏幕的一部分。用户可以通过触摸屏幕上的一个点来触摸屏幕的所述部分。用户还可以通过在所述屏幕上绘出轮廓来生成可移动物体的运动路径。所述运动路径可以是相对于目标物体而生成的。例如,所述运动路径可以是相对于目标物体的位置、朝向、姿态、大小、形状、和/或几何形状而生成的。用户可以通过在所述屏幕上调整(例如,移动)所述运动路径的不同空间点来改变所述运动路径的任何部分。替代地,用户可以在屏幕上从预先存在的区域集合中选择一个区域,或者可以针对一个区域绘出边界,或者以任何其他方式指定所述屏幕的一部分。用户可以通过借助于用户交互装置(例如,鼠标、操纵杆、键盘、跟踪球、触式控制板、按钮、口头命令、手势识别、姿态传感器、热学传感器、触碰式电容性传感器、或任何其他装置)选择图像的所述部分来选择目标和/或方向。触摸屏可以被配置成用于检测用户的触摸位置、触摸时长、触摸压力、和/或触摸运动,其中上述触摸方式中的每一种都可以指明用户的特定输入命令。
所述显示器上的图像可以显示出借助于可移动物体的有效载荷所收集到的视图。例如,可以将成像装置收集的图像显示在所述显示器上。这可以被视为第一人称视角(FPV)。在一些情形下,可以提供单一的成像装置并且可以提供单一的FPV。替代地,可以提供具有不同视野的多个成像装置。可以在这多个FPV之间转换视角,或者可以同时显示出这多个FPV。这多个FPV可以对应于可以具有不同视野的不同成像装置(或由其产生)。用户终端处的用户可以选择所述成像装置所收集的图像的一部分来指定目标物体和/或可移动物体的运动路径。
在另一个示例中,所述显示器上的图像可以显示出可以借助于来自可移动物体的有效载荷的信息而生成的图。这个图可以可选地是借助于多个成像装置(例如,右相机、左相机、或更多相机)生成的,这可以利用立体映射技术。在一些情形下,这个图可以是基于关于可移动物体相对于环境的、成像装置相对于环境的、和/或可移动物体相对于成像装置的位置信息而生成的。位置信息可以包括姿势信息、空间位置信息、角速度、线速度、角加速度、和/或线加速度。这种图可以可选地是借助于一个或多个额外传感器而生成的,例如在本文其他地方更详细描述的。这种图可以是二维图或三维图。可以在二维图视角与三维图视角之间转换视角,或者可以同时显示二维图视角和三维图视角。用户终端处的用户可以选择所述图的一部分来指定目标物体和/或可移动物体的运动路径。可以在一个或多个FPV与一个或多个图视角之间转换视角,或者可以同时显示所述一个或多个FPV和一个或多个图视角。用户可以使用这些视角中的任一个来对目标和/或运动路径进行选择。用户选择的部分可以包括目标和/或运动路径。用户可以使用所描述的任一选择技术来选择所述部分。
在一些实施方式中,所述图像可以是以显示于用户终端(例如,虚拟现实系统或增强现实系统)上的3D虚拟环境来提供的。所述3D虚拟环境可以可选地对应于一个3D图。所述虚拟环境可以包括可以由用户操纵的多个点或物体。用户可以通过在所述虚拟环境中的多种不同动作来操纵这些点或物体。这些动作的示例可以包括:选择一个或多个点或物体、拖放、平移、旋转、自旋、推、拉、放大、缩小等。可以想到在三维虚拟空间中对这些点或物体的任何类型的移动动作。用户终端处的用户可以操纵虚拟环境中的这些点或物体以控制可移动物体的运动路径和/或所述可移动物体的一个或多个运动特征。
所述用户终端可以可选地用来控制可移动物体的移动,例如UAV的飞行。所述用户终端可以准许用户手动地直接控制所述可移动物体的运动。替代地,可以提供一个可以允许用户手动地直接控制可移动物体的运动的单独的装置。这个单独的装置可以与或者可以不与用户终端进行通信。所述可移动物体的运动可以可选地是全自主的或半自主的。用户终端可以可选地用来控制所述可移动物体的任一部件(例如,有效载荷的操作、载体的操作、一个或多个传感器、通信、导航、着陆架、一个或多个部件的致动、电源控制、或任何其他功能)。替代地,单独的装置可以用来控制所述可移动物体的一个或多个部件。这个单独的装置可以与或者可以不与用户终端进行通信。可以借助于一个或多个处理器来自动控制一个或多个部件。
目标物体108可以是由用户选择的。可移动物体102可以朝向所述目标物体行进、围绕所述目标物体导航、和/或视觉跟踪所述目标物体。所述目标物体可以是静止的目标或是移动的目标。可以取决于所述目标物体是静止目标还是移动目标来生成运动路径。在一些情形下,用户可以指明所述目标是静止的还是移动的目标。替代地,用户可以提供目标是静止还是移动目标的任何其他类型的指示符。替代地,可以不提供指示,并且可以借助于一个或多个处理器来自动进行确定,而可选地不要求用户输入所述目标是静止的目标还是移动的目标,并且无需选择适当的运动路径。可以取决于目标物体的运动状态来将其分类为静止的目标或移动的目标。在一些情况下,目标物体可以在任何给定时间点是移动的或静止的。当目标物体在移动时,所述目标物体可以被分类为移动的目标。相反,当同一目标物体为静止时,所述目标物体可以被分类为静止的目标。
静止的目标可以在环境内保持实质上静止。静止的目标的示例可以包括但不限于:景观特征(例如,树、植物、山脉、山丘、河流、小溪、小河、山谷、大圆石、岩石等等)或人造特征(例如,结构、建筑物、道路、桥梁、杆柱、栅栏、不动的载运工具、标志、灯,等等)。静止的目标可以包括大目标或小目标。用户可以选择静止的目标。可以识别出静止的目标。可选地,可以对静止的目标进行映射。所述可移动物体可以行进到和/或导航围绕所述静止的目标,和/或视觉跟踪所述静止的物体。可以规划运动路径(例如,飞行路径)以使得所述可移动物体行进到和/或导航围绕所述静止的目标。替代地,可移动物体可以无需规划的路径而行进到和/或导航围绕所述静止的目标。在一些情形下,所述静止的目标可以对应于结构或物体的一个选定部分。例如,静止的目标可以对应于摩天大楼的具体区段(例如,顶层)。
移动的目标可能能够在环境内移动。移动的目标可以一直在运动,或者可以在一段时间的多个部分是运动的。移动的目标可以沿相对稳定的方向移动或者可以改变方向。移动的目标可以在空气中、陆地上、地下、水上或水中、和/或太空中移动。移动的目标可以是有生命的移动的目标(例如,人、动物)或没有生命的移动的目标(例如,移动的载运工具、移动的机械、随风飞舞的或被水承载的物体、被有生命的目标携带的物体)。移动的目标可以包括单一移动的物体或一群移动的物体。例如,移动的目标可以包括单个人或一群移动的人。移动的目标可以是大目标或小目标。用户可以选择移动的目标。可以识别出移动的目标。可选地,可以对移动的目标进行映射。所述可移动物体可以行进到和/或导航围绕所述移动的目标和/或视觉跟踪所述移动的物体。可以规划运动路径(例如,飞行路径)以使得所述可移动物体导航围绕所述移动的物体。可以随着所述移动的物体沿着所述路径的移动而改变或更新所述路径。替代地,可移动物体可以无需规划路径而行进到和/或导航围绕所述静止的物体和/或视觉跟踪所述移动的物体。
移动的目标可以是被配置成在如下任何合适的环境中移动的任何物体,诸如在空气中(例如,固定翼飞行器、旋翼飞行器或者既不具有固定翼也不具有旋翼的飞行器)、在水中(例如,船舶或潜艇)、在地面上(例如,机动车,诸如轿车、卡车、客车、厢式货车、摩托车;可移动结构或框架,诸如棒状物、钓鱼竿;或者火车)、在地下(例如,地铁)、在太空(例如,航天飞机、卫星、探测器),或者这些环境的任何组合。
移动的目标可能能够在所述环境内关于六个自由度(例如,三个平移自由度和三个旋转自由度)自由移动。替代地,移动的目标的移动可以是相对于一个或多个自由度受约束的,例如受到预设的路径、轨道、或朝向的约束。这种移动能够是由诸如引擎或电机的任何合适的致动机构来致动的。移动的目标的致动机构可以是由任何合适的能源提供动力的,例如,电能、磁能、太阳能、风能、重力能、化学能、核能、或它们任何合适的组合。移动的目标可以是由如下文中进一步描述的推进系统来自推进的。所述推进系统可以任选地以一种能源来运行,诸如电能、磁能、太阳能、风能、重力能、化学能、核能、或它们的任何合适组合。
在一些情形下,移动的目标可以是载运工具,例如遥控的载运工具。适合的载运工具可以包括水上载运工具、空中载运工具、太空载运工具、或地面载运工具。例如,飞行器可以是固定翼飞行器(例如,飞机、滑翔机)、旋转翼飞行器(例如,直升飞机、旋翼飞行器)、具有固定翼和旋转翼二者的飞行器、或不具有二者的飞行器(例如,飞艇、热气球)。载运工具可以是自推进的,如穿过空气、在水面上或在水中、在太空中、或者在地下进行自推进。自推进式载运工具可以利用推进系统,例如,包括一个或多个引擎、电机、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴、或其任意合适的组合的推进系统。在一些情形下,所述推进系统可以用来使得可移动物体能够从表面起飞、在表面上着落、维持其当前位置和/或朝向(例如,悬停)、改变朝向、和/或改变位置。
用户可以选择运动路径110。可移动物体102可以沿用户选择的运动路径来行进。所述路径可以由用户通过提供与所述路径相关联的输入参数、或通过选择一个图像的一部分(例如,在FPV或图视角中)来选定。所述可移动物体可以沿着所述运动路径行进直到接收到撤退指令或者达到撤退条件时。例如,所述可移动物体可以自动沿着所述运动路径行进,直到输入了新路径(在所述运动路径的一部分被改变时)或者输入了新目标时。所述可移动物体可以沿着所述运动路径行进直到选择了不同的运动路径。例如,用户可以在可移动物体移动时的任何时刻对所述可移动物体的运动进行手动控制。
可以对所述可移动物体的行进提供限制因素。在另一情形下,可以检测可以应用运动限制(例如,飞行限制)的条件。如在下文中更详细描述的,在所述可移动物体沿着所述运动路径行进时可能发生障碍物规避。也可以适用额外的限制,例如飞行顶边界、飞行底边界、受限范围、或其他类型的飞行限制。
图2示出了在视觉导航系统中可能出现的通信的示例。在视觉导航系统200中,可以提供能接受来自用户的输入的用户终端202。所述用户终端可以包括输出装置204。所述用户终端还可以与运动控制器206通信,所述运动控制器可以与图像分析器208通信。所述图像分析器可以与成像装置210通信。所述成像装置可以捕捉图像,这些图像可以包括指示了一个或多个目标物体212的多个部分。例如,这些部分可以指示这些目标物体的一个或多个参数。这些参数可以对应于所述目标物体的一个或多个物理特征和/或运动特征。例如,这些参数可以包括所述一个或多个目标物体的大小214a、姿态和/或朝向214b、几何形状(例如,尺寸、大小、形状等)214c、和/或一个或多个运动特征(例如,速度和加速度)214d。
用户终端202可以包括所述用户终端的输出装置204。所述输出装置可以是显示器,例如屏幕。用户可以经由所述输出屏幕来与用户终端进行交互。例如,当所述输出装置是触摸屏时,用户可以在所述触摸屏上通过各种动作来选择(触摸)GUI中的视觉物体而操纵这些视觉物体。这些动作的示例可以包括:选择一个或多个点或物体、绘制形状、拖放、平移、旋转、自旋、推、拉、放大、缩小等。在所述GUI中可以考虑任何类型的用户动作。用户终端处的用户可以操纵GUI中的这些视觉物体以控制可移动物体的运动路径(例如,运动路径的形状、大小、和位置)、运动方向、跟踪功能、和/或一个或多个运动特征。
所述显示器可以具有如本文其他地方描述的任意特征。所述显示器可以并入所述用户装置中或者可以与所述用户终端的其余部分分开提供。如果是与所述用户终端的其余部分分开提供的,则所述显示装置可以与所述用户终端进行通信。可选地可以在所述输出装置与所述用户终端的其余部分之间提供双向通信。
用户终端可以被配置成用于在所述输出装置上显示用户可以通过其来选择目标和/或运动路径或调整运动路径的一个或多个图像。如之前描述的,这些图像可以包括FPV和/或图视角。图像可以包括目标和/或方向的真实图像或虚拟表示。目标物体和/或运动路径可以由用户鉴别,所述用户可以在所述图像中进行选择。例如,用户选择的图像的一部分可以变成目标物体。用户选择的图像的一部分可以变成运动路径。用户也可以通过选择所述图像的一个或多个部分来修改现有的运动路径。
可以提供一个或多个成像装置210。所述一个或多个成像装置可以具有实质上相同的视野或不同的视野。一个或多个成像装置可以是相对于可移动物体可移动的,而一个或多个成像装置可以是相对于可移动物体静止的。在一个示例中,这些成像装置中的一个或多个可以由载体支撑,所述载体可以准许成像装置相对于可移动物体移动。这些成像装置中的一个或多个成像装置可以直接处于可移动物体上,与可移动物体以相同的方向和速度移动,和/或可以不相对于可移动物体移动。
一个或多个成像装置可以捕捉环境的图像。所述环境可以包括一个或多个目标物体212。这些目标物体可以是由可以在图像中做出选择的用户来限定或确定的。由所述一个或多个成像装置捕捉到的图像数据可以例如对应于一个或多个物体的静止图像或视频帧。这些物体可以包括所述可移动物体能够光学地鉴别和/或实时跟踪的任何实体物体或结构。光学跟踪具有若干优点。例如,光学跟踪允许无线‘传感器’,不太易受噪声的影响,并且允许同时跟踪许多物体(例如,不同物体类型)。这些物体可以是以2D或3D格式的静止图像和/或视频帧来描绘,可以是现实生活状态和/或动画状态的,可以是彩色的、黑/白或灰度的,可以在任何色彩空间中,或者可以在线条框架模型中。
图像分析器208可以可选地接收来自所述一个或多个成像装置的图像。所述图像分析器可以是所述成像装置搭载的、载体所搭载的、可移动物体所搭载的、或是外部装置(例如,用户终端、服务器等)。在一些实施方式中,所述图像分析器可以被定位成远离所述成像装置。例如,所述图像分析器可以安置在与所述成像装置通信的远程服务器中。可以将所述图像分析器提供在任何其他类型的外部装置处(例如,用于跟踪装置的遥控器、所述目标物体所携带的物体、诸如基站的参考位置、或另一个跟踪装置),或可以使其分布在云计算构架上。在一些实施方式中,所述图像分析器和所述运动控制器可以定位在同一装置上。在其他实施方式中,所述图像分析器和所述运动控制器可以定位在不同装置上。所述图像分析器和所述运动控制器可以通过有线或无线连接来通信。在一些实施方式中,所述图像分析器可以定位在可移动物体上。例如,所述图像分析器可以安置在所述可移动物体的壳体中。在另外一些实施方式中,所述图像分析器可以安置在与所述可移动物体通信的基站处。所述图像分析器可以位于任何地方,只要所述图像分析器能够:(i)接收使用一个成像装置在不同时刻捕捉的多个图像帧,并且(ii)分析所述多个图像帧从而确定选定目标物体的一个或多个参数。
在一些实施方式中,由所述成像装置捕捉的图像数据可以在图像数据被提供给图像分析器之前储存在介质存储器(未示出)中。所述图像分析器可以被配置成从所述介质存储器直接接收所述图像数据。在一些实施方式中,所述图像分析器可以被配置成同时接收来自所述成像装置和介质存储器的图像数据。所述介质存储器可以是能够储存多个物体的图像数据的任何类型的存储器介质。如先前所描述的,所述图像数据可以包括视频或静止图像。图像分析器可以处理和分析这些视频或静止图像,如在说明书中稍后描述的。所述介质存储器可以提供为CD、DVD、蓝光光盘、硬盘、磁带、闪速存储卡/驱动器、固态驱动器、易失性或非易失性存储器、全息数据存储器、以及任何其他类型的存储介质。在一些实施方式中,所述介质存储器还可以是能够给图像分析器提供图像数据的计算机。
作为另一示例,所述介质存储器可以是网站服务器、企业服务器、或者任何其他类型的计算机服务器。所述介质存储器可以是被编程为接受来自所述图像分析器的请求(例如,HTTP、或者可以起始数据传输的其他协议)并以所请求的图像数据服务所述图像分析器的计算机。另外,所述介质存储器可以是用于分发图像数据的广播设施,例如免付费广播、有线广播、卫星、和其他广播设施。所述介质存储器还可以是数据网络中的服务器(例如,云计算网络)。
在一些实施方式中,所述介质存储器可以被定位成搭载在所述成像装置上。在一些其他实施方式中,所述介质存储器可以被定位在所述可移动物体自身上但不在所述成像装置上。在另外一些实施方式中,所述介质存储器可以位于在所述可移动物体和/或所述成像装置外的一个或多个外部装置上。在这些另外实施方式中,所述介质存储器可以定位在遥控器、地面站、服务器等上。可以考虑上述部件的任何安排或组合。在一些实施方式中,所述介质存储器可以通过一个对等网络架构与所述成像装置和跟踪装置通信。在一些实施方式中,可以使用云计算架构来实现所述介质存储器。
所述图像数据可以(例如,以图像信号的形式)提供至图像分析器以便进行图像处理/分析。在一些示例中,所述图像分析器可以实施为在处理器中执行的软件程序和/或实施为分析所述多个图像帧以鉴别目标物体和与所述目标物体相关联的一个或多个参数的硬件。例如,所述图像分析器可以被配置成用于分析这些图像帧以鉴别目标物体,例如静止的目标或移动的目标。这可以包括基于用户的输入、例如选择所述图像的一部分来检测物体。例如,即使选择了单个点,也可以确定与所述点对应的物体。所述图像分析器可以进一步被配置成用于分析这些图像帧以鉴别与所述目标物体相关联的一个或多个参数。这些参数可以包括所述一个或多个目标物体的大小214a、姿态和/或朝向214b、几何形状(例如,尺寸、大小、形状等)214c、和/或一个或多个运动特征(例如,速度和加速度)214d。
所述图像分析器可以被配置成用于确定可移动物体与目标物体之间的相对位置。在一些情形下,所述图像分析器可以确定所述成像装置和/或可移动物体相对于环境(例如,惯性参照系)的和/或相互之间的位置。所述图像分析器可以确定目标物体相对于环境(例如,惯性参照系)和/或相对于所述可移动物体(可以包括由所述可移动物体支撑的成像装置在内)的位置。可选地,可以用来自一个或多个额外传感器和/或外部装置的数据来辅助所述图像分析器确定位置信息(例如,IMU数据或来自本文其他地方描述的任何其他传感器的数据)。如之前描述的,位置信息可以包括空间位置(例如,参照一条、两条或三条轴线)、姿态(例如,相对于一条、两条或三条轴线)、线速度、角速度、线加速度和/或角加速度。
可以(以分析好的信号的形式)将这些图像帧的所得到的分析提供显示在用户终端的输出装置上。例如,可以生成指示所述环境和/或所述环境内的各个物体和/或所述可移动物体的位置的图。这个图可以是2D或3D图。这个图可以显示在所述输出装置上。可选地,来自所述图像分析器的数据可以被直接提供给用户终端,所述用户终端可以将其显示在输出装置上而无需任何中间分析或处理。例如,可以可选地传输来自所述图像分析器的数据以便显示在所述用户终端的输出装置上,而不通过运动控制器。
可选地,来自所述图像分析器的数据可以被提供给运动控制器206。所述运动控制器可以是所述可移动物体机载的、载体搭载的、所述成像装置搭载的、和/或被提供在外部装置或网络上。所述运动控制器可以是使用本文其他地方针对其他部件(例如图像分析器或存储器)提供的任何示例性的装置或构型来提供的。
所述运动控制器可以控制所述可移动物体的运动。例如,所述运动控制器可以控制所述可移动物体沿着运动路径行进以便环绕目标物体和/或跟踪所述目标物体。可选地,所述运动控制器可以生成将被提供给所述可移动物体的一个或多个推进单元的一个或多个运动指令。所述运动控制器可以可选地生成用于所述可移动物体的运动路径。所述运动路径可以实质上是固定的或者可以是可变的或动态的。所述运动路径可以被配置成环绕目标物体。所述运动路径可以是2维(2-D)或3维(3-D)曲线。在一些实施方式中,运动路径可以环绕静止的物体。所述运动路径可以可选地环绕移动的物体,并且航向和/或路径可以随着所述物体的移动而改变。替代地,可以针对不断改变其位置、大小、形状、几何形状和/或朝向的目标物体生成一条不断改变的运动路径。所述运动路径可以保持不变,直到检测到撤退条件(例如,检测到进一步的输入,或者适用运动限制)。撤退条件还可以包括用户在所述显示器上调整所述运动路径的一个或多个空间点。所述运动控制器可以与所述可移动物体的一个或多个推进单元进行通信(未图示)。
可选地,可以将来自一个或多个传感器的信息提供给所述运动控制器。例如,可以将来自一组或多组IMU的信息提供给所述运动控制器。所述一组或多组IMU可以是所述可移动物体机载的、载体搭载的和/或有效载荷搭载的。来自这些IMU的数据可以指示所述可移动物体、载体和/或有效载荷的位置信息。所述运动控制器可以可选地使用来自所述一个或多个传感器的信息来控制可移动物体的运动。可选地,可以使用来自所述一个或多个传感器的信息来控制成像装置相对于可移动物体和/或其环境的位置。
所述运动控制器可以接收来自所述用户终端的信息。所述运动控制器可以接收指示了用户对目标和/或运动路径的选择或用户对所述运动路径或其一部分的修改的信息。所述运动控制器可以响应于目标的选择和/或对运动路径的任何改变而生成或调整所述可移动物体的运动路径和/或控制其运动。
可以可选地将来自所述运动控制器的信息提供给用户终端。例如,所述用户终端可以接收关于运动路径的信息。可以可选地将运动路径和/或航向显示在所述输出装置上。
虽然在图2中作为操作性相连接的多个分开的部件进行了示出,但应理解的是,所示的构型仅是出于展示的目的。可以移除或组合某些部件或装置,并且可以添加其他部件或装置。
图3示出了根据一些实施方式的其中运动控制器可以用来控制可移动物体沿着运动路径行进的示例。所述运动路径可以是相对于目标物体而限定的,如下文所描述的。
参见图3,运动控制器306可以被配置成向可移动物体302传输信号并且基于所传输的信号来控制所述可移动物体沿着运动路径310移动。所述运动控制器可以是所述可移动物体的一部分或是与之分开的。例如,在一些实施方式中,所述运动控制器可以集成到所述可移动物体中。在其他实施方式中,所述运动控制器可以远离所述可移动物体(例如,所述运动控制器可以位于遥控器处和/或用户终端处)。所述运动路径可以是相对于目标物体308而限定的。在图3所示的示例中,所述运动路径可以是椭圆。从所述目标物体延伸的轴线可以经过所述椭圆的中心O。中心O可以与所述目标物体间隔开距离d。应注意的是,所述运动路径的形状不必局限于椭圆,而是可以包括任何其他规则形状或不规则(无定形)形状。所述运动路径可以是2-D或3-D的,并且可以处于一个或多个平面上。所述运动路径可以是在空中、在太空中、在地面上、在地下、在水上、在水下、或以上的任何组合。
所述运动控制器可以控制所述可移动物体行进到沿着所述运动路径定位的进入点310-1。所述可移动物体可以被配置成通过沿着所述运动路径移动来导航环绕所述目标物体。如图3所示,所述可移动物体可以被配置成以距离r导航围绕所述目标物体。距离r可以是恒定的或可变的,取决于所述椭圆的偏心率。当所述椭圆的偏心率为0时,所述椭圆是圆并且距离r是恒定的。相反,当所述椭圆的偏心率大于0且小于1时,距离r是变量并且可以根据所述椭圆的长轴和短轴而改变。
使用图3的系统可以实现一种用于控制可移动物体(例如UAV)的方法。所述方法可以包括获得目标物体的一个或多个参数,并且基于所述目标物体的所述一个或多个参数来生成所述可移动物体的运动路径。所述运动路径可以包括相对于所述目标物体的所述一个或多个参数限定的多个空间点。所述多个空间点可以被配置成处于一个或多个平面上。例如,在一些实施方式中,所述多个空间点可以被配置成处于同一平面上。在其他实施方式中,所述多个空间点可以被配置成处于多个不同平面上。在一些实施方式中,所述可移动物体的运动路径可以是飞行路径或轨迹,并且可以是由所述运动控制器(例如,飞行控制器)和/或用户终端生成的。
所述目标物体的所述一个或多个参数可以是从使用一个或多个成像装置捕捉的多个图像中获得的。这样的一个或多个参数可以指示所述目标物体的视觉特征。例如,在一些实施方式中,所述一个或多个参数可以包括所述目标物体的形状和/或朝向。所述运动控制器可以被配置成基于所述目标物体的形状和/或朝向来生成所述可移动物体的运动路径。在所述运动路径中的一个或多个空间点可以是相对于所述目标物体的形状和/或朝向而限定的。在一些情形下,在所述运动路径中的一个或多个空间点可以在所述目标物体的形状和/或朝向改变时自动地或经由用户输入被调整。所述一个或多个参数还可以包括所述目标物体的一个或多个尺寸。尺寸的示例可以包括所述目标物体的长度、宽度、高度、圆周、周长、表面积和/或体积。
所述目标物体可以具有规则形状或不规则(无定形)形状。在一些情况下,所述目标物体的形状可以是固定的。在其他情况下,所述目标物体的形状可能能够随着时间而改变。在一些实施方式中,所述目标物体的大小可以在所述目标物体的形状改变时保持相同。例如,目标物体可以从立方体形状改变成球形形状或任何其他形状,但是保持相同的大小(例如,相同的体积)。在其他实施方式中,所述目标物体的大小可以在所述目标物体的形状改变时改变。例如,所述目标物体的大小可以随着所述目标物体的形状改变而增大或减小。在所述运动路径中的一个或多个空间点可以在所述目标物体的形状和/或大小改变时被调整。在一些情况下,这些空间点的调整可以在所述目标物体的形状改变时发生,并且可以独立于所述目标物体的大小的任何变化。在一些其他情况下,这些空间点的调整可以在所述目标物体的形状和大小都改变时发生。这些空间点的调整可以改变所述运动路径所围成的轮廓的形状和/或大小以便补偿所述目标物体的形状和/或大小的改变。
在一些实施方式中,所述目标物体可以具有固定的朝向。在其他实施方式中,所述目标物体的朝向可能能够随着时间而改变。在所述运动路径中的一个或多个空间点可以在所述目标物体的朝向改变时被调整。所述目标物体的朝向可以包括所述目标物体的姿态(当所述目标物体能够围绕俯仰轴线、横滚轴线和偏航轴线中的一条或多条轴线进行旋转时)。所述目标物体的朝向还可以包括所述目标物体的倾斜角。倾斜角可以是在所述目标物体的一部分与参考平面之间测量的。所述目标物体的这部分可以位于所述目标物体上的任何地方(例如,所述目标物体的边缘表面、底表面、侧表面或顶表面上)。所述参考平面可以是相对于地平面水平布置的、相对于地平面倾斜的、或相对于地平面竖直布置的。替代地,所述参考平面可以本身就是地平面。可选地,所述参考平面可以是在三维(3-D)空间中浮动的虚构平面。可以考虑所述参考平面在3-D空间中的任何朝向。
所述倾斜角可以是相对于所述参考平面限定的。在一些情况下,所述倾斜角可以是直角,从而使得所述目标物体被安置成垂直于所述参考平面。在其他情况下,所述倾斜角可以是锐角或钝角,从而使得所述目标物体是相对于所述参考平面倾斜的。可以考虑在任何方向上的倾斜角的任意值范围(在从约0度至约360度的范围内)。
在一些实施方式中,可以限定延伸穿过目标物体的轴线。所述轴线可以是可以限定所述运动路径的回旋轴线。所述可移动物体可以被配置成围绕所述回旋轴线来移动或导航围绕所述回旋轴线。在一些情况下,所述运动路径可以围绕所述回旋轴线以椭圆形状穿越。所述回旋轴线可以延伸经过所述椭圆形运动路径的中心。在一些情况下,所述回旋轴线可以与所述椭圆形运动路径的中心相偏离。所述回旋轴线可以与以下各项相交:(1)所述椭圆形状内的平面,(2)所述椭圆形状的圆周,或(3)所述椭圆形状外的平面。
所述回旋轴线可以是基于所述目标物体的朝向而限定的。所述回旋轴线可以从所述参考平面以所述倾斜角在不同方向上延伸。例如,在所述倾斜角为直角时所述回旋轴线可以与所述参考平面正交。替代地,在所述倾斜角为锐角或钝角时所述回旋轴线可以相对于所述参考平面偏斜。所述回旋轴线可以被配置成取决于所述倾斜角而在三维空间中在任意方向上延伸。在一些实施方式中,所述回旋轴线可以与一个或多个平面正交。在其他实施方式中,所述回旋轴线可以相对于一个或多个平面偏斜。在一些情况下,所述回旋轴线可以与一个或多个平面相交。替代地,所述回旋轴线可以平行于一个或多个平面。所述运动路径的一个或多个节段可以处于所述一个或多个平面上,如之后在本说明书中描述。
在一些实施方式中,所述目标物体的形状和/或朝向可以随着所述目标物体的一个或多个移动特征而改变。所述目标物体的这些移动特征可以包括所述目标物体的速度、加速度以及姿态中的至少一项。
在一些实施方式中,所述目标物体的所述一个或多个参数可以包括所述目标物体的位置。所述运动路径可以是基于所述目标物体的位置而生成的。例如,在所述运动路径中的所述多个空间点可以是相对于所述目标物体的位置来限定的。所述多个空间点可以被定位成远离所述目标物体的位置。可选地,至少一个空间点可以被定位在所述目标物体的位置处。例如,至少一个空间点可以被定位在所述目标物体的一部分上。
在一些实施方式中,所述运动路径可以是三维的,使得所述多个空间点处于多于一个的平面上。例如,所述多个空间点可以被限定成使得所述运动路径形成一种包括处于不同平面上的两个或更多个区段/节段的3-D轮廓。所述轮廓可以是封闭轮廓或开放轮廓。当所述轮廓为开放轮廓时,所述轮廓的一个或多个区段可以与相邻区段不相连。所述轮廓可以具有规则形状或不规则(无定形)形状。
在3-D运动路径中,所述多个空间点可以被配置成处于多个不同平面上。这些平面可以是相对于彼此以不同角度安置的。在一些情况下,两个或更多个平面可以是彼此平行的。在其他情况下,两个或更多个平面可以彼此相交。在一些实施方式中,第一组平面可以是彼此平行的并且第二组平面可以彼此相交。
在一些实施方式中,第一组空间点可以被配置成处于第一平面上并且第二组空间点可以被配置成处于第二平面上。所述第一平面和所述第二平面可以是彼此平行的。替代地,所述第一平面和所述第二平面可以以一个角度彼此相交。所述角度可以是锐角或钝角,从而使得所述第一平面和所述第二平面是相对于彼此偏斜的。在一些情况下,所述角度可以是直角,从而使得所述第一平面和所述第二平面是彼此垂直的。
在一些实施方式中,可以限定从所述目标物体的位置到所述多个空间点的多个向量。所述目标物体的位置可以用作可以限定所述多个向量的参考点。每个向量可以包括幅值和方向。所述方向可以是由所述向量与经过所述目标物体的位置的平面之间的角度来确定。所述平面可以是水平平面或竖直平面。替代地,所述平面可以相对于所述目标物体以六个自由度定向在任意方向上。所述多个向量可以具有不同的方向并且处于不同的平面上。
所述可移动物体可以被配置成沿着所述运动路径移动。例如,所述可移动物体可以被所述运动控制器和/或用户终端控制来沿着所述运动路径移动。所述运动路径可以对应于飞行轨迹或所述飞行轨迹的一部分。
图4示出了根据一些实施方式的运动控制器的输入和输出的框图。如图4所示,所述运动控制器可以被配置成用于接收多个信号。所述多个信号可以包括:(1)一个或多个目标物体参数;(2)一个或多个运动路径参数;(3)一个或多个可移动物体参数;和/或(4)一个或多个外部输入。所述运动控制器可以被配置成用于基于这些输入信号中的一个或多个信号来生成可移动物体的运动路径。
所述一个或多个目标物体参数可以包括所述目标物体的经度、纬度和/或海拔。所述经度、纬度和/或海拔可以用来确定所述目标物体在3-D空间中的位置。所述一个或多个目标物体参数可以进一步包括与从所述目标物体延伸的虚构轴线相对应的向量。所述向量/虚构轴线可以指示所述目标物体的朝向。在一些情况下,所述向量/虚构轴线可以穿过所述目标物体的中心部分。所述目标物体的中心部分可以包括所述目标物体在3-D空间中的一组笛卡尔坐标。在一些实施方式中,所述目标物体的位置可以对应于具有一组已知的全球空间坐标的、准确观测出的位置。在一些实施方式中,所述目标物体的位置可以是从所述目标物体的一个或多个全球导航卫星系统(GNSS)位置测量值获得的。
在一些实施方式中,可以使用单个成像装置或多个成像装置来确定所述目标物体的位置。例如,可以使用单个成像装置来确定目标的位置,所述成像装置为飞行时间(TOF)相机。飞行时间相机(TOF相机)可以是能通过针对图像的每个点测量所述相机与对象之间的光信号的飞行时间、基于已知的光速而解析距离的范围成像相机系统。在一些情况下,使用TOF相机可以改善跟踪精度。在一些实施方式中,可以使用多个成像装置来获得所述目标物体位置在3-D空间中的立体映射。
所述一个或多个运动路径参数可以包括从所述目标物体的虚构轴线和/或位置限定的回旋距离。回旋距离可以确定所述运动路径的大小和/或形状。例如,小的回旋距离可以导致围绕所述目标物体的运动路径紧凑(较短),而大的回旋距离可以导致围绕所述目标物体的运动路径延长(较长)。当所述运动路径是椭圆时,所述椭圆的长轴和短轴可以基于所述回旋距离而确定。所述回旋距离可以是恒定的或可变的。当所述回旋距离恒定时,在所述运动路径中的多个点可以处于同一平面上。相反,当所述回旋距离为可变的时,在所述运动路径中的所述多个点可以处于一个或多个平面上并且所述运动路径可以是2-D或3-D的。用户可以设定所述回旋距离不能超过或低于的最大值和/或最小值。所述最大值可以确保所述可移动物体不会移动得太远离所述目标物体。相反,所述最小值可以确保所述可移动物体不会移动得太靠近所述目标物体。在一些实施方式中,所述运动路径上的每个空间点到所述目标物体的位置之间的距离可以大于第一预定距离并且小于第二预定距离。所述第一预定距离和所述第二预定距离可以限定一个区,所述运动路径可位于所述区内。
在一些实施方式中,所述一个或多个运动路径参数可以进一步包括沿着所述运动路径的进入点。可以控制所述可移动物体在所述进入点处进入所述运动路径,并且通过沿着所述运动路径移动而开始导航围绕和/或跟随所述目标物体。在一些情况下,所述可移动物体不必沿着所述运动路径的整个长度行进,并且可以沿着所述运动路径的仅一部分行进。在这些情况下,所述一个或多个运动路径参数可以包括行进角度。所述行进角度可以限定所述运动路径的、所述可移动物体沿其飞行的那部分。所述行进角度可以是大于0度的值。当所述行进角度为180度时,所述可移动物体可以行进所述运动路径的一半。当所述行进角度为360度时,所述可移动物体可以沿着整个运动路径行进。当所述行进角度为540度时,所述可移动物体可以行进所述运动路径的1.5倍。当所述行进角度为720度时,所述可移动物体可以行进所述运动路径的2倍。当所述行进角度小于360度时,所述可移动物体可以沿着所述运动路径的、小于所述运动路径总长度的一部分移动。例如,所述行进角度可以限定沿着所述运动路径的弧线。所述弧线的第一端可以是所述进入点限定的并且所述弧线的第二端可以是由离去点限定的。所述可移动物体可以被配置成在所述弧线的第一端处进入所述运动路径,沿着所述弧线移动,并且在所述弧线的第二端处离开所述运动路径。
在一些实施方式中,所述一个或多个运动路径参数可以进一步限定所述可移动物体从其当前位置飞到所述运动路径的进入点的方式。例如,所述可移动物体可以首先从其当前位置竖直地移动并且接着水平朝向所述进入点移动。可选地,所述可移动物体可以首先从其当前位置水平地移动并且接着竖直地朝向所述进入点移动。替代地,所述可移动物体可以以对角线的方式(水平地和竖直地)从其当前位置朝向所述进入点移动。从所述当前位置到所述进入点的运动路径不必是笔直的。在一些实施方式中,所述可移动物体可以以曲线的方式从其当前位置移动至所述进入点,例如以便规避沿着路径的障碍物或抵抗天气影响(例如,风向/风速、海拔气压改变等)。
所述一个或多个可移动物体参数可以包括所述可移动物体沿着所述运动路径移动时所具有的一个或多个运动特征。这些运动特征可以包括所述可移动物体沿着所述运动路径的速度、加速度、海拔、姿态和/或朝向。速度可以包括线速度和/或角速度。同样,所述加速度可以包括线加速度和/或角加速度。所述可移动物体可以被配置成根据所述一个或多个运动特征沿着所述运动路径移动。
所述一个或多个外部输入可以包括由一个或多个用户提供的一个或多个输入。所述一个或多个输入可以是在所述可移动物体移动之前提供,或在所述可移动物体沿着所述运动路径移动时实时地提供。所述一个或多个外部输入可以包括改变沿着所述运动路径的一个或多个空间点的位置。在一些实施方式中,用户可以通过使用计算机实现的图形显示器来改变一个或多个空间点的位置。所述运动路径(和/或其上的多个空间点)可以视觉地描绘在所述图形显示器上。用户可以例如通过使用输入装置(例如,鼠标或触摸屏)来使这些视觉描述的空间点中的一个或多个空间点在所述图形显示器上的不同位置之间移动。所述一个或多个空间点的移动可以致使所述运动路径改变。例如,所述运动路径的接近被移动的一个或多个空间点的那部分可以基于所述一个或多个空间点的移动而改变。一个或多个空间点的局部的且动态的移动可以对运动控制提供某些优点。例如,用户可以在所述可移动物体运动之前或在所述可移动物体沿着所述运动路径移动时实时地移动一个或多个空间点,这样使得所述可移动物体可以规避沿着所述运动路径的障碍物。不必在这些空间点移动时重新生成整个运动路径。而是,可以取决于障碍物在这些区域中的出现来调整所述运动路径的局部区域。
在一些实施方式中,可以在所述可移动物体沿着所述运动路径移动时监测所述可移动物体的功率水平。可以在所述功率水平小于阈值功率时控制所述可移动物体脱离所述运动路径。例如,可以控制所述可移动物体返回至初始出发位置。在一些情况下,可以控制所述可移动物体行进到所述目标物体的位置。在其他情况下,可以控制所述可移动物体行进到预定位置。所述预定位置可以对应或可以不对应于所述初始出发位置或所述目标物体的位置。
图5示出了根据一些实施方式的用户界面(UI)的示例,用户可以通过所述用户界面、通过使运动路径的轴线偏斜而致使所述运动路径的朝向发生改变。A部分示出了包括目标物体的环境和运动路径的初始显示。B部分示出了用户沿着轴线选择一个点并且通过在显示器上将所述点移动至不同位置来使所述轴线偏斜。C部分示出了在所述轴线已经偏斜之后具有不同的朝向的运动路径。
A部分示出了包括目标物体502的环境的初始显示。可以限定延伸经过所述目标物体的轴线504。可以相对于所述目标物体的位置和所述轴线限定运动路径506。轴线504可以正交地延伸穿过所述运动路径所限定的平面。在一些情况下,轴线504可以延伸经过所述运动路径所限定的平面的中心。所述平面的中心可以与所述目标物体的位置一致或不一致。可移动物体(未示出)可以被配置成沿着所述运动路径移动以便环绕所述目标物体。在A部分中,所述运动路径可以呈椭圆形状,但不必局限于此。例如,所述运动路径可以具有任何规则形状或不规则(无定形)形状,并且可以是2-D或3-D的。
在一些实施方式中,这种显示可以被提供为FPV(第一人称视角)。所述FPV可以包括来自成像装置的实时流媒体图像。所述成像装置可以是所述可移动物体的有效载荷。所述成像装置可以安装在所述可移动物体的本体上。在一些情形下,所述成像装置可以位于远离所述可移动物体的不同位置处。在一些情形下,所述成像装置可以定位在另一个可移动物体上。所述FPV可以替代地是来自所述成像装置的图像的图形描绘或表示。目标物体处于所述成像装置的视野内。在一些情况下,目标物体可以是独立的物体。在其他情况下,一个或多个其他物体可以环绕或者靠近目标物体。目标物体可能是静止的和/或能够移动。在进行环境的初始显示时,可移动物体可以是静止的或移动的。
替代地或者结合所述FPV可以展示其他类型的视角。例如,在一些实施方式中,可以提供图视角。图视角可以包括2-D图,例如俯视图。图视角可以包括3-D图。所述3-D图可以是可变的以从多种不同角度观察3-D环境。如本文之前描述的,可以示出立体渲染、线条框架或其他类型的图像。
这种显示可以是示出在用户终端上的。用户可以可选地握持所述用户终端。用户可以通过在所述FPV中选择不同的点或物体来与此显示交互。用户还可以通过在所述FPV中选择不同的点或物体来生成和/或修改可移动物体的运动路径。
B部分示出了用户沿着轴线504选择一个点504-1并且通过在所述显示器上使得所述点504-1沿方向508移动来使所述轴线倾斜。方向508可以是如从用户的视点看到的顺时针方向。点504-1可以处于沿着轴线504的任何地方。当用户选择点504-1时,轴线504可以被选定。用户可以使轴线504在所述显示器上以一个或多个自由度移动。在一些实施方式中,当图像包括3-D图时,用户可以通过在所述显示器上以不同构型操纵所述轴线来使所述轴线以六个自由度移动。例如,用户可以在3-D图上将所述轴线沿着X轴线、Y轴线和/或Z轴线进行平移和/或旋转。
C部分示出了在所述轴线504已经倾斜之后具有不同朝向的运动路径506’。如B部分和C部分所示,用户可以通过将选定点504-1移动至另一个位置504-2来使得轴线504在方向508上旋转一个角度θ。所述旋转可以产生倾斜的轴线504’。如以上所述,运动路径可以是相对于所述目标物体的位置和所述轴线而限定的。当所述轴线的朝向改变时,所述运动路径的朝向可以相应地改变。如C部分所示,运动路径506’可以是相对于轴线504’而限定的。当所述运动路径的朝向从506改变成506’时,可移动物体可以被配置成切换路线并且沿着运动路径506’移动。
在一些实施方式中,所述轴线/运动路径的朝向的改变可以是相同的。例如,当轴线504倾斜了角度θ时,由所述运动路径限定的平面也可以在同一方向上倾斜角度θ。
在一些替代性实施方式中,所述轴线/运动路径的朝向的改变可以成正比和/或成反比的。例如,当轴线504倾斜了角度θ时,由所述运动路径限定的平面可以倾斜角度φ(未示出)。角度φ可以小于或大于角度θ并且可以与角度θ在相同方向上或不同方向上。例如,角度θ与角度φ之间的关系可以为φ=n·θ,其中n可以是分数或整数并且可以是正数或负数。在一些情况下,当n小于1时,所述轴线的大倾斜可以转化为所述运动路径的朝向的小改变。相反,当n是大于1的整数时,所述轴线的小倾斜可以转化为所述运动路径的朝向的大改变。用户可以基于运动控制灵敏度/偏好来调整n的值。例如,经验较少的用户可以选择n小于1(较低的倾斜灵敏度),而经验丰富的用户可以选择n大于1(较高的倾斜灵敏度)。
图6示出了根据一些实施方式的多个不同运动路径的示例,这些不同运动路径是基于目标物体的不同朝向而限定的。A部分示出了包括目标物体602的环境。所述目标物体可以是兴趣点,例如建筑物。可以限定延伸经过所述目标物体的长度的轴线604。所述目标物体可以安置成垂直于水平的地平面。这样,所述轴线可以与所述水平的地平面正交地延伸。可以相对于所述目标物体的位置和所述轴线限定运动路径606。所述轴线可以正交地延伸穿过所述运动路径所限定的平面。在一些情况下,所述轴线可以延伸经过所述运动路径所限定的平面的中心。所述平面的中心可以与所述目标物体的位置一致或不一致。可移动物体可以被配置成沿着所述运动路径移动以便环绕所述目标物体。在A部分中,所述运动路径可以呈椭圆形状,但不必局限于此。例如,所述运动路径可以具有任何规则形状或不规则(无定形)形状,并且可以是2-D或3-D的随机曲线。
在B部分中,所述目标物体可以具有与A部分所示不同的朝向。在B部分中,目标物体602可以相对于所述水平的地平面倾斜了角度θ。相应地,延伸经过所述目标物体的长度的轴线604’可以相对于所述水平的地平面倾斜了所述角度θ。如以上所述,运动路径可以是相对于所述目标物体的位置和所述轴线而限定的。当所述轴线/目标物体的朝向改变时,所述运动路径的朝向可以相应地改变。如B部分所示,运动路径606’可以是相对于轴线604’而限定的。由运动路径606’限定的平面可以在所述相同方向上倾斜了角度θ。相应地,所述运动路径可以被配置/调整成考虑所述目标物体的朝向的改变。
在一些实施方式中,所述目标物体不必位于水平的地平面上。例如,如在C部分所示,目标物体602可以自由地安置在空间环境内。所述目标物体可以在所述空间环境中是静止的、悬停的或移动的(例如,飞行器)。可以限定延伸经过所述目标物体的长度的轴线604”。可以相对于所述目标物体的位置和所述轴线604”限定运动路径606”。所述轴线可以正交地延伸穿过所述运动路径所限定的平面。可移动物体可以被配置成沿着运动路径606”移动以便环绕所述目标物体。C部分示出了可以取决于目标物体的朝向而任何方式在3-D空间中修改所述运动路径的朝向,并且不必局限于被定位在地平面上的目标物体。
在一些实施方式中,通过使用运动控制器和/或用户终端可以实现一种控制可移动物体的方法。所述方法可以包括:相对于至少一个目标物体,针对处于第一空间点处的所述可移动物体确定第二空间点;并且生成所述可移动物体从所述第一空间点到所述第二空间点的运动路径。
所述方法可以进一步包括基于用户输入来动态地调整所述第二空间点。所述用户输入可以指明所述第二空间点的改变、和/或所述第一空间点与所述第二空间点之间的改变。所述用户输入可以是由一个或多个用户使用计算机实现的图形显示器来提供的。所述第一空间点和所述第二空间点可以被视觉地描绘在所述计算机实现的图形显示器上。所述用户输入可以包括使所述视觉描绘的第一空间点和/或第二空间点在所述计算机实现的图形显示器上的不同位置之间移动。所述运动路径可以是基于所述第二空间点的改变、和/或所述第一空间点与所述第二空间点之间的改变而自动更新的。所述可移动物体可以被配置成沿着更新后的运动路径移动。
在一些情况下,所述可移动物体可以预计将在时刻t1经过所述第一空间点并且在时刻t2经过所述第二空间点,其中t2是t1之后出现的时间点。所述第二空间点可以是基于所述可移动物体经过所述第一空间点时的一个或多个运动特征而确定的。所述一个或多个运动特征可以至少包括所述可移动物体的速度或加速度。所述运动路径可以是相对于目标物体而生成的。
从所述目标物体的位置到所述第一空间点可以定义第一向量,并且从所述目标物体的位置到所述第二空间点可以定义第二向量。所述第一向量和所述第二向量可以被配置成处于一个或多个平面上。例如,在一些实施方式中,所述第一向量和所述第二向量可以处于同一平面上。在其他实施方式中,所述第一向量和所述第二向量可以处于不同的平面上。所述第一向量可以处于第一平面上并且所述第二向量可以处于第二平面上。所述第一平面和所述第二平面可以具有不同的朝向。所述第一平面可以平行于所述第二平面。替代地,所述第一平面可以与所述第二平面相交。所述第二空间点可以基于用户输入而被动态地调整至第三空间点。所述用户输入可以指明所述第二空间点的改变、和/或所述第一空间点与所述第二空间点之间的改变。从所述目标物体到所述第三空间点可以定义第三向量。所述第三向量可以处于第三平面上。所述第三平面和所述第二平面可以具有不同的朝向。在一些情况下,所述第三平面可以平行于所述第二平面。替代地,所述第三平面可以与所述第二平面相交。
图7示出了根据一些实施方式的用户界面(UI)的示例,用户通过所述用户界面可以选择/移动一个点并且致使运动路径的某个位置发生改变。例如,用户可以基于移动的目标物体的位置来动态地调整所述运动路径的位置。A部分示出了包括目标物体的环境和运动路径的初始显示。B部分示出了用户选择并移动与所述目标物体相对应的点,以便将所述运动路径移动至一个不同位置来跟踪所述目标物体。
A部分示出了包括目标物体702的环境的初始显示。第一空间点702-1可以被视觉地描绘在所述显示器上并且可以指明所述目标物体的初始位置。可以限定延伸经过所述目标物体的轴线704。可以相对于所述目标物体的初始位置和所述轴线限定运动路径706。所述轴线可以正交地延伸穿过所述运动路径所限定的平面。在一些情况下,所述轴线可以延伸经过所述运动路径所限定的平面的中心。所述平面的中心可以与所述目标物体的位置一致或不一致。可移动物体可以被配置成沿着所述运动路径移动以便环绕所述目标物体。在A部分中,所述运动路径可以呈椭圆形状,但不必局限于此。例如,所述运动路径可以具有任何规则形状或不规则(无定形)形状,并且可以是2-D或3-D的。
目标物体702可能能够沿着和/或围绕一条或多条轴线移动。例如,所述目标物体可能能够沿着和/或围绕一条或多条轴线平移和/或旋转。这些轴线可以是彼此正交、相对于彼此偏斜、平行于彼此的、或是以上的任何组合。
在一些实施方式中,所述目标物体可以从第一空间点702-1移动至第二空间点702-2。用户可以调整运动路径706的位置使得可移动物体继续环绕和/或跟踪移动的目标物体。如A部分和B部分所示,用户可以选择第一空间点702-1,这可以致使所述运动路径被选中。接下来,用户可以例如通过选择第二空间点702-2、或者通过在显示器上从第一空间点702-1‘滑动’到第二空间点702-2来移动所述运动路径来跟踪移动的目标物体。如B部分所示,运动路径706’可以相对于第二空间点702-2而限定。在一些实施方式中,所述运动路径的位置可以是在目标物体移动时自动调整而无需用户的任何进一步输入。例如,可移动物体上的成像装置可以跟踪目标物体的移动并且基于跟踪到的移动来自动地调整所述运动路径的位置。
在一些实施方式中,所述第二空间点可以是相对于所述目标物体的一条或多条移动轴线来调整的。例如,所述第二空间点可以是在所述目标物体移动时动态地调整的。所述第二空间点可以与所述目标物体的位置的变化成比例地调整。在一些情形下,可以基于所述动态调整后的第二空间点重新生成所述运动路径。所述可移动物体可以被配置成在所述目标物体沿着运动路径移动时沿着所述重新生成的运动路径跟随所述目标物体。
在一些实施方式中,所述第一空间点和所述第二空间点可以均沿着轴线704定位。在其他实施方式中,所述第一空间点可以沿着轴线704定位并且所述第二空间点可以沿着与轴线704不同的另一条轴线定位。例如,如果所述目标物体在从所述第一空间点移动至所述第二空间点时改变其朝向,则所述第一空间点和所述第二空间点可以并不处于同一轴线(轴线704)上。所述目标物体可能能够沿着和/或围绕一条或多条轴线平移和/或旋转。在一些情况下,所述目标物体可以在从所述第一空间点移动至所述第二空间点的同时(或随后)进行平移和旋转。旋转可以致使所述目标物体的朝向改变。如之前在图5和图6中所描述的,所述目标物体的朝向的改变可以导致所述运动路径相对于所述目标物体的朝向改变。
图8示出了根据一些实施方式的多个运动路径的示例,这些运动路径是在目标物体沿着一条轴线移动时相对于所述目标物体限定的。在A部分中,目标物体802可以初始地处于第一位置802-1处。可以限定延伸经过所述目标物体的轴线804。可以相对于所述目标物体的第一位置和所述轴线限定运动路径806。所述轴线可以正交地延伸穿过所述运动路径所限定的平面。
所述目标物体可以从第一位置802-1移动至第二位置802-2。第二位置802-2也可以沿着轴线804定位。在一些替代性实施方式中,第二位置802-2不必沿着轴线804定位并且可以处于在不同方向上延伸的另一条轴线上。第一位置802-1和第二位置802-2可以相隔距离d。当所述目标物体从所述第一位置移动至所述第二位置时,运动路径806的位置可以改变成使得运动路径可以是相对于所述第二位置限定的。如在A部分所示,运动路径806’可以是相对于所述第二位置和轴线804限定的并且可以与所述第一位置偏移了距离d。所述可移动物体可以将其路线从运动路径806切换成运动路径806’并且通过沿着运动路径806’移动来继续环绕所述目标物体。
在一些情形下,所述目标物体可以继续沿着轴线804移动。如在B部分所示,所述目标物体可以从第二位置802-2移动至第三位置802-3。第三位置802-3也可以沿着轴线804定位。在一些替代性实施方式中,第三位置802-3不必沿着轴线804定位并且可以处于在不同方向上延伸的另一条轴线上。第三位置802-3可以与第二位置802-2相隔一个距离d’。距离d’可以与距离d相同或不同。当所述目标物体从所述第二位置移动至所述第三位置时,运动路径806’的位置可以改变成使得相对于所述第三位置限定所述运动路径。如在B部分所示,运动路径806”可以是相对于所述第三位置限定的并且可以与所述第二位置偏移了距离d’。所述可移动物体可以将其路线从运动路径806’切换成运动路径806”并且通过沿着运动路径806”移动来继续环绕所述目标物体。
在一些实施方式中,可以基于不同的选定目标物体自动地调整运动路径。例如,参见图7的C部分,第一目标物体702可以被定位在第一位置702-1处并且第二目标物体708可以被定位在第二位置708-1处。在C部分中,当用户在所述显示器上选择与第一位置702-1相对应的点时,可以相对于第一位置(第一目标物体702)和轴线704限定第一运动路径706-1。可移动物体可以被配置成通过沿着第一运动路径706-1移动来环绕所述第一目标物体。
用户接下来可以选择新的目标物体。例如,如在D部分所示,当用户在所述显示器上选择与第二位置708-1相对应的点时,可以相对于第二位置(第二目标物体708)和轴线704限定第二运动路径706-2。所述可移动物体可以被配置成将路线从所述第一运动路径切换到所述第二运动路径。所述可移动物体可以通过沿着第二运动路径706-2移动来环绕所述第二目标物体。相应地,用户可以通过选择不同的目标物体来生成多条运动路径。每条运动路径可以是相对于相应的选定目标物体而限定的。
在一些实施方式中,所述第一目标物体和所述第二目标物体可以是不同的物理物体。例如,所述第一目标物体和所述第二目标物体各自可以是分立的物体。所述第一目标物体和所述第二目标物体可以是彼此联接或不联接的。在一些情况下,所述第一目标物体和所述第二目标物体可以处于同一物理结构上。在一些情况下,所述第一目标物体和所述第二目标物体可以处于不同的物理结构上。
在一些实施方式中,所述第一目标物体可以对应于第一兴趣点并且所述第二目标物体可以对应于第二兴趣点。替代地,所述第一目标物体可以对应于第一特征点并且所述第二目标物体可以对应于第二特征点。
运动路径706-1可以是基于在显示器上选择了所述第一目标物体时所述第一目标物体的位置而生成的。可以相对于所述第一目标物体的位置限定所述运动路径中的多个第一空间点。所述多个第一空间点可以准许所述可移动物体相对于所述第一目标物体以预定的构型移动。例如,所述多个第一空间点可以准许所述可移动物体围绕所述第一目标物体进行轨道运动。
在一些情况下,当对所述目标物体的选择从所述第一目标物体改变成所述第二目标物体时可以基于所述第二目标物体的位置来更新所述运动路径。更新后的运动路径可以包括相对于所述第二目标物体的位置限定的多个第二空间点。所述多个第二空间点可以准许所述可移动物体相对于所述第二目标物体以预定的构型移动。所述多个第二空间点可以准许所述可移动物体围绕所述第二目标物体行进。可以在所述第一目标物体的位置与所述第二目标物体的位置之间定义向量。所述向量可以包括幅值和方向。所述运动路径可以是基于所述向量的幅值和方向来更新的。
图9示出了根据一些实施方式的运动路径的多个示例,这些运动路径是沿着一个目标物体上的同一轴线相对于不同的选定点限定的。图9可以是类似于图6的,除了以下区别。
在图9中,第一运动路径906-1可以是相对于第一点902-1限定的并且第二运动路径906-2可以是相对于第二点902-2限定的。第一点902-1和第二点902-2可以处于同一轴线(例如,轴线904)上。第一点902-1和第二点902-2也可以处于同一物理物体上。例如,第一点902-1和第二点902-2可以是同一物体(例如目标物体902)上的不同特征点。
所述第一运动路径和所述第二运动路径的朝向可以取决于轴线904的朝向。在A部分中,所述轴线可以与水平的地平面正交地延伸,并且由所述第一运动路径和所述第二运动路径限定的这些平面可以平行于水平的地平面。这些平面可以是2-D或3-D的。在B部分中,所述轴线可以相对于水平的地平面以角度θ倾斜,这导致由所述第一运动路径和所述第二运动路径限定的这些平面也以所述角度θ倾斜。在C部分中,所述轴线可以平行于水平的地平面延伸,并且由所述第一运动路径和所述第二运动路径限定的这些平面可以垂直于水平的地平面。如图9所示,针对同一物体上的不同点(例如,特征点)可以生成多条运动路径。每条运动路径是基于一个点和延伸经过所述点的轴线而限定的。每个运动路径的朝向可以根据延伸经过所述对应点(例如,点902-1和902-2)的轴线的朝向而变化。
图10示出了根据一些实施方式的多个运动路径的示例,这些运动路径是沿着延伸经过目标物体的不同轴线相对于不同的选定点限定的。参见图10,针对目标物体1002可以限定多条运动路径。所述多条运动路径可以包括运动路径1004、1006、1008、1010、1012和1014。可以相对于延伸经过所述目标物体的O点的Z轴线限定运动路径1004。Z轴线可以与由运动路径1004限定的平面相正交地延伸。可以相对于延伸经过O点的X轴线限定运动路径1006。X轴线可以与由运动路径1006限定的平面相正交地延伸。可以相对于平行于Z轴线、延伸经过A点的轴线限定运动路径1008。运动路径1008可以类似于路径1004,但是运动路径1008沿着Y轴线与O点偏移了距离d。运动路径1010可以是相对于第一偏斜轴线和B点限定的。B点可以是与O点沿所述第一偏斜轴线偏移了距离d’。第一偏斜轴线可以以负角θ延伸到Z轴线并且经过B点。所述第一偏斜轴线可以与由运动路径1010限定的平面正交地延伸。可以相对于第二偏斜轴线和C点限定运动路径1012。C点可以沿着所述第二偏斜轴线与O点偏移了距离d’。所述第二偏斜轴线可以相对于Z轴线以正角θ延伸并且经过C点。所述第二偏斜轴线可以与由运动路径1012限定的平面正交地延伸。可以注意到的是,运动路径1012关于Z轴线镜像了运动路径1010,因为所述第一和第二偏斜轴线是关于Z轴线彼此镜像的。可以相对于第二偏斜轴线和D点限定运动路径1014。D点可以沿着所述第二偏斜轴线与C点偏移了距离d”。相应地,运动路径1014可以沿着所述第二偏斜轴线与C点偏移了距离d”。可以考虑六个自由度的任何数量和/或朝向的运动路径。
图11示出了根据一些实施方式可移动物体可以如何从一条运动路径移动至另一条运动路径的示例。在A部分中,可移动物体可以通过从第一运动路径1102上的点1102-1直接移动至第二运动路径1104上的点1104-1而从所述第一运动路径移动至所述第二运动路径。在一些实施方式中,点1102-1与1104-1之间的距离可以同所述第一运动路径与所述第二运动路径之间的最短距离相对应。在一些实施方式中,所述可移动物体可以从所述第一运动路径上的点1102-1直接行进至所述第二运动路径上的点1104-2。点1102-1与1104-2之间的距离d’可以大于点1102-1与1104-1之间的距离d。
在一些实施方式中,可移动物体可以从所述第一运动路径到所述第二路径以螺旋路径移动。如在B部分所示,螺旋路径1106可以包括多个路径节段1106-n,其中n可以是大于1的整数。在C部分中,n可以是3,这样使得存在三条路径节段1106-1、1106-2和1106-3。每个路径节段可以相继连接至下一个路径节段。在一些实施方式中,路径节段的数量可以根据目标物体从所述第一运动路径移动至所述第二运动路径的速率和/或根据所述可移动物体沿着所述螺旋路径移动的速率而变化。
图12示出了根据一些实施方式的用户界面(UI)的示例,用户可以通过所述用户界面来控制可移动物体从初始位置行进至运动路径上的进入点。
如A部分所示,运动路径1206可以是相对于目标物体1202和延伸经过所述目标物体的轴线1204限定的。用户可以通过在显示器上选择进入点1206-1来控制所述可移动物体从初始位置1208移动至所述进入点。初始位置1207可以处于或并不处于所述运动路径上。所述进入点可以是沿着所述运动路径定位的空间点。
可以控制所述可移动物体从初始位置1208经由不同的运动路径行进至进入点1206-1。例如,在一些实施方式中,所述可移动物体可以被配置成从所述初始位置竖直地行进并且然后水平地行进至进入点(1210-1)。在其他实施方式中,所述可移动物体可以被配置成从所述初始位置水平地行进并且然后竖直地行进至所述进入点(1210-2)。在一些另外的实施方式中,所述可移动物体可以被配置成从所述初始位置同时水平且竖直地行进至所述进入点(1210-3)。可选地,所述可移动物体可以被配置成以曲线的方式从所述初始位置行进至所述进入点。
在一些实施方式中,当所述可移动物体竖直移动时,可以自动地控制或由用户控制上升速度或下降速度。类似地,当所述可移动物体水平移动时,可以自动地控制或由用户控制水平速度。所述可移动物体可以被配置成从所述进入点开始沿着所述运动路径移动。
在一些实施方式中,用户可以进一步控制所述可移动物体沿着所述运动路径的一部分行进。例如,如B部分所示,用户可以选择离去点1206-2。可以控制所述可移动物体在所述进入点处进入所述运动路径并且在所述离去点处离开所述运动路径。在一些情况下,所述可移动物体可以在所述进入点与所述离去点之间沿着弧线或弦行进。所述弧线的中心可以位于所述目标物体的位置处。所述弧线的弧度可以大于0度。在一些情况下,所述弧度可以由用户输入。可选地,所述弧度可以例如通过运动控制器自动生成。
如之前所描述的,可以通过在显示器上操纵一个或多个点(和/或轴线)来调整运动路径的位置和/或朝向。在一些实施方式中,可以通过在显示器上操纵一个或多个点来调整所述运动路径的大小、形状、和/或几何形状,如图以下参见图13至图18所描述的。
图13示出了根据一些实施方式的用户界面(UI)的示例,用户可以通过所述用户界面来选择/移动一个点以调整运动路径的局部区域的形状。
如A部分所示,可以相对于目标物体1302和延伸经过所述目标物体的轴线1304限定运动路径1306。用户可以调整所述运动路径的局部区域的大小/形状。例如,用户可以选择第一位置1308-1处的空间点(A部分)并且将所述空间点向外移动至第二位置1308-2(B部分)。所述空间点的向外移动可以导致在所述运动路径的局部区域中形成突起部1310。所述局部区域可以接近这个被移动过的空间点。
在一些实施方式中,用户可以选择第一位置1308-1处的空间点(A部分)并且将所述空间点向内移动至第三位置1308-3(C部分)。所述空间点的向内移动可以导致在所述运动路径的局部区域中形成凹陷部1312。
可以考虑任何空间点沿着所述运动路径在任何方向上的移动。用户可以操纵沿着所述运动路径的一个或多个空间点来生成任何希望大小、形状和/或几何形状的运动路径。空间点在局部区域中的调整可以起到实际作用,例如来控制可移动物体的运动路径以便规避可能存在于所述局部区域中的障碍物。
在图13的示例中,空间点的移动可以是在平面内的,这样使得所述运动路径保持2-D形式,即使所述运动路径的形状/几何形状/大小可能通过所述空间点的移动而改变也是如此。稍后在本说明书中将例如参见图18和图22详细描述空间点沿着所述运动路径的平面外移动。
图14示出了根据一些实施方式通过选择并移动沿着运动路径的多个不同点来导致所述运动路径发生改变的示例。在A部分中,可以相对于目标物体1402限定运动路径1404。运动路径1404可以具有圆形形状,但是不必局限于此。例如,运动路径1404可以具有任何规则形状或不规则(无定形)形状。用户可以通过选择并移动沿着运动路径1404定位的不同空间点来调整所述运动路径的大小/形状/几何形状。例如,如B部分所示,用户可以选择并移动:(1)第一空间点,从位置1406-1到位置1406-1’;(2)第二空间点,从位置1406-2到位置1406-2’;(3)第三空间点,从位置1406-3到位置1406-3’;以及(4)第四空间点,从位置1406-4到位置1406-4’。所述第一空间点、第二空间点、第三空间点、和第四空间点的向外移动可以致使所述运动路径从圆形(A部分中的1404)改变成方形(C部分中的1404’)。
图15示出了根据一些实施方式来改变运动路径的局部区域以规避障碍物的示例。在A部分中,可以相对于目标物体1502限定运动路径1504。运动路径1504可以具有圆形形状,但是不必局限于此。例如,运动路径1504可以具有任何规则形状或不规则(无定形)形状。
当所述运动路径附近出现障碍物(或与所述障碍物相交)时,用户可以调整所述运动路径的接近所述障碍物的局部区域的形状。例如,如B部分所示,在所述运动路径的区域附近可能出现障碍物1510。所述障碍物能够移动(例如,车辆)并且可能已朝向所述运动路径的所述区域移动。替代地,所述目标物体可能能够移动并且可能已朝向静止的障碍物或移动的障碍物移动。用户可以调整所述局部区域的形状以使所述可移动物体规避所述障碍物。例如,用户可以选择沿着所述运动路径定位的多个点1506,并且使它们在向外的方向1508上移动从而使得所述运动路径的局部区域绕过障碍物。如C部分所示,调整后的运动路径1504’可以包括拉长区段1504-1’和未修改区段1504-2’。所述拉长区段可以是由空间点1506在向外的方向1508上的移动而导致的。所述未修改区段可以是未被空间点1506的向外移动所影响的,并且可以维持其原始形状。
在一些实施方式中,如B部分和D部分所示,用户可以选择这些点1506中的一些点并且使它们在向内的方向1512上移动以使得所述运动路径的局部区域背离障碍物偏移(而不是绕过所述障碍物)。调整后的运动路径1504”可以包括在所述运动路径的局部区域中形成的凹陷区段1514。所述凹陷区段可以是由空间点1506在向内的方向1512上的移动所导致的。调整后的运动路径1504”可以进一步包括未修改区段1504-2”。所述未修改区段可以是未被空间点1506的向内移动所影响的,并且可以维持其原始形状。
图16示出了根据一些实施方式使运动路径的局部区域平滑化。在A部分中,可以相对于目标物体1602限定运动路径1604。所述运动路径可以包括拉长区段1604-1和未修改区段1604-2。所述拉长区段可以是由某些空间点在向外的方向上的移动所导致的,以便使可移动物体规避障碍物1610。所述未修改区段可以是未被空间点的向外移动所影响的,并且可以维持其原始形状。
如在A部分所示,所述拉长区段和所述未修改区段可以在区域1606处相连接。B部分中可示出区域1606的放大视图。区域1606可以包括弯曲的部分1606-1和实质上笔直的部分1606-2。所述弯曲部分可以包括多个空间点,所述多个空间点比所述笔直部分更紧密地间隔在一起从而限定所述弯曲部分的曲率。然而,所述弯曲部分可能以尖角(例如,以约90度)陡然连接所述笔直部分。这个尖锐连接部的导航可以导致可移动物体消耗更高的功率,因为所述可移动物体必须在再次沿着所述笔直部分加速之前在所述弯曲部分的末尾处减速到几乎停止。
在一些实施方式中,可以使得所述尖锐连接部平滑。例如,如C部分所示,用户可以选择区域1606中的一个或多个空间点并将其向外移动以便将所述连接部平滑化。这些空间点的移动可以在区域1606中产生平滑的曲线部分1606-3。
在B部分,所述多个空间点可以以不同的空间间隔而间隔开。例如,在所述弯曲部分中的空间点可以以较小的空间间隔间隔开,而在所述笔直部分中的空间点可以以较大的空间间隔间隔开。在C部分中,在所述尖锐的连接部已经平滑化之后,所述多个空间点可以以相对恒定的空间间隔间隔开。所述可移动物体可以被配置成以在相邻间隔点之间相同的时间间隔(例如,同一速率)相继经过所述多个空间点。在一些情况下,所述可移动物体可以被配置成以在相邻间隔点之间不同的时间间隔(例如,不同速率)相继经过所述多个空间点。还可以控制所述可移动物体沿着所述运动路径悬停在任何点处。
在如图13、图14、图15和图16的示例中,可以基于目标物体的位置生成运动路径。所述运动路径可以对应于飞行路径或轨迹。所述运动路径可以包括多个空间点。例如,所述运动路径可以包括相对于所述目标物体的位置而限定的第一空间点和第二空间点。所述第二空间点可以在所述可移动物体沿着所述运动路径移动时相对于所述目标物体的位置被动态调整。在一些实施方式中,动态地调整所述第二空间点可以改变所述运动路径在接近所述第二空间点的第二局部区域中的大小和/或形状而不改变所述运动路径在接近所述第一空间点的第一局部区域中的大小和/或形状。所述第二局部区域可以进一步包括与所述第二空间点相邻的、并且随着所述第二空间点来调整的一个或多个空间点。
在一些实施方式中,所述第二空间点可以被调整成使得所述可移动物体规避沿着所述运动路径定位的障碍物。在其他实施方式中,所述第二空间点可以被调整成允许所述可移动物体上的成像装置捕捉所述目标物体的希望图像。在一些另外的实施方式中,所述第二空间点可以被调整成获得所述可移动物体与所述目标物体之间的所希望的距离。替代地,所述第二空间点可以被调整成获得所述可移动物体相对于所述目标物体的所希望的朝向。还可以基于所述目标物体的位置变化来调整所述第二空间点。所述目标物体的位置可以至少包括所述目标物体的经度、纬度和/或海拔。除了所述第二空间点之外,还可以调整一个或多个其他空间点来达到以上效果。
在一些实施方式中,可以基于所述目标物体的大小的变化来调整所述第二空间点。例如,可以根据所述目标物体的大小的变化而改变所述运动路径的大小和/或形状。在一些其他实施方式中,可以基于所述目标物体的形状的变化而调整所述第二空间点。例如,可以根据所述目标物体的形状的变化而改变所述运动路径的大小和/或形状。在一些实施方式中,可以基于所述目标物体的朝向的变化而调整所述第二空间点。在一些情况下,可以将所述第二空间点调整成使得所述目标物体保留在所述运动路径内的目标区域中。
在一些实施方式中,动态地调整所述第二空间点可以暂时改变所述运动路径的大小和/或形状。例如,可以在时刻t1调整所述第二空间点以便改变所述运动路径的大小和/或形状,并且在时刻t2进一步调整所述第二空间点来使所述运动路径回复至其原始大小和/或形状。t1和t2可以在不同时间点出现。可选地,可以在时刻t1调整所述第二空间点以便改变所述运动路径的大小和/或形状,并且在时刻t2进一步调整所述第二空间点来致使所述运动路径改变成不同的大小和/或形状。在一些替代性实施方式中,调整所述第二空间点可以永久地改变所述运动路径的大小和/或形状。
在一些实施方式中,可以是在所述可移动物体经过所述第一空间点之前动态地调整所述第二空间点。替代地,可以是在所述可移动物体经过所述第一空间点之后动态地调整所述第二空间点。在一些情况下,可以是在所述可移动物体预计将在预定时间段内经过所述第二空间点时动态地调整所述第二空间点。在一些其他情况下,可以在所述可移动物体的任何移动之前、在所述可移动物体进入所述运动路径之前、或在所述可移动物体沿着所述运动路径移动之时调整所述第二空间点。
所述目标物体的位置可以用作可以定义所述第一向量和所述第二向量的参考点。可以从所述目标物体的位置到所述第一空间点定义第一向量,并且可以从所述目标物体的位置到所述第二空间点定义第二向量。所述第一向量和所述第二向量各自可以包括幅值和方向。所述方向可以是由相应向量与经过所述目标物体的位置的水平面之间的角度来确定的。
在一些实施方式中,所述第一向量和所述第二向量可以具有不同的方向并且可以处于不同的平面上。两个或更多个平面可以彼此平行或可以彼此相交。例如,第一组平面可以是彼此平行的并且第二组平面可以是彼此相交的。可以在所述可移动物体沿着所述运动路径移动时实时地动态地调整所述第二向量的幅值和/或方向。替代地,可以在所述可移动物体经过所述第二空间点之前将所述第二向量的幅值和/或方向从第一值调整为第二值。所述第一值和所述第二值可以是不同的。
在一些情况下,可以在所述可移动物体经过了所述调整后的第二空间点之后将所述第二向量的幅值和/或方向从所述第二值调整回到所述第一值。替代地,可以在所述可移动物体经过了所述调整后的第二空间点之后使得所述第二向量的幅值和/或方向保持在所述第二值。可选地,可以在所述可移动物体经过了所述调整后的第二空间点之后将所述第二向量的幅值和/或方向从所述第二值调整至第三值。所述第二值和所述第三值可以是不同的。
在一些实施方式中,在所述目标物体的大小增大时可以增大所述第二向量的幅值。所述目标物体的大小的增大可以发生在所述第二向量的方向上。在与所述第二空间点相关联的第二向量的幅值增大时可以增大所述第二空间点与所述目标物体的位置之间的距离。
在一些实施方式中,在所述目标物体的大小减小时可以减小所述第二向量的幅值。所述目标物体的大小的减小可以发生在所述第二向量的方向上。在与所述第二空间点相关联的第二向量的幅值减小时可以减小所述第二空间点与所述目标物体的位置之间的距离。
图17示出了根据一些实施方式的基于目标物体的形状/几何形状而限定的运动路径的示例。每条运动路径可以包括连接了多个空间点的轮廓。所述轮廓可以被视觉地描绘在显示器上并且可以表示所述运动路径。所述轮廓的大小、形状和/或几何形状可以根据所述运动路径的大小、形状和/或几何形状而变化。例如,所述轮廓的大小、形状和/或几何形状可以随着一个或多个空间点在所述显示器上的不同位置之间移动而改变。所述轮廓的大小、形状和/或几何形状的改变可以导致所述运动路径的大小、形状和/或几何形状的对应改变。
在A部分中,目标物体1702-1可以是圆形的。运动路径1704-1可以是相对于目标物体1702-1并且基于目标物体1702的形状而限定的。运动路径1704-1可以具有与所述目标物体的圆形轮廓线同心的圆形轮廓。
在一些情形下,用户可以选择并移动所述运动路径中的一个或多个空间点来改变所述运动路径的大小、形状和/或几何形状。在其他情形下,所述目标物体可以自动地改变其大小、形状和/或几何形状。例如,圆形目标物体1702-1(A部分所示)可以改变成三角形目标物体1702-2(B部分所示)。随后,基于目标物体1702-2的三角形形状可以生成具有三角形轮廓的新的运动路径1704-2。
在一些情形下,三角形目标物体1702-2(B部分所示)可以进一步改变成不规则形状的目标物体1702-3(C部分所示)。随后,可以生成所具有的轮廓与目标物体1702-3相类似的新的运动路径1704-3。
图18示出了根据一些实施方式的运动路径的局部区域的平面外改变的示例。如A部分所示,可以相对于目标物体1802和延伸经过所述目标物体的轴线1804限定运动路径1806。用户可以调整所述运动路径的局部区域的大小/形状。例如,用户可以选择第一位置1806-1处的空间点(A部分)并且将所述空间点向上移动至第二位置1806-2(B部分)。所述空间点的向上移动可以导致在所述运动路径的局部区域中形成突起部1810。所述局部区域可以接近这个被移动过的空间点。
在图18所示的示例中,运动路径1806可以处于X-Y平面上。运动路径1806的空间点在X-Y平面内的任何改变可以是在平面内。相反,运动路径1806的空间点在X-Y平面外的任何改变可以是在平面外的。由于所述空间点从所述第一位置向上移动(在平行于Z轴线的方向上)至所述第二位置,所以突起部1810可以是在平面外的,由此导致所述运动路径具有3-D形状。如B部分所示,运动路径1806’可以包括平面内的节段1806-1’和平面外的节段1806-2’。所述平面外节段可以由突起部1810指示。所述平面内节段和所述平面外节段可以处于不同的平面上。在一些实施方式中,这些平面可以相互正交。在其他实施方式中,这些平面可以相对于彼此偏斜。可以考虑这些平面在3-D空间中的任何安排。
图19示出了根据一些实施方式的基于目标物体的轮廓而限定的3-D运动路径的示例。A部分示出了目标物体1902和运动路径1904的等距视图。B部分示出了目标物体1902和运动路径1904的顶视图。运动路径1904可以是基于所述目标物体的轮廓而限定的。在图19中,目标物体1902可以形成为长形棱柱的形状。运动路径1904可以基本上遵循所述目标物体的轮廓。
图20示出了根据一些实施方式的基于目标物体的轮廓而限定的数字8形状的3-D运动路径的示例。A部分示出了目标物体2002和运动路径2004的等距视图。B部分示出了目标物体2002和运动路径2004的顶视图。运动路径2004可以形成为数字8形状的3-D构型,并且可以实质上遵循所述目标物体的轮廓。
图21示出了根据一些实施方式的基于目标物体的不同朝向而限定的数字8形状的3-D运动路径的多个示例。A部分示出了目标物体2102和运动路径2106。运动路径2106可以是基于目标物体的朝向(例如,相对于所述目标物体的位置和轴线2104)而限定的。运动路径2106可以成型为数字8形状的3-D构型,并且可以基本上遵循所述目标物体的轮廓。在A部分中,所述目标物体可以被安置成垂直于水平的地平面。在B部分中,所述目标物体可以相对于水平的地平面以角度θ倾斜。相应地,在B部分中的数字8形状的3-D运动路径2106’也可以成角度θ倾斜。
图22示出了根据一些实施方式的具有无定形形状并且相对于目标物体限定的3-D运动路径的示例。如图22所示,2-D运动路径可以处于X-Y平面上。相比之下,3-D运动路径可以包括处于不同平面上的多个路径节段。这些平面可以相互正交或相对于彼此偏斜。这些平面可以彼此平行或可以彼此相交。用户可以类似于图18所示地通过在显示器上选择并在不同方向上移动处于2-D运动路径上的多个空间点来生成3-D运动路径。相应地,用户可以以简单且直观的方式在显示器上对可移动物体生成复杂的3-D运动路径。所述可移动物体可以被配置成自动地遵循所述3-D运动路径,而无需用户手动地控制所述可移动物体的运动/飞行。
在一些实施方式中,可以在沿着运动路径的不同空间点处调整可移动物体的朝向。例如,一种用于控制可移动物体的方法可以包括:生成运动路径,所述运动路径包括相对于目标物体的一个或多个参数限定的至少一个空间点;并且针对所述至少一个空间点来确定所述可移动物体的一个或多个运动特征。
所述目标物体的所述一个或多个参数可以包括所述目标物体的位置和/或姿态。所述运动路径可以包括相对于所述目标物体的位置限定的多个空间点。所述多个空间点可以被配置成处于一个或多个平面上。在一些实施方式中,所述多个空间点可以被配置成处于同一平面上。在其他实施方式中,所述多个空间点可以被配置成处于多个不同平面上。所述一个或多个运动特征可以至少包括所述可移动物体相对于所述目标物体的朝向。所述可移动物体的朝向可以包括所述可移动物体沿着所述运动路径移动时所述可移动物体的姿态和/或朝向。
在一些实施方式中,调整所述运动路径的一个或多个空间点可以导致所述可移动物体的速度、加速度、海拔或姿态发生改变。例如,所述可移动物体的速度、加速度、海拔和/或姿态可以被修改以使所述可移动物体能够遵循所述运动路径。
图23示出了根据一些实施方式当可移动物体沿着运动路径移动时所述可移动物体可以沿着俯仰轴线、横滚轴线和/或偏航轴线而调整的姿态。如图23所示,可移动物体2308可以在所述可移动物体沿着运动路径2306移动时围绕俯仰轴线、横滚轴线和偏航轴线中的一条或多条轴线进行旋转。所述运动路径可以是相对于目标物体的位置2302和延伸经过所述目标物体的轴线2304而限定的。可以基于所述目标物体的姿态和/或朝向来调整所述可移动物体的姿态和/或朝向。例如,在图23中,所述目标物体和所述运动路径可以成角度倾斜。相应地,所述可移动物体可以围绕其俯仰轴线旋转,以使得所述可移动物体可以与倾斜的目标物体对齐。所述可移动物体可以基于所述目标物体的姿态和/或朝向来改变其姿态和/或朝向。例如,当所述目标物体围绕其俯仰轴线旋转一角度时,所述可移动物体也可以围绕其俯仰轴线旋转同一角度。同样,当所述目标物体围绕其横滚轴线旋转一角度时,所述可移动物体也可以围绕其横滚轴线旋转同一角度。类似地,当所述目标物体围绕其偏航轴线旋转一角度时,所述可移动物体也可以围绕其偏航轴线旋转同一角度。相应地,所述可移动物体的姿态和/或朝向可以跟随所述目标物体的姿态和/或朝向,并且根据所述运动路径的朝向和/或位置的任何改变来移动。
图24示出了根据一些实施方式当飞行器导航围绕目标物体时所述飞行器的多个不同朝向的示例。在图24中,可以在所述可移动物体沿着所述运动路径移动时动态地调整所述可移动物体的一个或多个运动特征。例如,可以修改所述可移动物体的姿态和/或朝向以使得所述可移动物体的一部分在所述可移动物体沿着所述运动路径移动时实质上面朝所述目标物体。所述可移动物体的这部分可以对应于所述可移动物体的鼻部分、尾部分、侧部分或任何部分。在一些实施方式中,所述可移动物体可以是UAV并且所述运动路径可以是飞行路径。例如,在A部分中,UAV 2408的鼻部分2408-1可以在所述UAV沿着飞行路径2406移动时实质上面朝目标物体2402。所述飞行路径可以是相对于所述目标物体的位置和/或朝向而限定的,如在本说明书的其他地方所描述的。在B部分中,所述UAV的鼻部分2408-1可以在所述UAV沿着所述飞行路径移动时背向所述目标物体。在B部分中,所述UAV的尾部分2408-2可以在所述UAV沿着所述飞行路径移动时实质上面朝所述目标物体。在C部分中,所述UAV的鼻部分可以在所述UAV沿着所述飞行路径移动时成角度定向(例如,相对于X轴线约45度)。在D部分中,所述UAV的鼻部分可以在所述UAV沿着所述飞行路径在逆时针方向上移动时处于所述飞行路径的方向上。相反在D部分中,所述UAV的尾部分可以在所述UAV沿着所述飞行路径在顺时针方向上移动时处于所述飞行路径的方向上。在E部分中,所述UAV的鼻部分可以在所述UAV沿着所述飞行路径在顺时针方向上移动时处于所述飞行路径的方向上。相反在E部分中,所述UAV的尾部分可以在所述UAV沿着所述飞行路径在逆时针方向上移动时处于所述飞行路径的方向上。当UAV沿着所述飞行路径飞行时,可以考虑所述UAV相对于所述目标物体沿着俯仰-横滚-偏航轴线的任何朝向。
在一些实施方式中,动态地调整所述一个或多个运动特征可以进一步包括:改变所述可移动物体沿着所述运动路径的向前速度或向后速度。所述向前速度和所述向后速度可以是与所述运动路径相切的。例如,如D部分所示,向前速度Vf和向后速度Vb可以与所述飞行路径2406相切。所述UAV的鼻部分可以在所述可移动物体以所述向前速度移动时引领所述运动路径。相反,所述UAV的尾部分可以在所述可移动物体以所述向后速度移动时引领所述运动路径。
在一些实施方式中,动态地调整所述一个或多个运动特征可以进一步包括:改变所述可移动物体沿着所述运动路径的侧移速度。所述侧移速度可以与所述运动路径正交。例如,如A部分所示,UAV的侧部分2402-3可以在所述UAV以侧移速度Vs移动时引领所述飞行路径。侧移速度Vs可以是与所述运动路径2406相切的。
在一些实施方式中,动态地调整所述一个或多个运动特征可以进一步包括:改变所述可移动物体沿着所述运动路径的向上速度或向下速度。所述向下速度可以是在与重力相同的方向,而所述向上速度可以是在与重力相反的方向。在图24中,重力可以被假设为作用在负Z轴线上。通过调整所述UAV沿着所述飞行路径的向上速度和/或向下速度,可以生成3-D飞行路径,如图18至图22所示。
在一些实施方式中,所述UAV可以携带有效载荷(例如,相机)。所述有效载荷的朝向可以与所述UAV的任何部分的朝向相同或不同。在一些情况下,所述有效载荷可以在UAV沿着所述飞行路径飞行时与所述UAV的一部分(例如,鼻部分、尾部分或侧部分)对齐。在其他情况下,所述有效载荷可以被定向成使得它在所述UAV沿着所述飞行路径飞行时面向目标物体。所述有效载荷的朝向可以随着所述UAV的航向而变化。替代地,所述有效载荷的朝向可以与所述UAV的航向无关。可以考虑所述有效载荷相对于所述UAV在一个或多个自由度中的任何空间朝向。
在一些实施方式中,可以基于所述可移动物体在一个或多个空间点处的一个或多个瞬时位置动态地调整所述可移动物体的一个或多个运动特征。例如,可以将所述可移动物体调整成在第一空间点处具有第一姿态/朝向并且在第二空间点处具有第二姿态/朝向。所述第一空间点和所述第二空间点可以沿着所述运动路径间隔开,并且可以是相对于所述目标物体的位置而限定的。
在一些实施方式中,所述可移动物体可以被配置成沿着所述运动路径相对于所述目标物体以恒定速度和相同朝向进行移动。替代地,所述可移动物体可以被配置成沿着所述运动路径相对于所述目标物体以不同速度和相同朝向进行移动。可选地,所述可移动物体可以被配置成沿着所述运动路径相对于所述目标物体以不同速度和不同朝向进行移动。
在一些实施方式中,针对至少一个空间点来确定所述可移动物体的一个或多个运动特征可以进一步包括:接收从多个不同的可移动物体朝向模式中对可移动物体朝向模式的选择。所述多个不同的可移动物体朝向模式可以至少限定了所述可移动物体相对于所述目标物体在沿着所述运动路径的每个空间点处的朝向。所述多个不同的可移动物体朝向模式可以包括以下模式中的至少一种:(1)所述可移动物体的鼻部分相对于所述目标物体的朝向;(2)所述可移动物体的尾部分相对于所述目标物体的朝向;(3)所述可移动物体的侧部分相对于所述目标物体的朝向;(4)所述可移动物体的鼻部分沿着所述运动路径的向前速度;(5)所述可移动物体的尾部分沿着所述运动路径的向后速度;以及(6)所述可移动物体的侧部分沿着所述运动路径的侧移速度。
如之前所描述的,可以经由用户界面(UI)来调整可移动物体的运动路径。在一些实施方式中,可以通过使用计算机实现的图形显示器来执行一种用于控制可移动物体的运动路径的方法。所述方法可以包括:接收指示了一个或多个空间点在三维(3-D)空间内在任何方向上的移动的输入,其中所述一个或多个空间点被视觉地描绘在所述图形显示器上;并且处理所述输入以便基于所述一个或多个空间点的移动来生成所述可移动物体的运动路径。
所述输入可以指明用户正在使所述视觉描绘的一个或多个空间点在所述图形显示器上的不同位置之间移动。所述输入可以是由用户使用输入装置(例如,鼠标)提供的。所述计算机实现的图形显示器可以电连接至所述输入装置。用户可以通过使用所述输入装置来选择这些空间点中的一个或多个空间点并使之在所述图形显示器上的不同位置之间移动。
在一些实施方式中,所述图形显示器可以是触摸屏。所述触摸屏可以被配置成允许用户通过触摸所述触摸屏来选择这些空间点中的所述一个或多个空间点并且使这些空间点在这些不同位置之间移动。运动路径可以进一步包括连接多个空间点的轮廓。所述轮廓可以被视觉地描绘在所述图形显示器上并且可以表示所述运动路径。
所述轮廓的大小和/或形状可以根据所述运动路径的大小和/或形状而变化。并且,所述轮廓的大小和/或形状可以在用户使一个或多个空间点在所述图形显示器上的不同位置之间移动时改变。所述轮廓的大小和/或形状的改变可以导致所述运动路径的大小和/或形状的对应改变。用户可以提供输入来改变在所述运动路径中所述一个或多个空间点的空间位置。例如,用户可以提供输入以用于:(1)使所述可移动物体规避沿着所述运动路径定位的障碍物;(2)允许所述可移动物体上的成像装置捕捉所述目标物体的所希望图像;(3)获得所述可移动物体与所述目标物体之间的所希望距离;和/或(4)获得所述可移动物体相对于所述目标物体的所希望朝向。
在一些实施方式中,所述输入不必是由用户提供的并且可以是基于所述目标物体的位置的改变自动生成的。所述目标物体的位置可以至少包括所述目标物体的经度、纬度和/或海拔。例如,所述输入可以是基于所述目标物体的大小的改变而自动生成的。可以根据所述目标物体的大小的变化而改变所述运动路径的大小和/或形状。在一些情况下,所述输入可以是基于所述目标物体的形状的改变而自动生成的。可以根据所述目标物体的形状的变化而改变所述运动路径的大小和/或形状。在一些其他情况下,所述输入可以是基于所述目标物体的朝向的改变而自动生成的。可选地,所述输入可以被自动生成为使得所述目标物体保留在所述运动路径内的目标区域中。
在一些实施方式中,可以处理所述输入以确定所述运动路径的大小和/或形状的对应改变。所述运动路径的改变可以被视觉地描绘在所述图形显示器上。在一些情况下,可以基于所述运动路径的大小和/或形状的改变来生成新运动路径。所述运动路径的大小可以包括所述运动路径的尺寸和/或长度尺度。所述运动路径的形状可以包括所述运动路径的几何形状、轮廓和/或轮廓线。
所述多个空间点可以被配置成处于一个或多个平面上。在一些实施方式中,所述多个空间点可以处于同一平面上。在其他实施方式中,所述多个空间点可以处于多个不同平面上。
在一些实施方式中,可以在所述图形显示器上接收另一个输入,其中所述输入可以指明目标物体的一个或多个参数。所述运动路径可以是基于所述目标物体的所述一个或多个参数而生成的。例如,所述运动路径可以包括相对于所述目标物体的所述一个或多个参数限定的一个或多个空间点。所述一个或多个参数可以包括所述目标物体的位置、形状和/或朝向。所述可移动物体的运动路径可以是基于所述目标物体的位置而生成的。
在一些实施方式中,所述可移动物体的运动路径可以是基于所述目标物体的形状和/或朝向而生成的。所述运动路径中的所述多个空间点可以是相对于所述目标物体的形状和/或朝向而限定的。在一些情况中,所述目标物体可以具有固定的形状。替代地,所述目标物体的形状可能能够随着时间而改变。所述目标物体可以具有规则形状或不规则(无定形)形状。可以在所述目标物体的形状改变时在所述图形显示器上在3-D空间中调整并且移动所述运动路径中的这些空间点中的一个或多个空间点。在一些情况下,所述目标物体的大小可以保持与所述目标物体改变的形状相同。替代地,所述目标物体的大小可以在所述目标物体形状改变时改变。在一些实施方式中,所述目标物体的大小可能随着所述目标物体的形状改变而增大或减小。
在一些实施方式中,所述目标物体可以具有固定的朝向。在其他实施方式中,所述目标物体的朝向可能能够随着时间而改变。可以在所述目标物体的朝向改变时在所述图形显示器上在3-D空间中调整并且移动所述运动路径中的这些空间点中的一个或多个空间点。可以自动地调整或经由用户输入而调整所述一个或多个空间点。
在一些实施方式中,所述目标物体的形状和/或朝向可以被配置成随着所述目标物体的一个或多个移动特征而改变。所述目标物体的这些移动特征可以包括所述目标物体的速度、加速度以及姿态中的至少一项。
所述输入可以指明所述一个或多个空间点相对于所述目标物体的位置的动态调整和移动。在一些情况下,动态地调整和移动所述一个或多个空间点可以改变所述运动路径在接近所述一个或多个空间点的局部区域中的大小和/或形状而不改变所述运动路径在其他区域中的大小和/或形状。
在一些实施方式中,所述输入可以暂时改变所述运动路径的大小和/或形状。例如,可以在时刻t1调整且移动一个或多个空间点以便改变所述运动路径的大小和/或形状,并且在时刻t2进一步调整其来使所述运动路径回复至其原始大小和/或形状。t1和t2可以在不同时间点出现。可选地,可以在时刻t1调整一个或多个空间点以便改变所述运动路径的大小和/或形状,并且在时刻t2进一步调整其来致使所述运动路径改变成不同的大小和/或形状。在一些替代性实施方式中,针对所述运动路径的其余部分,所述输入可以永久地改变所述运动路径的大小和/或形状。
本文所描述的系统、装置及方法可以应用于各种各样的可移动物体。如前面所提及的,在此对于飞行器的任何描述可以适用于和用于任何可移动物体。本发明的可移动物体可以是被配置成在任何合适的环境内移动的任何物体,这些环境例如是空中(例如,固定翼飞行器、旋转翼飞行器、或者既无固定翼也无旋翼的飞行器)、水中(例如,船或者潜艇)、陆地上(例如,机动车辆,如小汽车、卡车、客车、厢式货车、摩托车;可移动结构或框架,诸如棒状物、钓鱼竿;或者火车)、在地下(例如,地铁)、在太空(例如,航天飞机、卫星或探测器),或者这些环境的任何组合。可移动物体可以为载运工具,如本文其他地方所描述的载运工具。在一些实施方式中,所述可移动物体可以被安装在有生命的主体上,例如人或动物上。合适的动物可包括禽类、犬科动物、猫科动物、马科动物、牛科动物、羊科动物、猪科动物、海豚类动物、啮齿动物或昆虫。
所述可移动物体可能能够在环境中相对于六个自由度(例如,三个平移自由度和三个旋转自由度)来自由移动。替代地,所述可移动物体的移动可以是相对于一个或多个自由度受约束的,例如受到预设的路径、轨道或朝向的约束。这种移动能够是由诸如引擎或电机的任何合适的致动机构来致动的。可移动物体的致动机构可以是由任何合适的能源提供动力的,例如,电能、磁能、太阳能、风能、重力能、化学能、核能或它们任何合适的组合。如本文其他地方所描述的,可移动物体可以是通过推进系统来自推进的。所述推进系统可以任选地以一种能源来运行,诸如电能、磁能、太阳能、风能、重力能、化学能、核能或它们的任何合适组合。替代地,可移动物体可以由有生命的物种来携带。
在一些情形下,所述可移动物体可以是载运工具。适合的载运工具可以包括水上载运工具、空中载运工具、太空载运工具、或地面载运工具。例如,飞行器可以是固定翼飞行器(例如,飞机、滑翔机)、旋转翼飞行器(例如,直升飞机、旋翼飞行器)、具有固定翼和旋转翼二者的飞行器、或不具有二者的飞行器(例如,飞艇、热气球)。载运工具可以是自推进的,如穿过空气、在水面上或在水中、在太空中、或者在地下进行自推进。自推进式载运工具可以利用推进系统,例如,包括一个或多个引擎、电机、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴或其任意合适的组合的推进系统。在一些情形下,所述推进系统可以用来使得可移动物体能够从表面起飞、在表面上着落、维持其当前位置和/或朝向(例如,悬停)、改变朝向和/或改变位置。
所述可移动物体可以由用户远程控制或者由可移动物体之内或其上的乘员本地控制。在一些实施方式中,所述可移动物体为无人的可移动物体,例如UAV。无人可移动物体(如UAV)可以不具有登上可移动物体的乘员。可移动物体可以由人类或自主式控制系统(例如,计算机控制系统)或其任何合适的组合来控制。可移动物体可以是自主式或者半自主式机器人,如配置有人工智能的机器人。
所述可移动物体可具有任何合适的大小和/或尺寸。在一些实施方式中,所述可移动物体可以具有一定大小和/或尺寸以在所述载运工具之内或之上具有人类乘员。可替代地,所述可移动物体可以具有与能够在所述载运工具之内或之上具有人类乘员相比较而言更小的大小和/或尺寸。所述可移动物体可以具有适合于被人提起或搬运的大小和/或尺寸。替代地,所述可移动物体可以与适合于被人类提起或搬运的大小和/或尺寸相比较而言是更大的。在一些情形下,可移动物体可以具有小于或等于大约2cm、5cm、10cm、50cm、1m、2m、5m或10m的最大尺寸(例如,长度、宽度、高度、直径、对角线)。最大尺寸可以大于或等于大约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如,可移动物体的相对旋翼的轴之间的距离可以小于或者等于大约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。替代地,相对旋翼的轴之间的距离可以大于或等于大约:2cm、5cm、10cm、50cm、1m、2m、5m或10m。
在一些实施方式中,所述可移动物体可以具有小于100cmx 100cmx 100cm、小于50cmx 50cmx 30cm、或者小于5cm x 5cmx 3cm的体积。所述可移动物体的总体积可以小于或等于约:1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3、或10m3。相反,可移动物体的总体积可以大于或等于约:1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3、或10m3。
在一些实施方式中,可移动物体可以具有小于或等于大约:32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2的占地面积(其可以指由可移动物体所包围的横向横截面面积)。相反地,占地面积可以大于或等于大约:32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。
在一些情形下,所述可移动物体可以不超过1000kg重。可移动物体的重量可以小于或等于约1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反,所述重量可以大于或等于约1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
在一些实施方式中,可移动物体可以相对于所述可移动物体搭载的载荷而言是小的。如以下进一步详细描述的,载荷可以包括有效载荷和/或载体。在一些示例中,可移动物体重量与载荷重量的比率可以大于、小于、或等于约1:1。在一些情形下,可移动物体重量与载荷重量的比率可以大于、小于、或等于约1:1。可选地,载体重量与载荷重量的比率可以大于、小于、或等于约1:1。当希望时,可移动物体重量与载荷重量的比率可以小于或等于1:2、1:3、1:4、1:5、1:10或甚至更小。相反地,可移动物体重量与载荷重量的比率也可以大于或等于:2:1、3:1、4:1、5:1、10:1或甚至更大。
在一些实施方式中,所述可移动物体可以具有低的能耗。例如,可移动物体可以使用小于约:5W/h、4W/h、3W/h、2W/h、1W/h或更小。在一些情形下,可移动物体的载体可以具有低的能耗。例如,所述载体可以使用小于约5W/h、4W/h、3W/h、2W/h、1W/h或更小。可选地,可移动物体的有效载荷可以具有低的能耗,如小于大约5W/h、4W/h、3W/h、2W/h、1W/h或更小。
在一些实施方式中,UAV可以包括具有多个旋翼的推进系统。可以提供任意数量的旋翼(例如,一个、两个、三个、四个、五个、六个、或更多个)。无人飞行器的这些旋翼、旋翼组件或者其他推进系统可以使无人飞行器能够悬停/维持位置、改变朝向和/或改变位置。相对旋翼的轴之间的距离可以是任意适合的长度。例如,长度可以小于或等于2m、或小于等于5m。在一些实施方式中,长度可以在40cm至1m、10cm至2m、或者5cm至5m的范围内。本文中任何对UAV的描述都可以适用于可移动物体,例如不同类型的可移动物体,并且反之亦然。
在一些实施方式中,所述可移动物体可以被配置成搭载有载荷。这种载荷可以包括乘客、货物、装备、仪器以及类似物中的一项或多项。所述载荷可以被提供在壳体内。所述壳体可以是与所述可移动物体的壳体分开的,或者是可移动物体壳体的一部分。替代地,所述载荷可以配备有壳体,而所述可移动物体没有壳体。替代地,所述载荷的多个部分或整个载荷可以并未配备壳体。所述载荷可以是相对于所述可移动物体刚性固定的。可选地,所述载荷可以是可相对于所述可移动物体来移动的(例如,可相对于所述可移动物体来平移或旋转)。
在一些实施方式中,所述载荷包括有效载荷。所述有效载荷可以被配置成不执行任何操作或功能。替代地,所述有效载荷可以是被配置成用于执行一项操作或功能的有效载荷,也称为功能性有效载荷。例如,所述有效载荷可以包括用于观测一个或多个目标的一个或多个传感器。可以将任何适合的传感器并入所述有效载荷中,例如图像捕捉装置(例如,相机)、音频捕捉装置(例如,抛物线麦克风)、红外线成像装置、或紫外线成像装置中。传感器可提供静态感测数据(例如,照片)或动态感测数据(例如,视频)。在一些实施方式中,所述传感器提供针对所述有效载荷的目标的感测数据。替代地或组合地,所述有效载荷可以包括一个或多个发射体,以用于将信号提供给一个或多个目标。可以使用任何适合的发射体,例如照明源或声源。在一些实施方式中,所述有效载荷包括一个或多个收发器,以例如用于与远离所述可移动物体的模块进行通信。任选地,所述有效载荷可以被配置成与环境或者目标相互作用。例如,所述有效载荷可以包括能够操纵物体的工具、仪器或机构,例如机械臂。
任选地,所述载荷可以包括载体。所述载体可以被提供用于所述有效载荷并且所述有效载荷可以经由所述载体而直接地(例如,直接接触所述可移动物体)或间接地(例如,不接触所述可移动物体)联接至所述可移动物体上。相反,所述有效载荷可以安装在所述可移动物体上而无需载体。所述有效载荷可以与所述载体一体形成。替代地,所述有效载荷可以被可释放地联接至所述载体上。在一些实施方式中,所述有效载荷可以包括一个或多个有效载荷元件,并且这些有效载荷元件中的一个或多个有效载荷元件可以如上文描述地是可相对于所述可移动物体和/或所述载体来移动的。
所述载体可以是与可移动物体一体形成的。替代地,所述载体可以被可释放地联接至所述可移动物体上。所述载体可以直接地或间接地联接到所述可移动物体上。所述载体可以对所述有效载荷提供支撑(例如,承载所述有效载荷的重量的至少一部分)。所述载体可以包括能够对所述有效载荷的移动加以增稳和/或对其加以引导的适当安装结构(例如云台平台)。在一些实施方式中,所述载体可以被适配成用于控制所述有效载荷相对于所述可移动物体的状态(例如,位置和/或朝向)。例如,所述载体可以被配置成相对于所述可移动物体进行移动(例如,以一个、两个、或三个平移度和/或一个、两个、或三个旋转度),以使得所述有效载荷与所述可移动物体的移动无关地维持其相对于适当参照系的位置和/或朝向。所述参照系可以是固定的参照系(例如,周围环境)。替代地,所述参照系可以是移动的参照系(例如,所述可移动物体、有效载荷的目标)。
在一些实施方式中,所述载体可以被配置成准许所述有效载荷相对于所述载体和/或可移动物体而移动。这种移动可以是多达三个自由度(例如沿着一条、两条或三条轴线)的平移或者多达三个自由度(例如围绕一条、两条或三条轴线)的旋转、或者其任意适合的组合。
在某些例子中,所述载体可以包括载体框架组件和载体致动组件。所述载体框架组件可以对所述有效载荷提供结构性支撑。所述载体框架组件可以包括多个独立的载体框架部件,这些载体框架部件中的一些载体框架部件可以相对于彼此是可移动的。所述载体致动组件可以包括致动这些单独的载体框架部件的移动的一个或多个致动器(例如,电机)。这些致动器可以允许多个载体框架部件同时移动,或者可以被配置成一次只允许一个单独的载体框架部件移动。这些载体框架部件的移动可以使所述有效载荷产生相应的移动。例如,所述载体致动组件可以致动一个或多个载体框架部件绕一条或多条旋转轴线(例如,横滚轴线、俯仰轴线、或者偏航轴线)的旋转。所述一个或多个载体框架部件的旋转可以致使有效载荷相对于可移动物体绕一条或多条旋转轴线而旋转。任选地或组合地,所述载体致动组件可以致动一个或多个载体框架部件沿一条或多条平移轴线的平移,并且由此产生所述有效载荷相对于可移动物体沿一条或多条相应轴线的平移。
在一些实施方式中,所述可移动物体、载体和有效载荷相对于固定的参照系(例如,周围环境)和/或相对于彼此的移动可以是由终端来控制的。所述终端是在远离所述可移动物体、载体和/或有效载荷的位置处的遥控装置。所述终端可以被安置在或附着至支撑平台上。替代地,所述终端可以是手持式或可穿戴式装置。例如,所述终端可以包括智能手机、平板计算机、膝上计算机、计算机、眼镜、手套、头盔、麦克风或其适当组合。所述终端可以包括用户界面,例如键盘、鼠标、操纵杆、触摸屏或显示器。可以使用任何适合的用户输入来与所述终端进行交互,例如手动输入的命令、语音控制、手势控制或位置控制(例如,通过所述终端的移动、位置或倾斜度)。
可以用所述终端来控制可移动物体、载体和/或有效载荷的任何适合状态。例如,可以用所述终端来控制所述可移动物体、载体和/或有效载荷相对于固定的参照系的和/或相对于彼此的位置和/或朝向。在一些实施方式中,可以用所述终端来控制所述可移动物体、载体和/或有效载荷的多个独立元件,例如载体的致动组件、有效载荷的传感器、或有效载荷的发射体。所述终端可以包括被适配成用于与所述可移动物体、载体或有效载荷中的一者或多者通信的无线通信装置。
所述终端可以包括用于观看所述可移动物体、载体和/或有效载荷的信息的适合的显示单元。例如,所述终端可以被配置成显示所述可移动物体、载体和/或有效载荷就位置、平移速度、平移加速度、朝向、角速度、角加速度或其任意适合组合而言的信息。在一些实施方式中,所述终端可以显示所述有效载荷所提供的信息,例如功能性有效载荷所提供的数据(例如,相机或其他图像捕捉装置所记录的图像)。
可选地,同一终端可以既控制可移动物体、载体和/或有效载荷,或者可移动物体、载体和/或有效载荷的状态,又接收和/或显示来自所述可移动物体、载体和/或有效载荷的信息。例如,终端可以控制有效载荷相对于环境的定位,同时显示由有效载荷所捕捉的图像数据、或关于有效载荷位置的信息。替代地,可以为不同的功能使用不同的终端。例如,第一终端可以控制可移动物体、载体和/或有效载荷的移动或状态,而第二终端可以接收和/或显示来自可移动物体、载体和/或有效载荷的信息。例如,可以用第一终端来控制有效载荷相对于环境的定位,而同时第二终端显示有效载荷所捕捉的图像数据。可以在可移动物体与既控制可移动物体又接收数据的集成终端之间、或者在可移动物体与既控制可移动物体又接收数据的多个终端之间利用多种不同的通信模式。例如,可以在可移动物体与既控制可移动物体又接收来自所述可移动物体的数据的终端之间形成至少两种不同的通信模式。
图25展示了根据多个实施方式的包括载体2502和有效载荷2504的可移动物体2500。虽然可移动物体2500被描绘为飞行器,但是这样的描述并不旨在进行限制,并且可以使用如本文先前所描述的任何合适类型的可移动物体。本领域技术人员将认识到,本文中在飞行器系统的背景下所描述的任何实施方式都可以应用于任何适合的可移动物体(例如,UAV)。在一些情形下,有效载荷2504可以不需要载体2502而提供在可移动物体2500上。可移动物体2500可以包括推进机构2506、感测系统2508、及通信系统2510。
这些推进机构2506可以包括如先前所描述的旋翼、螺旋桨、桨叶、引擎、电机、轮子、轮轴、磁体、或喷嘴中的一项或多项。例如,如本文其他地方所公开的,推进机构2506可以为自紧式旋翼、旋翼组件或者其他旋转推进单元。所述可移动物体可以具有一个或多个、两个或更多个、三个或更多个、或四个或更多个推进机构。这些推进机构可以全都是同一类型的。替代地,一个或多个推进机构可以是不同类型的推进机构。如本文中其他地方所描述的,推进机构2506可以使用任何合适的器件(如,支撑元件(例如,驱动轴))来安装在可移动物体2500上。推进机构2506可以安装在可移动物体2500的任何合适部分上,如,顶部、底部、前方、后方、侧方或其合适的组合。
在一些实施方式中,这些推进机构2506能够使可移动物体2500能够从表面竖直起飞、或者竖直降落在表面上,而不需要可移动物体2500的任何水平移动(例如,不需要在跑道上行进)。任选地,这些推进机构2506可以是可操作来准许可移动物体2500以指定的位置和/或朝向在空中悬停的。这些推进机构2500中的一个或多个推进机构可以是独立于其他推进机构地受到控制的。替代地,这些推进机构2500可以被配置成同时受到控制。例如,可移动物体2500可以具有多个水平朝向的旋翼,这些旋翼可以对所述可移动物体提供升力和/或推力。所述多个水平朝向的旋翼可以被致动成对可移动物体2500提供竖直起飞、竖直降落以及悬停的能力。在一些实施方式中,这些水平朝向的旋翼中的一个或多个旋翼可以在顺时针方向上转动,而水平旋翼中的一个或多个旋翼可以在逆时针方向上转动。例如,顺时针旋翼的数量可以等于逆时针旋翼的数量。这些水平朝向的旋翼各自的旋转速度可以独立地变化以便控制每个旋翼产生的升力和/或推力,并且由此调整可移动物体2500(例如,就多达三个平移度以及多达三个旋转度而言)的空间布局、速度和/或加速度。
感测系统2508可以包括一个或多个传感器,所述一个或多个传感器可以感测可移动物体2500(例如,就多达三个平移度以及多达三个旋转度而言)的空间布局、速度和/或加速度。所述一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、接近度传感器或图像传感器。可以用感测系统2508所提供的感测数据来控制可移动物体2500的空间布局、速度和/或朝向(例如,使用如下文所描述的适合的处理单元和/或控制模块)。替代地,可以用感测系统2508来提供与所述可移动物体的周围环境相关的数据,例如天气条件、与潜在障碍物的接近度、地理特征的位置、人造结构的位置等等。
通信系统2510能够通过无线信号2516来与具有通信系统2514的终端2512进行通信。通信系统2510、2514可以包括任意数量的、适合用于无线通信的发射器、接收器和/或收发器。这种通信可以是单向通信,而使得仅能在一个方向上传输数据。例如,单向通信可能仅涉及可移动物体2500将数据传输给终端2512,或反之亦然。这些数据可以是从通信系统2510的一个或多个发射器传输给通信系统2512的一个或多个接收器,或反之亦然。替代地,这种通信也可以是双向通信,从而使得可以在可移动物体2500与终端2512之间、在两个方向上传输数据。这种双向通信可以涉及将数据从通信系统2510的一个或多个发射器传输给通信系统2514的一个或多个接收器,并且反之亦然。
在一些实施方式中,终端2512可以向可移动物体2500、载体2502和有效载荷2504中的一者或多者提供控制数据并且从可移动物体2500、载体2502和有效载荷2504中的一者或多者接收信息(例如,可移动物体、载体或有效载荷的位置和/或运动信息;由有效载荷感测到的数据,例如由有效载荷相机捕捉到的图像数据)。在某些例子中,来自终端的控制数据可以包括针对可移动物体、载体和/或有效载荷的相对位置、移动、致动或控制的指令。例如,这些控制数据可以导致对可移动物体的位置和/或朝向的修正(例如,通过控制推进机构2506)、或者对有效载荷相对于可移动物体的移动的修正(例如,通过控制载体2502)。来自终端的控制数据可以导致对有效载荷的控制,例如控制相机或其他图像捕捉装置的操作(例如,拍摄静态或动态照片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、变焦、改变景深、改变曝光时间、改变视角或视野)。在某些示例中,来自可移动物体、载体和/或有效载荷的通信可以包括来自(例如,感测系统2508的或有效载荷2504的)一个或多个传感器的信息。这些通信可以包括来自一个或多个不同类型传感器(例如,GPS传感器、运动传感器、惯性传感器、接近度传感器或图像传感器)的感测信息。这样的信息可以与可移动物体、载体和/或有效载荷的位置(例如,位置、朝向)、移动或加速度相关。来自有效载荷的这样的信息可以包括有效载荷所捕捉到的数据或所感测到的有效载荷的状态。由终端2512传输的、所提供的控制数据可以被配置成控制可移动物体2500、载体2502或有效载荷2504中的一者或多者的状态。替代地或组合地,载体2502和有效载荷2504还可以各自包括被配置成与终端2512通信的通信模块,从而使得所述终端可以独立地与可移动物体2500、载体2502以及有效载荷2504中的每一者通信并且对其加以控制。
在一些实施方式中,可移动物体2500可以被配置成不仅与终端2512而且与另一个远程装置通信,或不是与终端2512而是与另一个远程装置通信。终端2512也可以被配置成与另一个远程装置以及可移动物体2500通信。例如,可移动物体2500和/或终端2512可以与另一个可移动物体、或另一个可移动物体的载体或有效载荷通信。当希望时,所述远程装置可以是第二终端或其他计算装置(例如,计算机、膝上计算机、平板计算机、智能手机或其他移动装置)。所述远程装置可以被配置成将数据传输给可移动物体2500,接收来自可移动物体2500的数据,将数据传输给终端2512和/或接收来自终端2512的数据。任选地,所述远程装置可以连接到互联网或其他电信网络,从而使得从可移动物体2500和/或终端2512接收到的数据可以上传到网站或服务器。
在一些实施方式中,可以根据一些实施方式提供用于控制可移动物体的系统。这种系统可以是与本文所描述的系统、装置以及方法的任何适合的实施方式相组合地使用的。这种系统可以包括感测模块、处理单元、非瞬态计算机可读介质、控制模块以及通信模块。
感测模块可以利用以不同方式收集与这些可移动物体相关的信息的不同类型的感测器。不同类型的传感器可以感测不同类型的信号或来自不同来源的信号。例如,这些传感器可以包括惯性传感器、GPS传感器、接近度传感器(例如,激光雷达)、或视觉/图像传感器(例如,相机)。所述感测模块可以操作性地耦合到具有多个处理器的处理单元。在某些实施方式中,所述感测模块可以操作性地耦合到传输模块(例如,Wi-Fi图像传输模块),所述传输模块被配置成将感测数据直接传输给适合的外部装置或系统。例如,可以用传输模块来将感测模块的相机所捕捉到的图像传输给远程终端。
处理单元可以具有一个或多个处理器,例如可编程处理器(例如,中央处理单元(CPU))。处理单元可以操作性地耦合到非瞬态计算机可读介质。非瞬态计算机可读介质可以储存可由处理单元执行来实现一个或多个步骤的逻辑、代码和/或程序指令。所述非瞬态计算机可读介质可以包括一个或多个存储器单元(例如,可移除式介质或如SD卡或随机存取存储器(RAM)的外部存储器)。在某些实施方式中,可以将来自感测模块的数据直接传送至并储存在非瞬态计算机可读介质的存储器单元内。非瞬态计算机可读介质的存储器单元可以储存可由处理单元执行来实现本文所描述方法的任何适合的实施方式的逻辑、代码和/或程序指令。例如,处理单元可以被配置成执行指令从而致使处理单元的一个或多个处理器分析感测模块所产生的感测数据。这些存储器单元可以储存来自所述感测模块的有待被处理单元处理的感测数据。在某些实施方式中,可以用非瞬态计算机可读介质的存储器单元来储存处理单元所产生的处理结果。
在某些实施方式中,处理单元可以操作性地耦合到被配置成控制可移动物体的状态的控制模块。例如,控制模块可以被配置成控制可移动物体的推进机构,以调整可移动物体相对于六个自由度的空间布局、速度和/或加速度。替代地或组合地,控制模块可以控制载体、有效载荷或感测模块的状态中的一者或多者。
处理单元可以操作性地耦合到通信模块,所述通信模块被配置成传输和/或接收来自一个或多个外部装置(例如,终端、显示装置或者其他遥控器)的数据。可以使用任何合适的通信手段,如有线通信或无线通信。例如,通信模块可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点到点(P2P)网络、电信网络、云通信等等中的一个或多个。任选地,可以使用中继站(如塔、卫星或移动站)。无线通信可以是取决于接近度或不取决于接近度的。在一些实施方式中,通信可能需要或可能不需要视线。通信模块可以传输和/或接收来自感测模块的感测数据、处理单元所产生的处理结果、预定控制数据、来自终端或遥控器的用户命令以及类似物中的一项或多项。
可以用任何适合的配置来安排系统的这些部件。例如,可以使得系统这些部件中的一者或多者处于所述可移动物体、载体、有效载荷、终端、感测系统上、或者处于与以上部件中一个或多个部件进行通信的额外的外部装置上。在某些实施方式中,所述多个处理单元和/或非瞬态计算机可读介质中的一者或多者可以处于不同位置,例如,在可移动物体、载体、有效载荷、终端、感测模块、与以上部件中一者或多者进行通信的额外的外部装置、或它们适合的组合上,从而使得系统所执行的处理和/或存储器功能的任何适合的方面可以发生在上述位置中的一个或多个位置。
如本文所使用,A和/或B涵盖了A或B以及其组合(如A和B)中的一项或多项。应理解的是,虽然术语“第一”、“第二”、“第三”等在本文中可以用来描述不同的元件、部件、区域和/或区段,但是这些元件、部件、区域和/或区段不应所述受这些术语的限制。这些术语仅用于从一个元件、部件、区域或区段中区分出另一个元件、部件、区域或区段。因此,下文讨论的第一元件、部件、区域或区段可以被称为第二元件、部件、区域或区段,而不背离本发明的传授内容。
本文使用的术语仅是出于描述具体实施方式的目的的而并不旨在限制本发明。如本文所使用的,单数形式“一”、“一个”和“所述”旨在也包括复数形式,除非上下文清楚地另外指明。进一步应理解的是,术语“包括”和/或“包括有”、或“包含”和/或“包含有”在本说明书中使用时指明了所叙述的特征、区域、整数、步骤、操作、元件和/或部件的存在,但并不排除一个或多个其他的特征、区域、整数、步骤、操作、元件、部件和/或其群体的存在或添加。
此外,在此可能使用了相对性术语“下部”或“底部”和“上部”或“顶部”来描述如图中所展示的一个元件与其它元件的关系。应理解的是,相对性术语除了图中描绘的朝向之外还旨在涵盖这些元件的不同的朝向。例如,如果将其中一个图中的所述元件翻转,则被描述为在其他元件的“下部”侧上的元件将被定向成在这些其他元件的“上部”侧上。因此,示例性术语“下部”可以取决于图中的具体朝向而涵盖“下部”和“上部”两种朝向。类似地,如果将其中一个图中的所述元件翻转,则被描述为在其他元件的“下方”或“之下”的元件将被定向成在这些其他元件的“上方”。因此,示例性术语“下方”或“之下”可以涵盖上方和下方两种朝向。
虽然本文已经示出和描述了本发明的优选实施方式,但对于本领域技术人员而言显然这样的实施方式只是以举例方式提供的。本领域技术人员会在不偏离本发明的情况下产生许多变体、改变和替代。应当理解,在实践本发明的过程中可以采用本文所描述的本发明实施方式的多种不同替代方案。本文描述的实施方式的众多不同的组合是可能的,并且这样的组合被视为本公开的一部分。此外,所有关于本文任一实施方式所讨论的特征都可以容易地适配成用在本文的其他实施方式中。所附权利要求旨在限定本发明的范围,并且进而涵盖了在这些权利要求及其等效项的范围内的方法和结构。
Claims (12)
1.一种用于控制可移动物体的方法,包括:
接收多个信号,所述多个信号包括一个或多个目标物体参数和一个或多个运动路径参数;
基于所述多个信号生成所述可移动物体的运动路径;
其中,一个或多个目标物体参数至少用以确定目标物体在三维空间中的位置,所述一个或多个运动路径参数包括以下至少之一:
(1)回旋距离,所述回旋距离用以确定所述运动路径的大小和/或形状,所述回旋距离能够由用户设定,并且不能超过最大值和/或不能低于最小值;
(2)所述运动路径的进入点,所述进入点用以使得所述可移动物体从所述进入点进入所述运动路径,所述进入点能够由用户设定;
(3)行进角度,所述行进角度用以限定所述可移动物体沿所述运动路径飞行的部分。
2.如权利要求1所述的方法,其特征在于,所述一个或多个运动路径参数进一步用以限定所述可移动物体从其当前位置飞到所述运动路径的进入点的方式。
3.如权利要求1所述的方法,其特征在于,所述多个信号还包括一个或多个可移动物体参数和/或一个或多个外部输入。
4.如权利要求3所述的方法,其特征在于,所述一个或多个可移动物体参数包括所述可移动物体沿着所述运动路径的速度、加速度、海拔、姿态和/或朝向。
5.如权利要求3所述的方法,其特征在于,所述一个或多个外部输入包括改变沿着所述运动路径的一个或多个空间点的位置。
6.如权利要求5所述的方法,其特征在于,所述运动路径中的一个或多个空间点视觉地描绘在图形显示器上,用户在所述图形显示器上对于所述视觉描绘的一个或多个空间点的移动能够改变沿着所述运动路径的一个或多个空间点的位置。
7.如权利要求5所述的方法,其特征在于,所述一个或多个外部输入是在所述可移动物体沿着所述运动路径移动之前提供的,或者所述可移动物体沿着所述运动路径移动时实时地提供的。
8.一种用于控制可移动物体的方法,包括:
获取由用户选择的目标,所述目标为移动的目标;
规划运动路径以使得所述可移动物体导航围绕所述移动的目标,并伴随着所述目标的移动而改变或更新所述运动路径。
9.一种使用计算机实现的图形显示器来控制可移动物体的运动路径的方法,所述方法包括:
接收指明一个或多个空间点在三维空间内在任何方向上的移动的输入,所述一个或多个空间点被视觉地描绘在所述图形显示器上;
处理所述输入以便基于所述一个或多个空间点的所述移动来生成所述可移动物体的运动路径。
10.一种无人飞行器系统,包括:
可操作来控制所述无人飞行器的设备,所述设备包括一个或多个处理器,所述一个或多个处理器被单独地或共同地配置成:
接收多个信号,所述多个信号包括一个或多个目标物体参数和一个或多个运动路径参数;
基于所述多个信号生成所述可移动物体的运动路径;
其中,一个或多个目标物体参数至少用以确定目标物体在三维空间中的位置,所述一个或多个运动路径参数包括以下至少之一:
(1)回旋距离,所述回旋距离用以确定所述运动路径的大小和/或形状,所述回旋距离能够由用户设定,并且不能超过最大值或者不能低于最小值;
(2)所述运动路径的进入点,所述进入点用以使得所述可移动物体从所述进入点进入所述运动路径,所述进入点能够由用户设定;
(3)行进角度,所述行进角度用以限定所述可移动物体沿所述运动路径飞行的部分。
11.一种无人飞行器系统,包括:
可操作来控制所述无人飞行器的设备,所述设备包括一个或多个处理器,所述一个或多个处理器被单独地或共同地配置成:
获取由用户选择的移动的目标;
规划运动路径以使得所述可移动物体导航围绕所述移动的目标,并伴随着所述移动的目标的移动而改变或更新所述运动路径。
12.一种无人飞行器系统,包括:
可操作来控制所述无人飞行器的飞行轨迹的设备,所述设备包括计算机实现的图形显示器和一个或多个处理器,所述一个或多个处理器被单独地或共同地配置成:
接收指明一个或多个空间点在三维空间内在任何方向上的移动的输入,所述一个或多个空间点被视觉地描绘在所述图形显示器上;
处理所述输入以便基于所述一个或多个空间点的所述移动来生成所述无人飞行器的所述飞行轨迹。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210869678.8A CN115220475A (zh) | 2015-12-09 | 2015-12-09 | 用于uav飞行控制的系统和方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210869678.8A CN115220475A (zh) | 2015-12-09 | 2015-12-09 | 用于uav飞行控制的系统和方法 |
CN201580084411.6A CN108351653B (zh) | 2015-12-09 | 2015-12-09 | 用于uav飞行控制的系统和方法 |
PCT/CN2015/096745 WO2017096547A1 (en) | 2015-12-09 | 2015-12-09 | Systems and methods for uav flight control |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580084411.6A Division CN108351653B (zh) | 2015-12-09 | 2015-12-09 | 用于uav飞行控制的系统和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115220475A true CN115220475A (zh) | 2022-10-21 |
Family
ID=59012462
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580084411.6A Active CN108351653B (zh) | 2015-12-09 | 2015-12-09 | 用于uav飞行控制的系统和方法 |
CN202210869678.8A Pending CN115220475A (zh) | 2015-12-09 | 2015-12-09 | 用于uav飞行控制的系统和方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580084411.6A Active CN108351653B (zh) | 2015-12-09 | 2015-12-09 | 用于uav飞行控制的系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (2) | US10824141B2 (zh) |
EP (3) | EP3387507B1 (zh) |
CN (2) | CN108351653B (zh) |
WO (1) | WO2017096547A1 (zh) |
Families Citing this family (42)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10963749B2 (en) * | 2014-12-12 | 2021-03-30 | Cox Automotive, Inc. | Systems and methods for automatic vehicle imaging |
KR101740312B1 (ko) * | 2015-01-09 | 2017-06-09 | 주식회사 대한항공 | 무인 항공기의 카메라 조종정보를 이용한 무인 항공기 유도제어 방법 |
CN105867361A (zh) * | 2016-04-18 | 2016-08-17 | 深圳市道通智能航空技术有限公司 | 一种飞行方向控制方法、装置及其无人机 |
WO2018023736A1 (en) * | 2016-08-05 | 2018-02-08 | SZ DJI Technology Co., Ltd. | System and method for positioning a movable object |
US10395544B1 (en) * | 2016-08-29 | 2019-08-27 | Amazon Technologies, Inc. | Electronic landing marker |
CN110119154A (zh) * | 2016-11-30 | 2019-08-13 | 深圳市大疆创新科技有限公司 | 飞行器的控制方法、装置和设备以及飞行器 |
US10645156B2 (en) * | 2016-12-12 | 2020-05-05 | University Of South Florida | Tools and methods for distributed spatial control of swarms via multiplex information networks |
JP6869264B2 (ja) * | 2017-01-20 | 2021-05-12 | ソニーネットワークコミュニケーションズ株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2018205104A1 (zh) | 2017-05-08 | 2018-11-15 | 深圳市大疆创新科技有限公司 | 无人机拍摄控制方法、无人机拍摄方法、控制终端、无人机控制装置和无人机 |
US11416129B2 (en) * | 2017-06-02 | 2022-08-16 | The Research Foundation For The State University Of New York | Data access interface |
KR102403122B1 (ko) * | 2017-10-25 | 2022-05-30 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN108885466A (zh) * | 2017-11-22 | 2018-11-23 | 深圳市大疆创新科技有限公司 | 一种控制参数配置方法及无人机 |
EP3531375B1 (en) * | 2017-12-25 | 2021-08-18 | Autel Robotics Co., Ltd. | Method and apparatus for measuring distance, and unmanned aerial vehicle |
US11048277B1 (en) | 2018-01-24 | 2021-06-29 | Skydio, Inc. | Objective-based control of an autonomous unmanned aerial vehicle |
US20190250601A1 (en) * | 2018-02-13 | 2019-08-15 | Skydio, Inc. | Aircraft flight user interface |
CN108871289A (zh) * | 2018-06-01 | 2018-11-23 | 广州中科云图智能科技有限公司 | 一种基于无人机的环绕航测方法及系统 |
US11004345B2 (en) | 2018-07-31 | 2021-05-11 | Walmart Apollo, Llc | Systems and methods for generating and monitoring flight routes and buffer zones for unmanned aerial vehicles |
US10921128B2 (en) | 2018-08-30 | 2021-02-16 | Here Global B.V. | Method and apparatus for mapping underground or interior drone routes |
US10948304B2 (en) | 2018-08-30 | 2021-03-16 | Here Global B.V. | Method and apparatus for creating underground or interior drone routes |
CN110785727A (zh) * | 2018-08-31 | 2020-02-11 | 深圳市大疆创新科技有限公司 | 可移动平台的控制方法、可移动平台、终端设备和系统 |
US11307584B2 (en) * | 2018-09-04 | 2022-04-19 | Skydio, Inc. | Applications and skills for an autonomous unmanned aerial vehicle |
CN109032184B (zh) * | 2018-09-05 | 2021-07-09 | 深圳市道通智能航空技术股份有限公司 | 飞行器的飞行控制方法、装置、终端设备及飞行控制系统 |
CN109445454A (zh) * | 2018-09-18 | 2019-03-08 | 山东理工大学 | 用于桥梁检测的无人机绕梁巡航检测方法 |
CN109633719A (zh) * | 2018-12-21 | 2019-04-16 | 北京智行者科技有限公司 | 车辆跟随的目标轨迹识别方法 |
CN109885094B (zh) * | 2019-03-28 | 2022-03-04 | 河南机电职业学院 | 无人靶机随舰飞行控制方法 |
CN109960281A (zh) * | 2019-04-17 | 2019-07-02 | 深圳市道通智能航空技术有限公司 | 环绕飞行的控制方法、装置、终端及存储介质 |
CN110209200A (zh) * | 2019-07-12 | 2019-09-06 | 上海电气泰雷兹交通自动化系统有限公司 | 列车轨道用障碍物探测方法及障碍物探测系统 |
US20210027629A1 (en) * | 2019-07-25 | 2021-01-28 | Baidu Usa Llc | Blind area processing for autonomous driving vehicles |
CN110864663B (zh) * | 2019-11-26 | 2021-11-16 | 深圳市国测测绘技术有限公司 | 一种基于无人机技术的房屋面积测量方法 |
CN111105348A (zh) * | 2019-12-25 | 2020-05-05 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像处理设备及存储介质 |
US10846880B1 (en) * | 2020-01-03 | 2020-11-24 | Altec Industries, Inc. | Camera embedded joystick |
CN114096931A (zh) * | 2020-04-27 | 2022-02-25 | 深圳市大疆创新科技有限公司 | 可移动平台的控制方法和设备 |
JP2021182702A (ja) * | 2020-05-19 | 2021-11-25 | キヤノン株式会社 | 撮像制御装置、撮像制御方法、及びプログラム |
CN111637871A (zh) * | 2020-05-28 | 2020-09-08 | 武汉大学 | 一种基于旋转飞行的无人机相机稳健自检校方法及装置 |
CN111880558B (zh) * | 2020-07-06 | 2021-05-11 | 广东技术师范大学 | 植保无人机避障喷施方法、装置、计算机设备和存储介质 |
US11874674B2 (en) * | 2020-07-08 | 2024-01-16 | SkyRyse, Inc. | Vehicle control and interface system |
CN112669354B (zh) * | 2020-12-08 | 2024-07-23 | 重庆邮电大学 | 一种基于车辆非完整约束的多相机运动状态估计方法 |
WO2022141311A1 (zh) * | 2020-12-30 | 2022-07-07 | 深圳市大疆创新科技有限公司 | 无人机控制方法、装置、无人机、终端、系统及存储介质 |
US20230019396A1 (en) * | 2021-07-13 | 2023-01-19 | Beta Air, Llc | Systems and methods for autonomous flight collision avoidance in an electric aircraft |
TWI802115B (zh) | 2021-11-30 | 2023-05-11 | 仁寶電腦工業股份有限公司 | 無人機的控制裝置及其控制方法 |
KR102514725B1 (ko) * | 2022-03-18 | 2023-03-29 | 주식회사 클로버스튜디오 | 포인트 클라우드를 이용한 무인 이동체용 코리도 및 경로의 표시 방법 |
US20240038077A1 (en) * | 2022-08-01 | 2024-02-01 | Ideaforge Technology Pvt. Ltd. | Advanced pilot assistance system (apas) for estimating coverage area and viewing area and method thereof |
Family Cites Families (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3786505A (en) * | 1970-03-04 | 1974-01-15 | J Rennie | Self-contained navigation system |
US6196917B1 (en) * | 1998-11-20 | 2001-03-06 | Philips Electronics North America Corp. | Goal directed user interface |
US6845297B2 (en) * | 2000-05-01 | 2005-01-18 | Irobot Corporation | Method and system for remote control of mobile robot |
CN101095090B (zh) | 2005-11-15 | 2010-07-21 | 贝尔直升机泰克斯特龙公司 | 用于自动绕圈飞行的控制系统 |
US8718838B2 (en) | 2007-12-14 | 2014-05-06 | The Boeing Company | System and methods for autonomous tracking and surveillance |
US7970507B2 (en) * | 2008-01-23 | 2011-06-28 | Honeywell International Inc. | Method and system for autonomous tracking of a mobile target by an unmanned aerial vehicle |
US8521339B2 (en) * | 2008-09-09 | 2013-08-27 | Aeryon Labs Inc. | Method and system for directing unmanned vehicles |
FR2957690A1 (fr) * | 2010-03-18 | 2011-09-23 | Flyway Media | Systeme et procede destines a capturer une sequence video portant sur un sujet cible en mouvement a partir notamment d'un aeronef autonome ou semi autonome. |
TWI408568B (zh) * | 2010-06-24 | 2013-09-11 | Hon Hai Prec Ind Co Ltd | 手持裝置及利用其控制無人飛行載具的方法 |
US8594932B2 (en) | 2010-09-14 | 2013-11-26 | The Boeing Company | Management system for unmanned aerial vehicles |
DE102011017564B4 (de) * | 2011-04-26 | 2017-02-16 | Airbus Defence and Space GmbH | Verfahren und System zum Prüfen einer Oberfläche auf Materialfehler |
EP2538298A1 (en) * | 2011-06-22 | 2012-12-26 | Sensefly Sàrl | Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers |
US9171473B1 (en) * | 2011-12-06 | 2015-10-27 | The United States of America as represented by the Administrator of the National Aeronautics & Space Administration (NASA) | Method and system for dynamic automated corrections to weather avoidance routes for aircraft in en route airspace |
CN102707726B (zh) | 2012-05-28 | 2014-03-26 | 北京航空航天大学 | 一种无人机目标定位方法 |
US9162753B1 (en) * | 2012-12-31 | 2015-10-20 | Southern Electrical Equipment Company, Inc. | Unmanned aerial vehicle for monitoring infrastructure assets |
US20140207365A1 (en) * | 2013-01-18 | 2014-07-24 | Ge Aviation Systems Llc | Methods for determining a flight path |
CN103970143B (zh) | 2013-08-27 | 2017-03-29 | 清华大学 | 一种无人飞行器自主巡点飞行的智能优化方法 |
KR102219698B1 (ko) * | 2014-04-30 | 2021-02-24 | 엘지전자 주식회사 | 무인 항공기 제어 장치 및 방법 |
GB2525900A (en) * | 2014-05-07 | 2015-11-11 | Imp Innovations Ltd | Method of using a device capable of controlled flight |
KR102165450B1 (ko) * | 2014-05-22 | 2020-10-14 | 엘지전자 주식회사 | 무인 항공기를 제어하는 포터블 디바이스 및 그 제어 방법 |
EP3060966B1 (en) * | 2014-07-30 | 2021-05-05 | SZ DJI Technology Co., Ltd. | Systems and methods for target tracking |
US9896202B2 (en) * | 2014-12-03 | 2018-02-20 | X Development Llc | Systems and methods for reliable relative navigation and autonomous following between unmanned aerial vehicle and a target object |
CN104527978A (zh) | 2014-12-31 | 2015-04-22 | 深圳雷柏科技股份有限公司 | 一种跟拍型飞行器及其跟拍方法 |
FR3031402B1 (fr) * | 2015-01-02 | 2018-09-07 | Squadrone System | Procede de pilotage automatique d'un drone a voilure tournante pour operer des mouvements de camera par une camera embarquee |
CN104750110A (zh) * | 2015-02-09 | 2015-07-01 | 深圳如果技术有限公司 | 一种无人机的飞行方法 |
NO339419B1 (en) * | 2015-03-25 | 2016-12-12 | FLIR Unmanned Aerial Systems AS | Path-Based Flight Maneuvering System |
US9671791B1 (en) * | 2015-06-10 | 2017-06-06 | Amazon Technologies, Inc. | Managing unmanned vehicles |
CN105120146B (zh) * | 2015-08-05 | 2018-06-26 | 普宙飞行器科技(深圳)有限公司 | 一种利用无人机进行运动物体自动锁定拍摄装置及拍摄方法 |
CN105045281A (zh) | 2015-08-13 | 2015-11-11 | 深圳一电科技有限公司 | 无人机飞行控制方法及装置 |
WO2017045116A1 (en) * | 2015-09-15 | 2017-03-23 | SZ DJI Technology Co., Ltd. | System and method for supporting smooth target following |
-
2015
- 2015-12-09 CN CN201580084411.6A patent/CN108351653B/zh active Active
- 2015-12-09 US US16/076,312 patent/US10824141B2/en active Active
- 2015-12-09 CN CN202210869678.8A patent/CN115220475A/zh active Pending
- 2015-12-09 EP EP15910022.1A patent/EP3387507B1/en active Active
- 2015-12-09 EP EP21207823.2A patent/EP3971674B1/en active Active
- 2015-12-09 WO PCT/CN2015/096745 patent/WO2017096547A1/en active Application Filing
- 2015-12-09 EP EP23219737.6A patent/EP4342792A3/en active Pending
-
2020
- 2020-11-02 US US17/087,430 patent/US20210072745A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3971674B1 (en) | 2024-02-14 |
US20190064794A1 (en) | 2019-02-28 |
US10824141B2 (en) | 2020-11-03 |
EP3971674A1 (en) | 2022-03-23 |
EP4342792A3 (en) | 2024-04-17 |
EP3387507A4 (en) | 2018-12-26 |
US20210072745A1 (en) | 2021-03-11 |
CN108351653B (zh) | 2022-08-09 |
CN108351653A (zh) | 2018-07-31 |
EP4342792A2 (en) | 2024-03-27 |
EP3387507A1 (en) | 2018-10-17 |
EP3387507B1 (en) | 2022-01-05 |
WO2017096547A1 (en) | 2017-06-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108351653B (zh) | 用于uav飞行控制的系统和方法 | |
US20210116944A1 (en) | Systems and methods for uav path planning and control | |
CN108351649B (zh) | 用于控制可移动物体的方法和设备 | |
US11932392B2 (en) | Systems and methods for adjusting UAV trajectory | |
CN108351654B (zh) | 用于视觉目标跟踪的系统和方法 | |
US10802509B2 (en) | Selective processing of sensor data | |
CN107850902B (zh) | 可移动物体上的相机配置 | |
JP2021036452A (ja) | Uav軌道を調整するシステム及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |