CN108780316A - 用于飞行装置的移动控制的方法和系统 - Google Patents
用于飞行装置的移动控制的方法和系统 Download PDFInfo
- Publication number
- CN108780316A CN108780316A CN201680082603.8A CN201680082603A CN108780316A CN 108780316 A CN108780316 A CN 108780316A CN 201680082603 A CN201680082603 A CN 201680082603A CN 108780316 A CN108780316 A CN 108780316A
- Authority
- CN
- China
- Prior art keywords
- loose impediment
- coordinate system
- target
- user
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 132
- 230000000007 visual effect Effects 0.000 claims abstract description 195
- 230000000694 effects Effects 0.000 claims abstract description 15
- 230000033001 locomotion Effects 0.000 claims description 116
- 230000008447 perception Effects 0.000 claims description 93
- 238000006073 displacement reaction Methods 0.000 claims description 60
- 238000012545 processing Methods 0.000 claims description 19
- 238000005259 measurement Methods 0.000 claims description 13
- 230000003287 optical effect Effects 0.000 claims description 12
- 241001465754 Metazoa Species 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 description 49
- 230000006854 communication Effects 0.000 description 32
- 238000004891 communication Methods 0.000 description 32
- 230000008859 change Effects 0.000 description 28
- 230000001133 acceleration Effects 0.000 description 22
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 14
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000013519 translation Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 8
- 238000013016 damping Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 241000208340 Araliaceae Species 0.000 description 3
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 3
- 235000003140 Panax quinquefolius Nutrition 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 235000008434 ginseng Nutrition 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000024703 flight behavior Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 229920002160 Celluloid Polymers 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- DMBHHRLKUKUOEG-UHFFFAOYSA-N diphenylamine Chemical compound C=1C=CC=CC=1NC1=CC=CC=C1 DMBHHRLKUKUOEG-UHFFFAOYSA-N 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000006260 foam Substances 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002463 transducing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
- G03B15/006—Apparatus mounted on flying objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
公开了一种控制具有第一视角的可移动物体的方法。所述方法可以包括:接收从第二视角发出的输入信号;并且将输入信号从第二视角转换到第一视角。所述方法还可以包括基于转换后的信号使可移动物体移动。
Description
版权声明
本专利文件的公开的一部分包含受到版权保护的材料。版权所有人不反对任何人对专利文档或专利公开(如其出现在专利和商标局中的专利文件或记录中)进行复制再现,但是在其它情况下版权所有人保留所有版权。
技术领域
本公开总体涉及装置移动控制,并且更具体地涉及用于飞行装置的移动控制的方法和系统。
背景技术
无人机(“UAV”)(有时称为“无人驾驶飞机”)包括可以由用户远程操作和/或被编程用于自动飞行的各种大小和配置的无人驾驶飞机。UAV可以用于多种目的,并且经常用于各种个人、商业和战术应用。在许多应用中,UAV也可以配备有辅助装置以执行各种任务。例如,配备有成像器材(例如,相机、摄像机等)的无人机可以捕捉难以、不切实际的或者根本不可能捕捉的图像或视频片段。配备有成像装置的UAV在监视、国防和专业录像等行业中特别有用,并且也受爱好者欢迎以资娱乐。
图像质量会受到UAV飞行控制的多个方面的影响,并且难以在同时操作附接到UAV的成像器材时控制UAV的移动。例如,难以在高效地操作附接到UAV的成像器材的同时,还要精确地控制会影响图像质量的UAV距对象或目标的距离、UAV的多轴空间取向、以及UAV的飞行稳定性。当目标在运动中或者在用户的空间参考系不同于UAV控制系统的空间参考系期间进行复杂飞行操纵时,同时控制UAV和附接的成像器材会更具挑战性。
发明内容
在一个方面中,本公开涉及一种控制具有第一视角的可移动物体的方法。所述方法可以包括:从第二视角接收输入信号;将输入信号从第二视角转换到第一视角;基于转换后的信号引起可移动物体的移动。
在另一方面中,本公开涉及一种用于控制具有第一视角的可移动物体的系统。所述系统可以包括具有一个或多个处理器的控制器。控制器可以被配置为:从第二视角接收输入信号;将输入信号从第二视角转换到第一视角;以及基于转换后的信号引起可移动物体的移动。
在又一方面中,本公开涉及具有第一视角的无人机(UAV)系统。所述UAV系统可以包括一个或多个推进装置和与所述一个或多个推进装置通信的控制器。控制器可以被配置为控制UAV跟踪目标对象,所述控制器包括:一个或多个处理器,被配置为接收从第二视角发出的输入信号;将输入信号从第二视角转换到第一视角;并且产生一个或多个信号以控制一个或多个推进装置,并且基于转换后的信号引起UAV的移动。
在又一方面中,本公开涉及一种存储指令的非暂时性计算机可读介质,所述指令在被执行时使得计算机执行控制具有第一视角的可移动物体的方法,其中,所述方法可以包括:从第二视角接收输入信号;将输入信号从第二视角转换到第一视角;基于转换后的信号引起可移动物体的移动。
在又一方面中,本公开涉及一种用于控制具有第一坐标系的可移动物体的方法。所述方法可以包括:确定第一坐标系和第二坐标系之间的偏移量;接收指示可移动物体在第二坐标系下的期望移动的用户输入;以及,基于用户输入以及第一坐标系和第二坐标系之间的偏移量产生第一坐标系下的控制信号,其中,控制信号被配置为:使得所述可移动物体根据所述控制信号来在第一坐标系下移动,并且在第一坐标系下的移动与在第二坐标系下的期望移动相对应。
在又一方面中,本公开涉及一种用于控制具有第一坐标系的可移动物体的系统。所述系统可以包括控制器,所述控制器具有一个或多个处理器并且被配置为:确定第一坐标系和第二坐标系之间的偏移量;接收指示可移动物体在第二坐标系下的期望移动的用户输入;基于用户输入以及第一坐标系和第二坐标系之间的偏移量产生第一坐标系下的控制信号,其中,控制信号被配置为:使得可移动物体根据所述控制信号来在第一坐标系下移动,并且在第一坐标系下的移动与在第二坐标系下的期望移动相对应。
在又一方面中,本公开涉及具有第一视角的无人机(UAV)系统。所述UAV系统可以包括一个或多个推进装置和与所述一个或多个推进装置通信的控制器。控制器可以被配置为控制UAV跟踪目标对象,控制器包括一个或多个处理器,所述处理器被配置为:确定第一坐标系和第二坐标系之间的偏移量;接收指示可移动物体在第二坐标系下的期望移动的用户输入;以及,基于用户输入和第一坐标系和第二坐标系之间的差异产生在第一坐标系下的控制信号,其中,控制信号被配置为控制一个或多个推进装置,并且使可移动物体在第一坐标系下进行与在第二坐标系下的期望移动相对应的移动。
在又一方面中,本公开涉及一种存储指令的非暂时性计算机可读介质,所述指令在被执行时使计算机执行用于控制具有第一坐标系的可移动物体的方法,其中,所述方法包括:确定第一坐标系和第二坐标系之间的偏移量;接收指示可移动物体在第二坐标系下的期望移动的用户输入;以及,基于用户输入以及第一坐标系和第二坐标系之间的偏移量产生第一坐标系下的控制信号,其中,控制信号被配置为:使得可移动物体根据所述控制信号来在第一坐标系下移动,并且在第一坐标系下的移动与在第二坐标系下的期望移动相对应。
在又一方面中,本公开涉及一种用于控制可移动物体的方法。所述方法可以包括:接收指示在跟踪目标时调整目标的感知的命令的用户输入;基于用户输入来确定目标的后续感知;以及,基于所述目标的后续感知来产生用于移动所述可移动物体的一个或多个控制信号。
在又一方面中,本公开涉及一种用于控制可移动物体的系统。所述系统可以包括具有一个或多个处理器的控制器,所述处理器被配置为:接收指示在跟踪目标时调整目标的感知的命令的用户输入;基于用户输入来确定目标的后续感知;以及,基于目标的后续感知来产生用于移动可移动物体的一个或多个控制信号。
在又一方面中,本公开涉及具有第一视角的无人机(UAV)系统。UAV系统可以包括一个或多个推进装置以及与所述一个或多个推进装置通信并且被配置为控制UAV跟踪目标对象的控制器,所述控制器包括一个或多个处理器,所述处理器被配置为:接收指示在跟踪目标时调整目标的感知的命令的用户输入;基于用户输入来确定目标的后续感知;以及,基于目标的后续感知来产生用于移动可移动物体的一个或多个信号。
在又一个方面中,本公开涉及一种存储指令的非暂时性计算机可读介质,所述指令在被执行时使得计算机执行用于控制可移动物体的方法,其中,所述方法包括:接收指示在跟踪目标时调整目标的感知的命令的用户输入;基于用户输入来确定目标的后续感知;以及,基于目标的后续感知来产生用于移动可移动物体的一个或多个控制信号。
附图说明
图1示出了根据本公开的具有载体和搭载物的可移动物体以及控制终端;
图2A和图2B示出了可以与根据本公开的实施例一起使用的控制终端;
图3示出了可以与本公开的实施例一起使用的控制器;
图4A至图4B示出了可以与根据本公开的实施例一起使用的坐标系;
图5A至图5C示出了根据本公开实施例的具有搭载物的可移动物体;
图6A至图6C示出了根据本公开实施例的具有载体和搭载物的可移动物体;
图7示出了根据本公开的可移动物体的操作;
图8示出了可以与本公开的实施例一起使用的坐标系;
图9A和图9B示出了根据本公开实施例的可移动物体、控制终端和坐标系;
图10示出了根据本公开的用于控制可移动物体的系统;
图11示出了根据本公开的用于控制可移动物体的系统;
图12示出了根据本公开的用于控制可移动物体的系统;
图13示出了根据本公开的用于在跟踪目标的同时控制可移动物体的系统;
图14A和图14B示出了根据本公开的用于在跟踪目标的同时控制可移动物体的系统;
图15A和图15B示出了根据本公开的用于在跟踪目标的同时控制可移动物体的系统;以及
图16至图22示出了根据本公开的用于在跟踪目标的同时控制可移动物体的系统。
具体实施方式
以下详细描述参考附图。在有可能的情况下,附图和以下描述中使用相同的附图标记指代相同或相似的部件。尽管本文描述了若干说明性实施例,但是也可以有改型、适用型和其它实现方式。例如,可以对附图中所示的组件做出替换、添加或修改,并且可以通过对所公开的方法执行替换、重新排序、移除或添加步骤来修改本文所描述的说明性方法。因此,以下详细描述不限于所公开的实施例和示例。相反,适当的范围由所附权利要求限定。
在许多行业中和在许多情况下,无人机(UAV)被认为是用于减轻直接执行某些任务的责任人员的有用工具。例如,无人机已经被用于配送货物、执行监视、和在专业和娱乐场所收集各种类型的成像和传感数据(例如,照片、视频、超声波、红外线等),提供了极大的灵活性并增强了人的能力。
尽管UAV也许是“无人驾驶的”(即,在没有机载人员的情况下被操作),但是UAV通常是由可以负责控制飞行的多个方面和/或其它相关联的任务(例如,控制货物、操作成像器材等)的非机载人员完全或部分操作的。在许多情况下,相关联的任务(比如,操作安装在UAV上的成像器材)必须与飞行控制同时执行,这会是具有挑战性的。
例如,在专业摄影、电影拍摄和录像制作中,UAV可以用于从固定的和/或移动的视角捕捉对于人员来说可能过于具有挑战性、不切实际或不可能捕捉到的片段。但是在这种情况下,UAV的便利性并不能消除需要UAV操作人员小心谨慎地控制成像器材才能获得高质量的结果的要求。此外,使用UAV上的成像器材需要熟练地控制UAV飞行参数,因为不一致或不稳定的飞行(比如,当使得飞行参数(例如,横滚、俯仰、偏航、高度、油门、相对于目标的相对位置或速度等)波动或变化相当大或者以别的方式不良受控时)会降低图像质量。
与许多类型的UAV一样,操控者可以经由输入装置(例如,遥控器)分别控制多个飞行参数。在复杂飞行操纵期间和/或在收集成像数据时,即使是高度熟练的UAV操控者也难以保持对每个飞行参数的足够的控制水平,同时试图获得高质量图像结果。在要求高度控制每个飞行参数的这些和其它情况下,UAV操控者可能希望降低整体飞行控制的复杂性。本文公开了用于控制可移动物体(比如,UAV)的方法、系统和装置的示例性实施例,其可以允许操控者相对容易且更高精度地控制可移动物体。具体地,本文描述的实施例允许用户从用户的视角来操作UAV,而不是从UAV的视角来看飞行参数。例如,与控制UAV的俯仰角相反,用户可以简单地操作遥控器来发送用于使UAV升高的命令,并且根据本公开的方法和系统将这种直觉命令变换成可以直接用于调整UAV的飞行行为的飞行控制信号或飞行参数。
图1示出了可以被配置为在环境内移动或行进的示例性可移动物体10。可移动物体10可以是被配置为在合适的介质(例如,表面、空气、水、轨道、空间、地下等)上或内部行进的任何合适的物体、装置、机构、系统或机器。例如,可移动物体10可以是无人机(UAV)。尽管为了本说明书的示例性目的,本文中将可移动物体10示出和描述为UAV,但是应该理解,其它类型的可移动物体(例如,用轮子行走的物体、海上物体、机车物体、其它空中物体等)也可以或备选地用于根据本公开的实施例中。如本文所使用的,术语UAV可以指代被配置为自动地(例如,经由电子控制系统)和/或由非机载人员手动地操作和/或控制的飞行装置。
可移动物体10可以包括一个或多个推进装置12,并且可以被配置为承载搭载物14。在一些实施例中,如图1所示,搭载物14可以通过载体16连接或附接到可移动物体10,载体16可以允许搭载物14与可移动物体10之间的一个或多个度的相对移动。在其它实施例中,搭载物14可以在没有载体16的情况下直接安装到可移动物体10。可移动物体10还可以包括感测系统18、通信系统20和与其它组件通信的控制器22。
可移动物体10可以包括一个或多个(例如,1、2、3、3、4、5、10、15、20等)推进装置12,推进装置12位于推进和引导可移动物体10的不同位置(例如,可移动物体10的顶部、侧部、前部、后部、和/或底部)处。推进装置12可以是可操作以产生用于维持受控飞行的力的装置或系统。推进装置12可以共享或可以分别包括或可操作地连接到动力源,比如,电机(例如,电动机、液压电机、气动电机等)、引擎(例如,内燃机、涡轮引擎等)、电池组等、或其组合。每个推进装置12还可以包括可驱动地连接到动力源、并且被配置为参与产生用于维持受控飞行的力的一个或多个旋转组件24。例如,旋转组件24可以包括在如下项上被驱动或者由如下项驱动的旋翼、螺旋桨、桨叶、喷嘴等:轴、轮轴、轮子、液压系统、气动系统、或被配置成传输来自动力源的动力的其它组件或系统。推进装置12和/或旋转组件24可以是相对于彼此和/或相对于可移动物体10可调整的(例如,可倾斜的)。备选地,推进装置12和旋转组件24可以具有相对于彼此和/或可移动装置10的固定的取向。在一些实施例中,每个推进装置12可以是相同的类型。在其它实施例中,推进装置12可以是多种不同类型的。在一些实施例中,可以配合地(例如,全部以相同的速度和/或角度)控制所有推进装置12。在其它实施例中,一个或多个推进装置可以关于例如速度和/或角度被独立地控制。
推进装置12可以被配置为沿一个或多个垂直方向和水平方向推进可移动物体10,并且允许可移动物体10围绕一个或多个轴线旋转。也就是说,推进装置12可以被配置为提供升力和/或推力,以产生和保持可移动物体10的平移和旋转移动。例如,推进装置12可以被配置为使得可移动物体10能够实现并保持期望的高度,提供用于沿所有方向移动的推力,并且提供对可移动物体10的引导。在一些实施例中,推进装置12可以使得可移动物体10能够执行垂直起飞和着陆(即,没有水平推力的起飞和着陆)。在其它实施例中,可移动物体10可以需要恒定的最小水平推力来实现和维持飞行。推进装置12可以被配置为使得可移动物体10能够沿着和/或围绕多个轴线移动,如下面结合图2、图3A至图3C和图4A至图4B所述。
搭载物14可以包括一个或多个传感装置19。传感装置19可以包括用于收集或产生数据或信息(比如,勘测、跟踪和捕捉目标(例如,物体、风景、照片或视频拍摄对象等)的图像或视频))的装置。传感装置19可以包括被配置为收集可以用于产生图像的数据的成像装置。例如,成像装置可以包括摄像相机、摄像机、红外成像装置、紫外成像装置、X射线装置、超声成像装置、雷达装置等。传感装置19还可以或备选地包括用于捕捉音频数据的装置,比如麦克风或超声检测器。传感装置19还可以或者备选地包括用于捕捉视觉、音频和/或电磁信号的其它合适的传感器。
载体16可以包括被配置为容纳搭载物14和/或允许搭载物14相对于可移动对象10进行调整(例如,旋转)的一个或多个装置。例如,载体16可以是云台(gimbal)。载体16可以被配置为允许搭载物14围绕一个或多个轴线旋转,如下所述。在一些实施例中,载体16可以被配置为允许围绕每个轴线旋转360°以允许更好地控制搭载物14的视角。在其它实施例中,载体16可以将搭载物14围绕其一个或多个轴线的旋转范围限制为小于360°(例如,≤270°、≤210°、≤180°、≤120°、≤90°、≤45°、≤30°、≤15°等)。
载体16可以包括框架组件26、一个或多个致动器构件28、以及一个或多个载体传感器30。框架组件26可以被配置为将搭载物14耦接到可移动物体10,并且在一些实施例中,允许搭载物14相对于可移动物体10移动。在一些实施例中,框架组件26可以包括相对于彼此可移动的一个或多个子框架或部件。致动器构件28可以被配置为相对于彼此来驱动框架组件的部件,以提供搭载物14相对于可移动物体10的平移和/或旋转运动。在其它实施例中,致动器构件28可以被配置为直接作用于搭载物14,以引起搭载物14相对于框架组件26和可移动物体10的运动。致动器构件28可以是或包括合适的致动器和/或力传动部件。致动器构件28可以包括电动机,该电动机被配置为与轮轴、轴、轨道、皮带、链条、齿轮和/或其它部件一起向框架组件26的部件和/或搭载物14提供线性或旋转运动。
载体传感器30可以包括被配置为测量、感测、检测或确定载体16和/或搭载物14的状态信息的装置。状态信息可以包括位置信息(例如,相对位置、取向、姿态、线性位移、角位移等)、速度信息(例如,线速度、角速度等)、加速度信息(例如,线性加速度、角加速度)、和/或与载体16或搭载物14相对于可移动物体10的移动控制相关的其它信息。载体传感器30可以包括一种或多种类型的合适的传感器,比如,电位器、光学传感器、视觉传感器、磁性传感器、运动或旋转传感器(例如,陀螺仪、加速度计、惯性传感器等)。载体传感器30可以与载体16的各种部件(例如,框架组件26的部件、致动器构件28)或可移动物体10相关联,或附接到载体16的各种部件或可移动物体10。载体传感器30可以被配置为经由有线或无线连接(例如,RFID、蓝牙、Wi-Fi、无线电、蜂窝等)与控制器22传送数据和信息。由载体传感器30产生并被传送到控制器22的数据和信息可以由控制器22使用以便进一步处理,例如用于确定可移动物体10和/或目标的状态信息。
载体16可以经由被配置为减少或消除从可移动物体10到搭载物14的不希望的震动或其它力传动的一个或多个阻尼元件耦接到可移动物体10。阻尼元件可以是主动的、被动的或混合的(即,具有主动和被动特性)。阻尼元件可以由任何合适的材料或包括固体、液体和气体的材料的组合形成。可压缩或可变形的材料(比如,橡胶、弹簧、凝胶、泡沫状物和/或其它材料)可以用作为阻尼元件。阻尼元件可以用于将搭载物14与可移动物体10隔离和/或耗散从可移动物体10到搭载物14的力传播。阻尼元件还可以包括被配置为提供阻尼效果的机构或装置,比如活塞、弹簧、液压装置、气动装置、缓冲器、减震器和/或其它装置或其组合。
感测系统18可以包括与可移动装置10的一个或多个部件或其它系统相关联的一个或多个传感器。例如,感测系统可以包括用于确定与可移动物体10和/或目标相关的位置信息、速度信息和加速度信息的传感器。在一些实施例中,感测系统还可以包括载体传感器30。感测系统18的部件可以被配置为产生可以用于(例如,由控制器22或另一装置处理)确定与可移动物体10、其组件或其目标有关的附加信息的数据和信息。感测系统18可以包括用于感测可移动物体10的移动的一个或多个方面的一个或多个传感器。例如,感测系统18可以包括与如上所述的搭载物14相关联的传感装置和/或附加传感装置,比如,用于定位系统(例如,GPS、格洛纳斯、伽利略、北斗、GAGAN等)的定位传感器、运动传感器、惯性传感器(例如,IMU传感器)、接近度传感器、图像传感器等。感测系统18还可以包括提供与周围环境相关的数据或信息的传感器,或者还可以被配置为提供与周围环境相关的数据或信息,比如,天气信息(例如,温度、压力、湿度等)、照明状况、空气成分或附近障碍物(例如,物体、建筑物、人员、其它车辆等)。
通信系统20可以被配置为实现控制器22和非机载实体之间的数据、信息、命令和/或其它类型的信号的通信。通信系统20可以包括被配置为发送和/或接收信号的一个或多个部件,比如,被配置为执行单向或双向通信的接收器、发射器或收发器。通信系统20的部件可以被配置为经由一个或多个通信网络(比如,无线电、蜂窝、蓝牙、Wi-Fi、RFID和/或可用于发送指示数据、信息、命令和/或其它信号的其它类型的通信网络)与非机载实体通信。例如,通信系统20可以被配置为实现装置之间的通信以提供用于在飞行期间控制可移动物体10的输入,比如控制终端(“终端”)32。
终端32可以被配置为接收输入,比如,来自用户的输入(即,用户输入),并且向控制器22传送指示该输入的信号。终端32可以被配置成接收输入并且产生指示用于一种或多种信息的对应信号,比如,用于移动或操纵可移动装置10(例如,经由推进装置12)、搭载物14、和/或载体16的控制数据(例如,信号)。终端32还可以被配置为从可移动物体10接收数据和信息,比如,与位置数据、速度数据、加速度数据、传感数据相关的操作数据和与可移动物体10、其组件和/或其周围环境相关的其它数据和信息。终端32可以是具有被配置为控制飞行参数的物理杆的遥控器、或者具有用于相同目的的虚拟控件的触摸屏装置(比如,智能电话或平板电脑)、或者智能电话或平板电脑上的应用、或其组合。
在图2A和2B所示的示例中,终端32可以包括促进终端32与其它实体(比如,可移动对象10)之间的信息通信的通信装置34。通信装置34可以包括被配置为发送或接收信号的天线或其它装置。终端32还可以包括被配置为从用户接收输入以与可移动物体10通信的一个或多个输入装置36。图2A示出了终端32的一个示例性实施例,所述终端32具有被配置为接收指示可移动物体10或其部件的期望移动的用户输入的多个输入装置36。然而,应该理解,终端的其它可能的实施例或布局可以是可能的,并且在本公开的范围内。
终端32可以包括输入装置,比如输入扳手38和40、按钮42、触发器44和/或用于从用户接收一个或多个输入的其它类型的输入装置。终端32的每个输入装置可以被配置为产生输入信号,该输入信号可以传送到控制器22并且可作为输入由控制器22使用以便处理。除了飞行控制输入之外,终端32还可以用于接收其它信息的用户输入,比如,可以例如经由按钮42和/或触发器44接收的手动控制设置、自动控制设置、控制辅助设置等。应该理解的是,终端32可以包括其它或附加的输入装置,比如,按钮、开关、拨盘、扳手、触发器、触摸板、触摸屏、软键、鼠标、键盘和/或其它类型的输入装置。
如图2B所示,终端32还可以包括被配置为向用户显示信息和/或从用户接收信息的显示装置46。例如,终端32可以被配置为从可移动物体10接收信号,该信号可以指示与可移动物体10的移动相关的信息或数据和/或使用可移动物体10(例如,结合搭载物14)捕捉到的数据(例如,成像数据)。在一些实施例中,显示装置46可以是被配置为在多功能屏幕48上显示信息以及经由多功能屏幕48接收用户输入的多功能显示装置。例如,在一个实施例中,显示装置46可以被配置为经由多功能屏幕48接收一个或多个用户输入。在另一实施例中,多功能屏幕48可以构成用于接收用户输入的单独的输入装置。
在一些实施例中,终端32可以是或包括用于接收一个或多个用户输入的交互式图形界面。也就是说,终端32可以是图形用户界面(GUI)和/或包括用于接收用户输入的输入装置36的一个或多个图形版本。终端32和/或输入装置36的图形版本可以可显示在显示装置(例如,显示装置46)或多功能屏幕(例如,多功能屏幕48)上,并且包括图形特征(比如,交互式图形特征(例如,图形按钮、文本框、下拉菜单、交互式图像等))。例如,在一个实施例中,终端32可以包括输入扳手38和40、按钮42和触发器44的图形表示,该图形表示可以显示在多功能屏幕48上并且被配置为经由多功能屏幕48接收用户输入。在一些实施例中,终端32可以被配置为经由图形输入装置(比如,输入装置36的图形版本)接收所有用户输入。终端32可以被配置为结合计算机应用(例如,“app”)产生输入装置36的图形版本,以在显示装置或用于接收用户输入的任何合适的电子装置(例如,蜂窝电话、平板电脑等)的多功能屏幕上提供交互式接口。
在一些实施例中,显示装置46可以是终端32的集成部件。也就是说,显示装置46可以附接或固定到终端32。在其它实施例中,显示装置可以是可连接到终端32的(以及是与终端32可断开的)。也就是说,终端32可以被配置为(例如,经由连接端口或无线通信链路)可电连接到显示装置46,和/或以其它方式经由安装装置50,比如,通过夹持件、夹扣、扣钩、卡勾、粘附件或其它类型的安装装置,连接到终端32。
在一些实施例中,终端32可以被配置为与可配置用于控制可移动物体10的移动和/或其它操作方面的电子装置通信。例如,显示装置46可以是电子装置(比如,蜂窝电话、平板电脑、个人数字助手、膝上型计算机、或其它装置)的显示部件。以这种方式,用户能够将其它电子装置的功能并入到控制可移动物体10的方面中,这可以允许使用更灵活和可适应控制方案。例如,终端32可以被配置为与具有存储器和至少一个处理器的电子装置通信,然后,所述电子装置的控制装置可以用于经由与电子装置相关联的输入装置(例如,多功能显示器、按钮、存储的app、基于web的应用等)来提供用户输入。终端32与电子装置之间的通信还可以被配置为允许接收软件更新包和/或其它信息,然后(例如,经由通信系统20)将其传送到控制器22。
应注意,如果需要的话,可以使用将经由终端32接收的输入与可移动装置10的期望或实际移动相关联的其它控制约定。
如图3所示,控制器22可以包括一个或多个部件,例如存储器52和至少一个处理器54。存储器52可以是或包括非暂时性计算机可读介质,并且可以包括非暂时性计算机可读介质的一个或多个存储单元。存储器52的非暂时性计算机可读介质可以是或包括任何类型的盘,包括:软盘、光盘、DVD、CD-ROM、微型驱动器和磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪存装置、磁卡或光卡、纳米系统(包括分子存储器IC)或者适用于存储指令和/或数据的任何类型的介质或装置。存储单元可以包括非暂时性计算机可读介质(例如,可移动介质或外部存储装置,比如SD卡、RAM等)的永久和/或可移除部分。
来自感测系统18的信息和数据可以被传送并存储在存储器52的非暂时性计算机可读介质中。与存储器52相关联的非暂时性计算机可读介质还可以被配置为存储处理器54可执行的、用以执行本文描述的方法的任何合适的实施例的逻辑、代码和/或程序指令。例如,与存储器52相关联的非暂时性计算机可读介质可以被配置为存储在由处理器54执行时使该处理器执行包括一个或多个步骤的方法的计算机可读指令。处理器基于非暂时性计算机可读介质中存储的指令而执行的方法可以涉及处理各种输入,比如,存储器52的非暂时性计算机可读介质中存储的数据或信息的输入、从终端32接收到的输入、从感测系统18接收的(例如,直接从感测系统接收的或从存储器中获取的)输入、和/或经由通信系统20接收的其它输入。非暂时性计算机可读介质可以被配置为存储来自感测模块的待由处理单元处理的感测数据。在一些实施例中,非暂时计算机可读介质可以用于存储由处理单元产生的处理结果。
处理器54可以包括一个或多个处理器,并且可以体现为可编程处理器(例如,中央处理单元(CPU))。处理器54可以可操作地连接到存储器52或被配置成存储处理器54可执行的、用于执行一个或多个方法步骤的程序或指令的另一存储装置。注意,本文所述的方法步骤可以存储在存储器52中,并且被配置为由处理器54执行,以使得所述方法步骤将由处理器54执行。
在一些实施例中,处理器54可以包括和/或备选地可操作地耦接到一个或多个控制模块,比如以下将更详细地描述的转换模块56和跟踪控制模块58。转换模块56可以被配置为控制将信息(比如,输入、命令、和其它信号)从一个视角(例如,用户的视角、可移动物体10的视角等)转换到另一视角(例如,用户、可移动物体的另一视角,或另外的视角)的方法。跟踪控制模块58可以被配置为帮助控制可移动物体10的推进装置12相对于六个自由度(例如,沿其坐标轴的三个平移方向和围绕其坐标轴的三个旋转方向)来调整可移动物体10的空间布局、速度和/或加速度。转换模块56和跟踪控制模型58可以以在处理器54上执行的软件来实现(如图6所示),或者可以以与处理器54分离的硬件或软件组件(图中未示出)来实现。
处理器54可以可操作地连接到通信系统20,并且被配置为从一个或多个外部装置(例如,终端32、显示装置46、或其它遥控器)接收数据和/或向所述从一个或多个外部装置发送数据。任何合适的通信装置可以用于例如经由有线通信或无线通信向控制器22传输数据和信息或者从控制器22接收数据和信息。例如,通信系统20可以利用局域网(LAN)、广域网(WAN)、红外、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等中的一个或多个。可选地,可以使用中继站,例如塔、卫星或移动站。无线通信可以是接近度相关的或接近度不相关的。在一些实施例中,通信可能需要或可能不需要视距。通信系统20可以发送和/或接收以下一个或多个:来自感测模块18的感测数据、由处理器54产生的处理结果、预定控制数据、来自终端32或遥控器的用户命令等。
控制器22的部件可以以任何合适的配置来布置。例如,控制器22的一个或多个部件可以位于可移动物体10、载体16、搭载物14、终端32、感测系统18或与上述一个或多个进行通信的附加的外部装置上。在一些实施例中,一个或多个处理器或存储装置可以位于不同的位置处(比如,在可移动物体10、载体16、搭载物14、终端32、感测模块18、与上述一个或多个通信的附加外部装置或其合适组合上),使得由该系统执行的处理和/或存储功能的任何合适方面可以发生在上述位置的一个或多个位置处。
可以在限定的坐标系中理解和控制可移动物体10的飞行行为。例如,图4A示出了关于可移动物体10定义的局部坐标系,用于从可移动物体10的视角描述移动。局部坐标系可以包括三个轴,比如X轴(例如,第一横轴)、Y轴(例如,第二横轴)和Z轴(例如,纵轴)。可移动物体10的移动可以包括横滚、俯仰、偏航、水平平移(例如,向左、向右、向前、向后等)、垂直平移(例如,高度或海拔)、水平速度、垂直速度、旋转速度(例如,角、径向、切向、轴向等)、和加速度(例如,水平、垂直、旋转等)。局部坐标系的每个轴可以与在飞行期间可以改变或调整的一个或多个特定位置或移动参数相关联,以便于高效控制可移动物体10。
例如,在图4A的示例性局部坐标系中,X轴、Y轴和Z轴中的每一个都可以与沿各自轴的方向的平移移动和线性位移相关联以及与围绕各自轴的旋转移动和角位移相关联。在图4A的示例中,X轴也可以被称为俯仰轴,可移动物体10可以围绕该轴经历俯仰旋转移动(例如,倾向于将可移动物体10的前部或后部中的一部向上倾斜而另一部向下倾斜的移动),并且可移动物体10可以沿着该轴经历从一侧到另一侧(例如,向左或向右)的平移移动。Y轴可以被称为横滚轴,可移动物体10可以围绕该轴经历横滚旋转移动(即,倾向于将可移动物体10的左侧或右侧中的一侧向上倾斜而使另一侧向下倾斜的移动),并且可移动物体10可以沿着该轴经历前后平移移动。Z轴可以被称为偏航轴,可移动物体10可以围绕该轴经历偏航旋转移动(即,在由X轴和Y轴限定的平面上的旋转移动、或与该平面平行的旋转移动),并且可移动物体10可以沿着该轴经历上下(即,垂直或纵向)平移运动。本领域的普通技术人员将理解,可以使用更多或更少的轴或不同的轴约定。还应注意的是,定向和平面描述(例如,从一侧到另一侧、前后、上下、水平、垂直等)仅用于示例和说明的目的,而不是限制性的。
常规地,对可移动物体10的飞行的控制需要在可移动物体10的局部坐标系中控制飞行参数,比如,沿着某个轴的速度、俯仰量和方向、偏航量和方向等。终端32可以包括用于使用户相对于局部坐标系来控制飞行参数的控制机构。
例如,参考图2A和图2B,终端32上的第一输入扳手38可以被配置为接收指示控制可移动物体10的移动的一个或多个方面的一个或多个用户输入。控制可移动物体10的移动的方面可以包括飞行控制方面和搭载物控制方面。飞行控制方面可以包括对可移动物体可实现的飞行的一个或多个方面的控制。例如,飞行控制方面可以包括可移动装置10的期望的平移移动、期望的旋转移动、期望的速度、以及期望的加速度。期望的平移移动可以包括相对于用户的视角、可移动物体10的视角、参考视角或不同视角的期望的垂直或水平移动。期望的旋转移动可以包括可移动物体10围绕与视角(例如,用户的视角、可移动物体10的视角、参考视角等)相关联的坐标系的一个或多个轴或者相对于另一物体(比如,目标)的期望的旋转移动。也就是说,除了围绕与视角相关联的坐标系的轴旋转之外,期望的旋转移动可以指代围绕与静止或移动的物体或目标相关联的参考点的移动。
在一个实施例中,第一输入扳手38可以被配置为接收与可移动物体10的一个或多个期望的平移或旋转移动相对应的一个或多个输入。例如,第一输入扳手38可以是被配置为在多个方向移位的多轴控制装置(比如,操纵杆),每个方向与指示期望移动的命令的类型和符号(例如,正的、负的、向前的、向后的等)相对应。第一输入扳手38距离中间位置的位移量可以指示对应的期望移动的程度或大小。例如,在一个实施例中,从用户的视角来看,第一输入扳手38可以是沿向前方向、向后方向、向左方向和向右方向可移动的(例如,可倾斜的)。沿向前和向后方向的位移可以与沿着坐标系的第一轴的期望移动相对应,以感知、描述或限定可移动装置10的移动。例如,沿向前方向的位移可以指示沿向前方向的期望的线性移动,而沿向后方向的位移可以指示沿向后(即,相反)方向的期望的线性移动。第一输入扳手38沿向前方向的位移也可以或备选地与可移动装置10围绕其俯仰轴的期望的旋转移动相对应。例如,沿向前方向的位移可以指示围绕可移动物体10的俯仰轴的沿第一旋转方向的期望的旋转移动,而沿向后方向的位移可以指示围绕可移动物体10的俯仰轴的沿第二(即,相反)旋转方向的期望的旋转移动。第一输入扳手38沿向前或向后方向的位移量或位移程度可以指示沿第一轴的期望的线性速度或加速度和/或围绕第一轴的期望的旋转速度或加速度。本领域的普通技术人员将理解,可以使用其他控制约定,并且控制功能可以划分在更多或不同数量的输入装置中。
第一输入扳手38沿左右(即,从一侧到另一侧)方向的位移可以与沿着坐标系的第二轴的期望移动相对应,以感知、描述或限定可移动装置10的移动。例如,沿向右(即,第一侧)方向的位移可以指示沿向右(即,第一侧)方向的期望的线性移动,而沿向左方向的位移可以指示沿向左(即,相反或第二侧)方向的期望的线性移动。第一输入扳手38沿向右和向左方向的位移也可以或备选地与可移动装置10围绕其横滚轴的期望的旋转移动相对应。例如,沿向右方向的位移可以指示沿第一旋转方向的期望的旋转移动,而沿向左方向的位移可以指示沿第二(即,相反)旋转方向的期望的旋转移动,两者都是围绕可移动物体10的横滚轴旋转。第一输入扳手38沿向右或向左方向的位移量或位移程度可以指示沿第二轴的期望的线性速度或加速度和/或围绕第二轴的期望的旋转速度或加速度。
终端32上的第二输入扳手40可以被配置为接收指示控制可移动物体10的移动的一个或多个方面的一个或多个用户输入。在一个实施例中,第二输入扳手40可以被配置为接收与可移动物体10的一个或多个期望的平移或旋转移动相对应的一个或多个输入。例如,第二输入扳手40可以是被配置为沿多个方向移位的多轴控制装置(比如,操纵杆),每个方向与指示期望移动的命令的类型和符号(例如,正的、负的、向前的、向后的等)相对应。第二输入扳手40距离中间位置的位移量可以指示对应的期望移动的程度或大小。例如,在一个实施例中,从用户的视角来看,第二输入扳手40可以是沿向前方向、向后方向、向左方向和向右方向可移动的(例如,可倾斜的)。沿向前和向后方向的位移可以与沿着坐标系的第三轴的期望移动相对应,以感知、描述或限定可移动设备10的移动。例如,沿向前方向的位移可以指示沿向上方向的期望的线性移动,而沿向后方向的位移可以指示沿向下(即,相反)方向的期望的线性移动。第二输入扳手40沿向前或向后方向的位移也可以或备选地与推进装置12的期望动力输出水平相对应。例如,第二输入扳手40沿向前或向后方向的位移可以分别与期望的油门增大或减小相对应。也就是说,沿向前方向的位移可以指示期望的油门增加和期望的对应高度或海拔高度增加,而沿向后方向的位移可以指示期望的油门减小和对应的高度或海拔高度减小。第二输入扳手40沿向前或向后方向的位移量或位移程度可以指示沿着第三轴的期望线速度或加速度。
第二输入扳手40沿向左和向右(即,从一侧到另一侧)方向的位移可以与围绕坐标系的第三轴的期望的旋转移动相对应,以感知、描述或限定可移动装置10的移动。例如,第二输入扳手40沿向右方向的位移可以指示围绕第三轴的沿第一旋转方向的期望的旋转移动,而沿向左方向的位移可以指示沿第二(即,相反)旋转方向的期望旋转移动,两者都是围绕可移动物体10的偏航轴旋转。第二输入扳手40沿向右或向左方向的位移量或位移程度可以指示围绕第三轴的期望的旋转速度或加速度。
如上所述,用户需要经验和技能来控制可移动物体10的移动的各个方面,特别是在复杂的飞行操纵期间和/或当用户必须控制附接器材(比如,相机)的操作时,这不仅因为对诸如俯仰、偏航、横滚这样的飞行参数的考虑可能是违反直觉的,而且还因为用户和可移动物体10的视角通常彼此独立并且彼此不同。例如,当用户沿与可移动物体10的局部坐标系的X轴不对齐的方向观看可移动物体10时,用户经常必须尽力在心理上适应可移动物体10的视角、或者物理移动或旋转他/她的身体和头部以与可移动物体10的视角对齐,从而实现有效控制。
根据本公开的实施例,可以从用户的视角来提供、接收和解释用户控制,并且后续将用户控制变换成从可移动物体10的视角(例如,图4A所示的其局部坐标系)看的飞行控制信号。这样,用户可以以他/她自己的视角发出命令(通常是直觉的命令,例如左转、右转、向上、靠近目标、移动得更快等等),然后可以将所发出的命令转换成可移动物体10可理解的命令(例如,俯仰、偏航、横滚、油门等)。终端32可以被配置为接收与这样的命令相对应的用户输入。终端32可以将用户视角的用户输入变换或转换成可移动物体10的视角的信号,并将该信号发送到可移动物体10。备选地,终端32可以向可移动物体10发送用户视角的用户输入,然后可移动物体10在将该用户输入应用于飞行参数之前,将该用户输入变换或转换成可移动物体10视角的信号。
在一些实施例中,终端32和控制器22可以被配置为在第一模式和第二模式之间切换,在第一模式下,经由终端32接收的用户输入直接与可移动物体10视角的可移动物体10的移动相对应,如以上结合图2A-B和4A所述;在第二模式下,经由终端32接收到的用户输入与用户视角的可移动物体10的移动相对应。例如,终端32可以包括按钮、开关、旋钮、触摸屏图标、或一些其它类型的输入或输入装置,这些装置被配置为接收指示用于进入第一模式或第二模式的用户选择的用户输入。也可以预定义扳手操作的模式,以实现模式之间的切换或模式的选择。备选地,控制器22可以假定默认模式,比如,在通电时或在接收到指示飞行命令的初始用户输入时所采用的第一模式或第二模式中的任一模式。当在第一模式下时,控制器22可以被配置为接收指示用户视角的飞行参数(例如,横滚、俯仰、偏航、油门等)的用户输入,并且产生针对可移动物体10的、指示可移动物体10的视角的对应飞行参数的命令而无需转换。也就是说,在第一模式下,用户输入可以指示在可移动物体10的视角的对可移动物体10的飞行参数的调整。当在第二模式下时,控制器22可以被配置为:接收指示用户视角的、用于引起可移动物体10的期望移动的飞行参数(例如,横滚、俯仰、偏航、油门等)的用户输入,并且产生针对可移动物体10的、指示可移动物体10视角的飞行参数的转换后的命令,该命令引起与从用户视角看的可移动物体10的期望移动相对应的可移动物体10的移动。也就是说,在第二模式下,用户输入可以指示在用户视角的对可移动物体10的飞行参数的调整。
如本文所使用的,术语“视角”可以指代这样的约定:针对该约定可以确定、观察、测量或量化、控制或命令可移动物体10和其他对象的位置和移动。例如,可移动物体10的视角可以是或包括图4A所示的示例性局部坐标系。局部坐标系可以允许从可移动物体10的视角(即,相对于局部坐标系)来感知或限定可移动物体10的移动和移动命令。例如,局部坐标系可以根据可移动物体10上的固定点(例如,可移动物体10的中心点)以及限定的方向(例如,指向旋转组件24之间的中点的X轴和Y轴以及垂直于X轴和Y轴的Z轴)来限定或建立,从而允许相对于该固定点和该局部坐标系来感知、理解、表征或限定可移动物体10的移动和用于可移动物体10的移动的命令。以这种方式,可以独立于其它坐标系(例如,全局坐标系、通用坐标系、定位系统坐标系等参考坐标系)来限定和理解可移动物体10的移动和用于可移动物体10的移动的命令,因为用于相对于其它视角或坐标系来直接检测可移动物体10的移动的手段并不是在所有情况下都可用的。
也可以相对于局部坐标系从可移动物体10的视角来描述其他对象或特征的移动和位置。例如,可以相对于局部坐标系从可移动物体10的视角来描述其他对象(比如,人员、景观特征、载运工具、建筑物等)的相对位置(例如,距离、取向等)和相对移动(例如,速度、加速度、旋转等)。以这种方式,局部坐标系可以用于产生控制信号,用于命令可移动物体10实现可移动物体10相对于其他对象的相对位置、速度和/或加速度的期望改变。
可以从任何合适的源(例如,用户)接收用于移动可移动物体10的命令,所述合适的源对于可移动物体10相对于其自身或其它对象的位置和移动可以具有其自身的视角。备选地,可以接收从与用户或另一命令源相关联的参考视角发出的用于移动可移动物体10的命令。
例如,参考图4B,与可移动物体10的移动控制相关的其它视角可以包括操控者或用户的视角、搭载物14的视角、和/或其它视角。例如,如图4B所示,用户的视角可以是或包括用户坐标系。用户坐标系可以是3轴坐标系(例如,X’轴、Y’轴、Z’轴)并且与局部坐标系相似,但是用户坐标系是从用户的角度来限定的,用户坐标系可以允许相对于用户的视角来感知、理解、表征或限定可移动物体10的位置和移动(以及用于改变所述位置和移动的命令)。以这种方式,可以独立于其它坐标系和视角来限定和理解可移动物体10的移动和用于可移动物体10的移动的命令。可以相对于用户(比如,操控者站(例如,控制终端、用于接收用户输入的输入装置、操控者座位、操控者使用的遥控器等))的方面或用户上的固定点来限定或建立用户的角度和视角以及用户坐标系。
其它视角可以包括与参考坐标系相关联的参考视角。参考视角可以与参与控制可移动物体10的移动的人员、器材或其他对象相关联。例如,参考视角可以是管理或控制设施的视角、用于执行控制处理的服务器或计算机的视角、或者在移动控制处理中使用的传感装置(比如,定位系统或定位装置(例如,GPS装置))的视角。应该理解的是,其它参考视角也是可能的,并且不限于上述视角。
还如图4B所示,其它视角可以包括搭载物14、载体16或附接到载体16上的传感器装置19的视角,为了本公开的简单和方便,可以将这样的视角称为搭载物视角。搭载物视角可以与搭载物坐标系相关联。搭载物坐标系可以具有3个轴(例如,Xvis、Yvis、和Zvis)并且与局部坐标系类似,但是搭载物坐标系是从搭载物14、载体16或附接到载体16的传感装置19的角度来限定的,搭载物坐标系可以允许相对于搭载物视角来感知、理解、表征或限定可移动物体10的位置和移动(和用于改变位置和移动的命令)。
搭载物视角可以随着搭载物14或其组件(例如,载体16或传感装置19)相对于可移动物体10移动而与可移动物体10的视角不同(即,搭载物视角与可移动物体10的视角偏移)。参考图5A至图5C,当搭载物14直接固定到可移动物体10(即,没有载体16或具有沿固定取向的载体16)时,搭载物14的视角(例如,用三个轴Xvis、Yvis、和Zvis限定的搭载物视角坐标系下的视角)可以与可移动物体10的视角相同。备选地,搭载物14可以直接安装到可移动物体10,使得搭载物14的视角和可移动物体10的视角之间可以存在已知的或可确定的(例如,可测量的、可计算的等)固定偏移量,这可以允许可移动物体10的移动或用于可移动物体10的移动的命令与从搭载物14感知的移动之间的关系较简单。例如,如图5A所示,当可移动物体10在飞行期间倾斜时,搭载物14可以随着可移动物体10围绕第一轴旋转。类似地,如图5B所示,当可移动物体10在飞行期间旋转时,搭载物14可以随可移动物体10围绕第二轴旋转。并且如图5C所示,当可移动物体10在飞行期间倾斜时,搭载物14可以随着可移动物体10旋转。如本文所使用的,在第一视角(例如,具有第一坐标系)和第二视角(例如,具有第二坐标系)之间存在差异的情况下的偏移量可以指代第一视角的至少一个方面(例如,第一坐标系的至少第一轴)和第二视角的至少一个方面(例如,第二坐标系的至少第一轴)之间的角度差(即,角度或角位移)。
当搭载物14经由可调节载体16附接或连接到可移动物体10时,搭载物14的视角可以相对于可移动物体10的视角而变化。例如,参考图6A至图6C,载体16可以允许搭载物14围绕搭载物坐标系下的一个或多个轴(例如,Xvis、Yvis和/和Zvis轴)旋转。例如,如图6A所示,无论可移动物体10的取向如何,搭载物14都可以围绕第一轴(比如,Xvis)独立地旋转。类似地,如图6B所示,无论可移动物体10的取向如何,搭载物14都可以围绕第二轴(比如,Zvis)独立地旋转。并且如图6C所示,无论可移动物体10的取向如何,搭载物14都可以围绕第三轴(比如,Yvis)独立地旋转。在这种配置中,搭载物14围绕其一个或多个轴的移动和/或与可移动物体10围绕其轴的移动的组合可以允许用户以高精度调整搭载物14的视角。当可移动物体10被配置为承载光学器材(例如,照相机、摄像机、传感器等)以例如在专业摄影或视频拍摄过程中捕捉成像数据时,精确地控制搭载物14的视角的能力会是特别重要的。
参考图7,用户可以位于用户能够控制和观察可移动物体10的移动的第一位置处。可移动物体10可以在围绕目标转圈的同时跟踪和捕捉目标的视频或照片。大多数时候,可移动物体10的视角(即,可移动物体10的局部坐标系)与用户的视角(即,用户坐标系)是偏移的。用户输入的用以指示例如向前平移移动的命令引起在可移动物体10的视角的可移动物体10的向前平移移动,使得可移动物体10更靠近目标,但是这样的移动不一定呈现为用户视角的向前平移移动。换句话说,当在用户的视角和可移动物体10的视角之间存在偏移时,用户产生的、用于引起沿可移动物体10视角的某些方向移动的定向命令实际上恰恰与直观相反地呈现为引起沿与用户感知的方向不同的方向移动,而不是按照用户可能预期的那样移动。
图8和图9A至图9B帮助说明由坐标系之间的偏移引起的用户期望和感知之间的不一致性。图8示出了三个坐标系,每个坐标系都与其它坐标系之间存在偏移。当所有轴线对齐时,从一个坐标系获得的感知将与从另一个坐标系获得的感知相同,这可以允许在第一坐标系下产生的命令引起在其它坐标系下的可移动物体10的移动与从第一坐标系感知的移动是相同的。然而,当坐标系彼此偏移时,用于引起沿着第一坐标系的轴(例如,沿用户坐标系的正X方向)移动的命令可以产生沿着相对于另一坐标系的不同方向(例如,局部坐标系下的正X方向)的移动。在快节奏和/或复杂的飞行操纵期间,从用户的视角对移动的感知可能难以与从可移动物体的视角的最终移动相一致。
如图9A所示,当用户坐标系与可移动物体10的局部坐标系对齐时,可移动物体10的坐标系下的最终移动与用户坐标系下的期望移动相匹配。但是,当用户坐标系与可移动物体10的局部坐标系偏移时,用户的命令可以使得可移动物体10沿与用户视角所期望的方向不同的方向移动。期望的移动与所感知到的最终移动之间的差异随着用户视角与可移动物体10的视角之间的偏移程度而变化。
根据本公开的实施例,为了帮助用户实现可移动物体10在飞行期间的期望移动,特别是在用户的视角与可移动物体的视角偏移的情况下,控制器22可以被配置为将用户输入从用户视角转换成可移动物体10的视角。例如,参考图9B,来自终端32的信号80(例如,用于使可移动物体10沿着偏航轴移动或围绕偏航轴旋转的信号)假定是出自用户视角,即沿着用户坐标系下的Z’轴的信号。控制器22将信号80转换到可移动物体10的视角,并且产生分别沿局部坐标系的X轴、轴Y和Z轴的三个分量80-X、80-Y和80-Z。然后,这三个分量可以用于命令或引起沿着X轴、Y轴和Z轴的对应移动。
通过假定终端32上的用户输入是出自用户视角并且将该用户输入转换到可移动物体10的视角,根据本公开实施例的控制器22和系统允许用户忽略两个视角之间的任何偏移,并且简单地从他/她自己的视角指示可移动物体10的期望移动。例如,如果用户希望从他/她的视角使可移动物体10向上和向前移动(即,向上飞远),则用户可以简单地倾斜终端32上的俯仰杆。传统上,终端32上的这个用户输入将被可移动物体10接收,作为用于沿可移动物体10的视角的俯仰方向移动的命令。当移动实际上可以涵盖沿可移动物体10视角的偏航、横滚、以及俯仰方向中的一些或所有方向的移动时,通过控制器22的转换,可移动物体10将改为从用户的视角来看向上和向前移动,就好像可移动物体10现在已经呈现了用户的视角。
控制器22可以通过矩阵变换来执行两个视角之间的转换,所述矩阵变换是通过以下操作来实现的:例如,构建用户输入的矩阵表示(即,就用户坐标系而言);基于用户视角与可移动物体10视角之间的偏移量,将上述矩阵变换成用户输入的命令矩阵表示(即,就局部坐标系而言)。
用户视角与可移动物体的视角之间的差异或偏移量可以以多种方式来确定。在一个示例中,如图10所示,控制器22可以被配置为确定用户坐标系的至少一个轴的方向和局部坐标系的至少一个轴的方向,所述确定是基于指示各个相应轴相对于参考方向的方向的一个或多个输入的。例如,控制器22可以被配置为接收指示可移动物体的局部坐标系的第一轴的方向的第一定向信号。控制器22可以从第一定向指示器(例如,罗盘、定位装置、或惯性测量单元)接收第一定向信号。
如图10所示,第一定向指示器60可以位于可移动物体10之上或在可移动物体10内,并且与控制器22通信。定向指示器60可以被配置为产生指示参考方向(例如,罗盘航向、或其它参考方向)的信号,并且向控制器22传送该参考方向。控制器22可以被配置为确定参考方向是局部坐标系的第一轴的方向,并且将该方向存储在存储器中以供进一步处理。
控制器22还可以被配置为接收指示用户坐标系的第一轴的方向的第二定向信号。控制器22可以从第二定向指示器(例如,罗盘、定位装置、或惯性测量单元)接收第二定向信号。还如图10所示,第二定向指示器62可以位于用户可以被定位或控制可移动物体的移动的任何位置处。例如,第二定向指示器62可以位于终端32上或终端32内,并且与控制器22电子通信(例如,经由通信系统20)。第二定向指示器62可以被配置为产生指示第二参考方向(例如,罗盘航向、或其它参考方向)的信号,并且向控制器22传送第二参考方向。控制器22可以被配置为确定参考方向是用户坐标系的第一轴的方向,并且将该方向存储在存储器中以供进一步处理。
控制器22可以被配置为执行由第一定向指示器60指示的第一参考航向与由第二定向指示器62指示的第二参考航向的数学比较,以确定可移动物体10的局部坐标系与用户坐标系之间的偏移量。以这种方式,控制器能够确定在用户的视角(即,相对于用户坐标系)下产生的命令与基于该命令可移动物体10在用户视角下的最终移动之间的定向(例如,角)偏移量。然后,可以使用视角变换将该偏移量应用于在用户视角下产生的命令,以获得在可移动物体10的视角下的对应命令。
可移动物体10和终端32中可以包括类似的机构,以识别相应坐标系的两个其它轴,并且允许控制器22确定各个对应轴对的差异或偏移量。
一旦确定了三维偏移量,控制器22就可以产生变换矩阵来表示这样的偏移量,如下所示:
然后,控制器22将变换终端32上的用户输入r,用户输入r随后通过矩阵变换进行变换以产生可移动物体10的视角的信号s:
S=T·r [2]
其中,r和T均是三维信号。
上述的转换或变换可以考虑该信号或终端32上用户输入的命令的性质,即用户是否希望可移动物体10进行平移或旋转移动。
图11示出了用于确定可移动物体10的视角与用户视角之间的偏移量的另一示例性实施例。在图11所示的示例中,控制器22可以被配置为基于来自定位系统64的输入来确定可移动物体10的视角与用户视角之间的偏移量。控制器22可以与定位系统64通信(例如,经由通信系统20),并且被配置为跟踪可移动物体10的位置以及相对于参考坐标系的用户视角的参考点(例如,终端32)的位置。也就是说,用户视角的参考点和可移动物体10可以各自包括定位装置66,定位装置66被配置为接收和/或产生定位系统64可用的定位信号,以确定可移动物体10和用户视角的参考点(例如,终端32)的位置和/或移动。
定位系统64可以被配置为向控制器22传送可移动物体10的位置和用户视角的参考点(例如,终端32)的位置。利用该信息,控制器22可以执行取向处理,在该处理中,对可移动物体10的飞行参数(例如,用于横滚、俯仰和偏航的命令信号)进行测试,以确定可移动物体10对于在可移动物体10的视角下(即,在局部坐标系下)接收到的命令相对于参考坐标系如何定向响应。取向结果序列可以允许控制器22确定局部坐标系的至少一个轴相对于参考坐标系的方向。用户坐标系的第一轴的方向可以假定为或初始与定位系统64的跟踪组件对齐,以允许用户坐标系的第一轴的方向将被控制器22理解。然后,控制器22能够以如上所述的相同方式来确定局部坐标系和用户坐标系之间的差异(例如,角度差)。
确定可移动物体10的局部坐标系和用户坐标系的至少一个轴的方向和确定这两个坐标系之间的偏移量的另一示例性方法包括:初始对齐这两个坐标系,并且跟踪它们在单个坐标系下的后续移动。例如,在飞行操作开始时,用户可以将他或她的视角与可移动物体10的局部坐标系的至少一个轴的已知方向对齐。例如,在飞行开始之前,用户可以站在可移动物体10的前面、后面或附近,让自己面向可移动物体的已知轴方向。然后,用户可以提供指示对齐校准的输入(例如,按钮42)或者简单地开始操作可移动物体10。此时,控制器22可以基于定向指示器(比如,惯性测量单元)开始跟踪可移动物体在飞行期间沿局部坐标系的每个方向的移动。使用来自定向指示器的信号,控制器能够确定局部坐标系的至少一个轴相对于在飞行开始时的初始位置的角位移。该差异可以指示局部坐标系的至少一个轴的当前方向。以这种方式,控制器可以被配置为:假定用户坐标系始终与在飞行开始时或在校准时的初始方向对齐,则确定初始方向和当前方向之间的差异是局部坐标系和用户坐标系之间的偏移量。
此外或备选地,本公开的实施例可以提供不一定是相对于多轴用户坐标系的用户输入,而是提供自然命令,例如用于使可移动物体10从用户视角看向左转或向右转的命令,而不管可移动物体10航向如何。控制器22可以被配置为将这种用户命令转换成可移动物体10的视角(例如,可移动物体10的局部坐标系)的信号,以实现与用户要求相对应的飞行行为的改变。例如,期望较高高度的用户输入可以被转换成用于使可移动物体10的头部向上的俯仰命令。通常,用户输入将被转换成线性和/或旋转移动(比如,如在目标跟踪情况下的俯仰、偏航、速度改变等)的某种组合。
在诸如监视和电影拍摄或视频拍摄等许多情况下,目标跟踪是有用的,在跟踪目标过程中,可移动物体10上负载的相机始终拍摄移动目标,并且可移动物体10必须能够跟随目标,并且有时在目标周围移动以给相机不同的视角。特别是在专业电影拍摄和视频制作中,目标跟踪提供了以下优点:用户可以只需要考虑控制可移动物体10的飞行,而可移动物体10自动地跟随目标并且确保目标留在拍摄视线中,导致更精确的飞行控制,从而形成更高质量的成像结果(例如,照片和视频)。
控制器22可以被配置为在飞行期间利用来自感测系统18的输入来识别和/或跟踪目标。在飞行期间跟踪目标可以包括:识别目标,并且即使在目标和/或可移动物体10移动时仍将目标保持在可移动物体的视场中。将目标保持在可移动物体10的跟踪视野内会需要可移动物体10自动调整其飞行参数以保持看见目标(即,在可移动物体10或搭载物10的视角),同时使这些跟踪移动与由用户命令(即,从用户的视角或另一参考视角)的可移动物体10的期望移动一致。
例如,参考图12,在目标跟踪期间,用户可以定位可移动物体10以获取期望的目标感知,并且随后使用飞行跟踪来保持该感知。为了定位可移动物体10以获取期望的感知,用户可以初始控制可移动物体10飞行到相对于目标的期望位置,然后命令可移动物体10开始跟踪目标。然后,可移动物体10将自动调整其飞行参数以将目标保持在视野中。用于实现和保持目标跟踪的飞行参数可以包括可移动物体相对于目标的相对位置(例如,线性的、角的等)、速度(例如,线性的、角的等)和加速度参数(例如,线性的、角的等)。在一些实施例中,期望的飞行参数可以是用户指定的。例如,控制器22可以被配置为经由终端32从用户接收一个或多个输入信号,该信号可以指示在飞行跟踪期间可移动物体10相对于目标保持的相对高度和距离。在其它实施例中,如上所述,用户可以简单地定位可移动物体,以便给予可移动物体10期望的目标感知,并且提供指示希望根据该感知来跟踪目标的输入。
控制器22从用户接收的与目标跟踪相关的输入可以是从用户视角接收的,并且然后可以根据上面讨论的示例性处理来将该输入转换到可移动物体10的视角,用于产生使可移动物体10从期望的位置跟踪目标并且具有用户所期望的期望移动特性(例如,速度、加速度等)的控制信号。当可移动物体10正在跟踪目标时,用户可能希望改变一个或多个跟踪参数(比如,可移动物体10与目标之间的相对距离、速度或加速度),并且经由终端32产生命令以引起出自用户视角的这样的改变。这样的命令可以与用户期望的可移动物体10或搭载物14(例如,载体16、传感装置19等)视角的改变相对应。控制器22可以被配置为:接收出自用户视角的指示对可移动物体10或搭载物14的视角的期望改变的命令,并且根据上述示例性处理,将该命令转换到可移动物体10的视角,以产生使可移动物体10从用户所期望的视角跟踪目标的控制信号。
在一些实施例中,控制器22可以被配置为从输入装置(比如,终端32的按钮42)接收输入信号,作为以可移动装置的当前感知来开始跟踪的指示。在其它实施例中,控制器22基于其它因素(比如,通电、操作时间的经过时间、存在可追踪目标的指示、或者任何其它合适的输入)可以自动地发起目标跟踪。
在目标跟踪期间,控制器22可以被配置为对飞行参数(例如,横滚、俯仰、偏航、油门等)进行必要的调整以便跟踪目标,即保持可移动物体对目标的感知。目标的感知可以指代通过一个或多个感知参数来表征目标,所述参数与可移动物体和目标之间的一个或多个可确定的相对参数相对应。可确定的相对参数可以包括例如可移动物体10与参考点或参考对象(比如,目标、地表或另一对象)之间的相对位置和旋转参数。相对位置参数和旋转参数可以包括可移动物体10与目标之间的相对距离(例如,线性距离、径向距离、角距离、垂直距离、水平距离等)以及可移动物体10和目标之间的相对速度(例如,线速度、轴向速度、径向速度、切向速度和角速度等)。
用于表征感知的感知参数可以根据用于感知目标的方法而变化。例如,如图13所示,控制器22可以被配置为从定位系统64接收指示感知参数的信号。控制器22可以被配置为:不断地从定位系统接收指示目标和可移动物体10的位置的信号。控制器22可以被配置为:不断地将可移动物体10的感知位置与目标的感知位置进行比较,以不断地确定例如可移动物体10与目标之间的相对距离、可移动物体之间的相对速度、和/或其它相对参数。
在其它实施例中,可以使用计算机视觉系统来确定用于表征目标的感知的感知参数。例如,如图14A所示,可移动物体可以包括由载体16支撑的成像装置68。成像装置68可以被配置为产生目标的光学数据以识别和跟踪目标。例如,成像装置18可以是光学装置(比如,相机或摄像机)。成像装置68可以被配置为产生指示目标的一个或多个特征(比如,目标的高度或宽度)的成像数据。控制器22可以包括图像分析器70或者与图像分析器70通信,图像分析器70被配置为分析成像数据的迭代,以识别可以用于确定可移动物体10和目标之间的相对参数的目标的特征。例如,图像分析器70可以被配置为在目标周围建立边界框72并且监测边界框72的各方面如何改变。例如,如图14A所示,在第一成像迭代中,边界框72可以开始于图像窗口74的中心附近。在第二次成像迭代中,如图14B所示,图像分析器70可以确定图像窗口74中的边界框72的位置沿着水平方向移动了量ΔPx并且沿着垂直方向移动了量ΔPy。基于该信息,图像分析器70可以被配置为确定可移动物体10与目标之间的水平距离已经改变并且是沿着哪个方向改变。此外,图像分析器70可以被配置为观察边界框72的高度H和宽度W的改变,以确定可移动物体10与目标之间的相对高度是否改变。
如图15A所示,图像分析器70可以被配置为检测边界框72的宽度W和高度H的改变,并且确定可移动物体10和目标之间的相对距离的改变。例如,如图15B所示,随着可移动物体10靠近目标,边界框72的大小可以在宽度W和高度H上增加.图像分析器70还可以被配置为确定边界框72的特征的改变速率,以确定可移动物体10与目标之间的相对速度。
图15A和图15B示出了从可移动物体10的视角看的目标的示例性感知。也就是说,在图像窗口74内的特定位置处并且具有特定尺寸(例如,宽度W和高度H)的边界框72可以指示从可移动物体10的视角来看的目标的当前感知。目标的当前视角还可以包括如由边界框参数关于时间的改变所确定的可移动物体相对于目标的相对线性、径向、切向和角速度。当从可移动物体10的视角来看目标的感知不改变时,图像分析器70可以被配置为确定可移动物体10和目标之间的所有相对参数是恒定的,并且因此可移动物体10当前正在以期望的跟踪参数来跟踪目标。
为了保持从可移动物体10的视角看的对目标的当前感知,控制器22可以被配置为当检测到感知改变时,自动产生用于调整飞行参数(例如,横滚、俯仰、偏航、油门等)的一个或多个控制信号。在一个示例中,控制器22可以被配置为产生并直接应用控制信号以实现期望的飞行参数。在该示例中,控制器22可以简单地产生将使可移动物体10方便地实现期望视角的命令。这种方法可以被称为“暴力”方法。在这种情况下,指示可移动物体10和目标之间的较长跟踪距离的用户输入例如可以被转换为飞行控制信号,该飞行控制信号用于使可移动物体飞离目标一段时间,然后一旦实现期望距离就恢复到其先前的飞行模式。
在另一示例中,如图16所示,控制器22可以被配置为:使用飞行参数的反馈控制来保持从可移动物体10的视角看的目标的当前感知,同时在飞行参数调整期间提供更平滑的移动和持续的跟踪。例如,图像分析器70可以从成像设备68接收成像数据,并且确定可移动物体10和目标之间的当前相对距离D1。控制器22可以将当前相对距离D1与初始相对距离D0(其可以是期望的相对距离或与先前迭代的相对距离)进行比较。反馈控制器76可以被配置为确定初始相对距离D0和当前相对距离D1之间是否存在差异。当两者相同时,可移动物体10以正确的距离跟随,并且无需改变飞行参数。当存在差异时,反馈控制器76可以被配置为确定可移动物体10沿相对距离的方向的控制速度VCy,以便调整当前相对距离来匹配初始相对距离。
反馈控制器76可以被配置为使用任何合适的反馈处理来执行反馈控制。例如,反馈控制器可以被配置为执行比例控制(P)、积分控制(I)、微分控制(D)、比例积分控制(PI)、或比例积分微分控制(PID)。反馈控制器76还可以或备选地被配置为应用一个或多个数学过滤器来执行或增强反馈控制处理。应当理解,可以使用其它或附加的反馈控制和过滤处理。
致动系统78可以被配置为产生针对一个或多个致动器的运动控制信号,以实现由反馈控制器76确定的控制速度。由致动系统78产生的控制信号可以控制飞行参数(例如,俯仰),以便使可移动物体靠近或远离目标从而实现初始相对距离。这个处理可以重复许多次,直到达到初始的或期望的距离为止。
请注意,除了相对距离D0之外,可以针对其它跟踪控制参数(比如,相对高度、相对径向距离、相对轴向距离、相对角位移、相对线速度、相对径向速度、相对切向速度、相对垂直速度等)来执行图16中所示和上面所描述的处理。每当检测到跟踪控制参数之一的差异(初始值与当前值之间或期望值与当前值之间)时,图16所示的反馈处理确定可移动物体10的适当的飞行参数(例如,沿正确方向的平移速度和/或围绕正确轴的旋转速度),以减小初始参数和当前参数之间的差异,并且向可移动物体10提供对应的运动控制信号,以实现对飞行参数的任何必要的调整。例如,可以对横滚、俯仰、偏航和油门进行调整,以实现沿着(即,平移地)或围绕(即,旋转地)可移动物体10的任何移动轴的确定的控制速度。
在照片或视频拍摄期间,由于用户想要改变拍摄视角或者由于目标和可移动物体10的移动,用户可以改变与可移动物体10以及其上负载的相机或其它成像器材的位置关系,并且还可以改变与目标的位置关系。因此,用户可能希望具有从第一感知到后续感知的受控变换,并且一旦可移动物体达到后续感知,后续感知的受控保持继续产生高质量的成像结果。
作为一个示例,用户可能希望通过逐渐接近目标的感知(即,缩短可移动物体10和目标之间的距离)来改变感知。为此,用户可以简单地致动输入装置(例如,终端32的第一输入扳手38或第二输入扳手40)以产生命令信号。控制器22可以接收这个用户输入,并且通过调整与用户输入相对应的一个或多个飞行参数来进行响应,从而实现期望的距离改变。但是,图16中所示的反馈控制处理被设计为保持初始或期望的距离D0(或者,在可移动物体10的视野中的目标的期望感知)。通过简单地改变可移动物体10的飞行速度来调整距离的任何尝试都将被反馈控制处理的作用抵消。
根据本公开的实施例,控制器22可以被配置为:基于用于改变跟踪参数(例如,跟随距离)的用户命令来确定从可移动物体10的视角来看的目标的后续感知或未来感知,从而调整初始或期望的跟踪距离D0以允许反馈控制处理与用户合作来控制可移动物体10。例如,如图17所示,控制器22可以被配置为执行与上面结合图16描述的方法类似的反馈控制方法,以使用初始位置估计器80来确定从可移动物体10的视角来看的目标的后续感知或未来感知。初始位置估计器80可以被配置为从图像分析器70接收数据以及从用户接收输入,以基于该信息来确定从可移动物体10的视角来看的目标的未来感知将是什么。在图17所示的示例中,该处理导致修改的初始或期望的距离D0,在此之后,反馈控制处理将尝试保持可移动物体10和目标之间的该修改后的距离D0。
参考图18和图19,用户输入可以是由输入装置(比如,终端32的第一输入扳手38或第二输入扳手40)产生的信号。所产生的信号可以与目标感知的改变(例如,边界框72的大小(例如,宽度W和高度H)的改变)以及导致的飞行参数(例如,横滚、俯仰、偏航、油门等)的对应改变)有关。以这种方式,初始位置估计器80(图17)可以被配置为确定目标的后续感知,该感知与可移动物体与目标之间的一个或多个相对参数(例如,相对线性距离、相对角位移、相对高度、相对线速度、相对角速度、相对径向速度、相对垂直速度等)的后续或期望差异相对应。
参考图17,然后,可以将由初始位置估计器80确定的后续的相对参数与对应的当前相对参数(例如,基于目标的当前感知)进行比较,并且可以将该差异用于反馈控制。以这种方式,当前感知与后续感知之间的差异可以产生后续相对参数与当前相对参数之间的差异,并且这种相对参数的差异可以用于产生用于移动可移动物体10的控制速度VCy,以将目标(即,边界框72)保持在图像分析器70的图像窗口74(参考图18和图19)中。
在一些实施例中,所确定的控制速度VCy可以被反馈到初始位置估计器80,并且在反馈控制处理的后续迭代期间,初始位置估计器80可以被配置为基于控制速度重新确定目标的后续感知,以更精确地确定目标的后续感知。例如,反馈控制器76可以基于用户的输入命令来确定用于允许改变可移动物体10和目标之间的相对参数的控制速度,同时防止用户的输入命令移动图像窗口中的边界框(参考图18和图19)以防止跟踪过程停止。因此,所确定的控制速度可以是可移动物体10将响应于用户输入的更现实的速度。因此,目标的后续感知的更精确的估计可以说明这样的事实:后续感知实际上不会与当前感知不同,因为仅用户输入(而非控制速度)决定可移动物体的响应。
在一些情况下,还可以通过将感知装置(例如,成像装置68)接收的感知信息从感测装置的视角转换到可移动物体10的视角,来提高感知和感知估计的精确性。例如,在某些操纵期间(例如,在围绕目标转圈时、沿着弧形路径跟踪,或者在进行稍微突然的操纵(例如,高速转弯、急转弯、小半径转弯等)时跟踪目标),快速调整搭载物14(即,成像装置68)以跟踪目标的载体16的能力可以导致这样的情况:从成像装置的视角来看的目标的感知与从可移动物体10的视角看的目标的感知略微不同。在这种情况下,由初始位置估计器80确定的后续的感知可能稍微不精确,这可能导致反馈控制器76确定出在目标跟踪期间控制可移动物体10的控制速度稍微不精确。为了解决成像装置68或载体16与可移动物体10之间的视角方面的任何偏移,控制器可以被配置为:接收从成像装置68或载体16的视角看到的感知信息,并且将感知信息从成像装置68或载体16的视角变换到移动物体10的视角。以这种方式,用于控制飞行参数的后续视角和命令可以更精确地反映可移动物体10的真实视角。为了执行视角变换,可移动物体10的控制器可以被配置为:根据与成像装置68或载体16相关联的坐标系来构建传感输入的矩阵表示;并且基于成像装置68或载体的视角与可移动物体10的视角之间的偏移量,将所述矩阵变换成根据可移动物体的局部坐标系的传感输入的矩阵表示。可以使用如上所述的用于确定视角偏移量的技术。
有时候,可移动物体10围绕目标移动(例如,圆形移动),以给相机提供不同的视角。图20示出了这样的情况:可移动物体10沿着半径r的圆以径向速度分量VRAD、切向速度分量VTAN、和角速度ω来围绕目标移动。可以采用上面结合图16和图17描述的跟踪控制处理来保持或调整半径r。用户可能希望使可移动物体10移动得更快或者更慢,以便使得成像结果的效果变化。与圆形移动相关联的、沿着径向向外拉动可移动物体10的离心力可以通过可移动物体10的向内飞行(例如,经由俯仰控制)来抵消。但是,可移动物体10的俯仰量或倾斜角度通常由于载体或云台16能够倾斜的量的限制而具有物理限制。如果切向速度VTAN超过阈值VTmax,则可移动物体10的俯仰将不能抵消可能最终使可移动物体10离开圆形轨道而导致丢失目标跟踪的离心力。
为了防止用户超过最大可允许的切向速度VTmax,可移动物体10的控制器可以被配置为:确定用于维持目标跟踪的最大可允许的切向速度,并且限制用户在可移动物体10沿着圆形图案跟踪目标时增加可移动物体10的切向速度的能力。例如,控制器22可以被配置为首先确定可移动物体10围绕目标的旋转的半径r。一种用于确定半径r的方法可以包括:将行程的弧长L除以沿弧长的角位移θ,即,行程的弧长L可以以多种方式来确定。例如,控制器22可以被配置为关于时间对可移动物体10的切向速度进行积分,以计算弧长L。并且如上所述,可移动物体10的切向速度可以通过分析由成像装置68收集的图像数据(比如,从成像装置68的视角来看的目标的大小、形状和位置的感知的改变)来确定。在其它实施例中,可以收集和分析来自传感装置(比如,GPS系统或惯性测量单元(IMU))的数据,以确定可移动物体10在一段时间内行进的弧长L。可移动物体10在弧长L上的角位移θ可以如上所述通过分析由成像装置68收集的图像数据(比如,从成像装置68(即,光学传感装置)的视角看的目标的大小、形状和位置的感知的改变)来确定,或者从红外成像装置、紫外成像装置、x射线装置、超声成像装置、雷达装置等收集的图像数据来确定。
用于确定半径r的另一种方法可以是将切向速度VTAN除以可移动物体10的角速度ω,即如上所述,可以通过将从可移动物体的视角看到的目标的多个感知与利用成像装置68或其它装置(比如,红外成像装置、紫外成像装置、X射线装置、超声成像装置、雷达装置等)收集的数据而产生的多个感知进行比较,来确定可移动物体10的切向速度和角速度。在比较期间确定的目标(即,边界框72)的大小、形状和位置的改变可以与可以用于确定可移动物体10的旋转半径的切向速度的值和角速度的值相对应。
参考图21来描述确定半径r的另一方法。如图21所示,具有载体16的可移动物体10可以承载成像装置(比如,相机82)。相机82可以捕捉图像平面84上具有图像坐标86的目标的图像。使用如上所述的技术类似的技术,还可以产生边界框72,以分析几何形状并提供连续且稳定的结果。
如图21所示,可以基于孔径成像模型来表示目标的图像,该孔径成像模型假定来自三维空间中的物点的光线可以投影在图像平面上以形成图像点。光轴88可以穿过镜中心90和图像中心。镜中心和图像中心之间的距离可以等于或实质上类似于焦距92。仅为了说明的目的,图像平面84可以移动到镜中心90和目标之间的光轴88上的镜像位置处。
根据本发明的各种实施例,系统可以执行包括估计目标距离和目标高度在内的初始化步骤。这里,系统可以基于几何关系来确定镜中心90和目标之间的投影到地面上的相对距离94。然后,系统可以确定目标高度。
在初始化阶段(即,当t=0时),系统可以假定:从与目标所处的同一底面(或水平线)测量可移动物体10(即,相机82)的高度。在没有限制的情况下,当所述底面不是水平线时,系统可以使用考虑高度差的有效高度来代替实际测量的可移动物体10的高度,来测量目标距离和目标高度。
在如图21所示的示例中,在世界坐标中,目标可以具有顶部目标点(xt,yt,zt)和底部目标点(xb,yb,zb),这两个目标点被投影在图像平面84上,分别作为目标图像96中的顶部图像点(ut,vt)和底部图像点(ub,vb)。顶部线穿过镜中心90、顶部图像点和顶部目标点,并且可以具有相对于世界坐标的轴Z的倾斜角98。此外,底部线穿过镜中心90、底部图像点和底部目标点,并且可以具有相对于轴Z的倾斜角100。
因此,目标顶部和底部方向矢量和可以如下表示。
其中,K表示相机的固有矩阵,并且R表示相机旋转。
然后,系统可以基于测量的或有效的相机高度102以及图像坐标86中的边界框104的位置来估计目标距离。例如,距离106可以被计算为d=-hc/zb*Pb,并且目标高度108可以被计算为ho=hc+ztd/Pt,其中,Pb是在地面上的投影长度,并且Pt是在地面上的投影长度,这二者如下定义。
在初始化步骤之后,即使当目标高度改变时(例如,当目标离开地面时)以及当可移动物体10(例如,UAV)的高度未知时,系统也可以估计距目标的距离106。这是有利的,因为在跟踪期间,物体可能爬升或下降,并且当UAV飞过草地或爬升(例如,高于地面5米)时,UAV的高度可能不可靠。
如图21所示,在初始化之后,在目标10与可移动物体10之间的投影在地面上的相对距离106可以被计算为hc/dh,其中,dh表示目标在距相机单位距离时的估计高度,该高度可以使用以下公式计算。
因此,所述方法在被初始化时可以是高效的并且可以具有非常少的限制,因为系统可以基于初始化之后的目标的高度来估计距物体的距离106。
在确定了旋转的半径r之后,最大切向速度VTmax可以通过与最大向心加速度的关系来确定。可移动物体10的最大向心加速度可以通过其结构设计固有地确定,因为不管其它飞行参数如何,可移动物体10总可以达到其不再能维持飞行并将停止的某一最大倾斜角。换句话说,由于可移动物体10倾斜以增加其向心加速度时,因此当可移动物体10达到其不能再维持受控飞行的倾斜角时将达到最大加速度。该最大角度可以根据经验确定或者可以由可移动物体10的制造商提供。因此,假定已知amax的值,则可以确定最大切向速度VTmax。
当可移动物体10围绕目标转圈时,可移动物体10的控制器可以被配置为接收指示选择最大期望切向速度和最小期望切向速度之间的期望切向速度的用户输入(例如,经由终端32的一个或多个输入扳手38、40)。可移动物体10的控制器可以被配置成经由扳手、杆、按钮、拨盘、旋钮、触摸屏或电子装置中的一个或多个来接收用户输入。在一些实施例中,电子装置可以包括:存储器以及至少一个处理器,所述处理器被配置为执行程序以提供“app”或一个或多个图形用户界面来从用户接收用于选择期望的切向速度的输入。
如本文所使用的,参考一定范围的值来使用的术语“在...之间”可以包括端点值。也就是说,用户可以提供指示例如可以在围绕目标转圈的同时增加或减小可移动物体的切向速度的横滚设置的输入。当用户移动输入装置以将横滚设置一直调整到最大位移时,可以产生用于最大横滚设置的信号。然而,向可移动物体施加最大横滚会导致其在飞行期间停止,因此控制器22可以被配置为限制用户的输入,并且仅允许确保可移动物体始终保持低于针对当前旋转半径而确定的最大切向速度的横滚没置。也就是说,可移动物体10的控制器可以将可能选择的最大期望切向速度设置为不大于可移动物体10的最大可允许切向速度的限值。以这种方式,可以防止用户施加太多的横滚而使可移动物体10停止。在一些实施例中,还可以对可能选择的最大期望的切向速度进行进一步限制,例如将其限制为低于最大切向速度的值或最大切向速度的百分比(例如,95%、90%、85%等)。以这种方式,可以使可移动物体达到最大横滚值并且突然不能保持受控飞行的可能性较小。
在某些情况下,例如当可移动装置正在围绕目标绕圈并跟踪目标时,用户可能希望增加可移动物体的旋转半径r或逐渐绕圈远离目标,并且终止跟踪操作,如图22所示。为了允许用户执行这样的操纵,可移动物体10的用户控制器可以被配置为:将可以选择的最大期望切向速度设置为高于可移动物体的最大可允许切向速度的限值。例如,可以选择的最大期望切向速度可以被设置为一个值或百分比,所述值或百分比将允许用户通过增加切向速度并克服作用于可移动物体10上的向心力来逐渐增加可移动物体10的旋转半径。以这种方式,控制器可以被配置为允许可移动物体10以更大的旋转半径跟踪目标或者逐渐绕圈远离目标,并且终止跟踪操作。
对于本领域技术人员显而易见的是,可以对所公开的方法和系统进行各种修改和变化。通过考虑所公开方法和系统的说明和实践,其它实施例对本领域技术人员而言将是显而易见的。旨在使说明书和示例仅被认为是示例性的,真正的范围由所附权利要求书及其等同物来指示。
Claims (154)
1.一种控制具有第一视角的可移动物体的方法,包括:
接收从第二视角发出的输入信号;
将所述输入信号从所述第二视角转换到所述第一视角;以及
基于转换后的信号使所述可移动物体移动。
2.根据权利要求1所述的方法,还包括:确定所述第一视角和所述第二视角之间的差异。
3.根据权利要求1所述的方法,其中,所述输入信号指示从所述第二视角看的所述可移动物体的期望移动。
4.根据权利要求1所述的方法,其中,将所述输入信号从所述第二视角转换到所述第一视角包括:将在所述第二视角看到的所述可移动物体的期望移动变换为从所述第一视角看的所述可移动物体的对应移动。
5.根据权利要求1所述的方法,其中,所述第一视角与关于所述可移动物体的第一坐标系相对应。
6.根据权利要求5所述的方法,其中,所述第二视角与第二坐标系相对应。
7.根据权利要求6所述的方法,还包括:确定所述第一坐标系与所述第二坐标系之间的差异。
8.根据权利要求7所述的方法,其中,所述输入信号指示在所述第二坐标系下的所述可移动物体的期望移动。
9.根据权利要求1所述的方法,还包括:确定所述第一坐标系的至少第一轴的方向。
10.根据权利要求9所述的方法,还包括:
接收指示所述第一坐标系的第一轴的方向的第一信号;以及
基于所述第一信号确定所述第一坐标系的第一轴的方向。
11.根据权利要求10所述的方法,其中,所述第一信号指示罗盘读数、定位系统信号或惯性测量信号中的至少一个。
12.根据权利要求9所述的方法,还包括:确定所述第二坐标系的至少第一轴的方向。
13.根据权利要求12所述的方法,还包括:
接收指示所述第二坐标系的第一轴的方向的第二信号;以及
基于所述第二信号确定所述第二坐标系的第一轴的方向。
14.根据权利要求13所述的方法,其中,所述第二信号指示罗盘读数、定位系统信号或惯性测量信号中的至少一个。
15.根据权利要求14所述的方法,其中,所述第二信号是从被配置为产生所述输入信号的输入装置接收的。
16.根据权利要求15所述的方法,还包括:将所述第一坐标系的第一轴的方向与所述第二坐标系的第一轴的方向对齐。
17.根据权利要求16所述的方法,还包括:
在一段时间内跟踪所述输入信号以产生跟踪输入;以及
基于所述跟踪输入来确定所述第一坐标系的当前方向。
18.根据权利要求1所述的方法,其中,所述第一坐标系的第一轴的方向与所述第二坐标系的第一轴的方向之间的差异是角度差。
19.根据权利要求1所述的方法,其中:
所述输入信号指示用于调整目标的感知的命令;并且
所述方法还包括基于所述用户输入来确定所述目标的后续感知。
20.根据权利要求19所述的方法,还包括:基于所述目标的后续感知,产生用于移动所述可移动物体的一个或多个控制信号。
21.根据权利要求19所述的方法,其中,在跟踪所述目标时确定所述目标的后续感知。
22.根据权利要求21所述的方法,还包括:
使用反馈处理来重新确定所述目标的后续感知;以及
基于重新确定的所述目标的后续感知来产生用于移动所述可移动物体的一个或多个控制信号。
23.一种用于控制具有第一视角的可移动物体的系统,所述系统包括:
控制器,具有一个或多个处理器并且被配置为:
接收从第二视角发出的输入信号;
将所述输入信号从所述第二视角转换到所述第一视角;以及
基于转换后的信号使所述可移动物体移动。
24.根据权利要求23所述的系统,其中,所述控制器被配置为确定所述第一视角与所述第二视角之间的差异。
25.根据权利要求23所述的系统,其中,所述输入信号指示从所述第二视角看的所述可移动物体的期望移动。
26.根据权利要求23所述的系统,其中,所述控制器被配置为:通过将在所述第二视角看的所述可移动物体的期望移动变换为从所述第一视角看的所述可移动物体的对应移动,来将所述输入信号从所述第二视角转换到所述第一视角。
27.根据权利要求23所述的系统,其中,所述第一视角与关于所述可移动物体的第一坐标系相对应。
28.根据权利要求27所述的系统,其中,所述第二视角与第二坐标系相对应。
29.根据权利要求28所述的系统,其中,所述控制器被配置为:确定所述第一坐标系与所述第二坐标系之间的差异。
30.根据权利要求29所述的系统,其中,所述输入信号指示在所述第二坐标系下的所述可移动物体的期望移动。
31.根据权利要求23所述的系统,其中,所述控制器被配置为确定所述第一坐标系的至少第一轴的方向。
32.根据权利要求31所述的系统,其中,所述控制器被配置为:
接收指示所述第一坐标系的第一轴的方向的第一信号;以及
基于所述第一信号确定所述第一坐标系的第一轴的方向。
33.根据权利要求32所述的系统,其中,所述第一信号指示罗盘读数、定位系统信号或惯性测量信号中的至少一个。
34.根据权利要求31所述的系统,其中,所述控制器被配置为确定所述第二坐标系的至少第一轴的方向。
35.根据权利要求34所述的系统,其中,所述控制器被配置为:
接收指示所述第二坐标系的第一轴的方向的第二信号;以及
基于所述第二信号确定所述第二坐标系的第一轴的方向。
36.根据权利要求35所述的系统,其中,所述第二信号指示罗盘读数、定位系统信号或惯性测量信号中的至少一个。
37.根据权利要求36所述的系统,其中,所述第二信号是从被配置为产生所述输入信号的输入装置接收的。
38.根据权利要求37所述的系统,其中,所述控制器被配置为将所述第一坐标系的第一轴的方向与所述第二坐标系的第一轴的方向对齐。
39.根据权利要求38所述的系统,其中,所述控制器被配置为:
在一段时间内跟踪所述输入信号以产生跟踪输入;以及
基于所述跟踪输入来确定所述第一坐标系的当前方向。
40.根据权利要求23所述的系统,其中,所述第一坐标系的第一轴的方向与所述第二坐标系的第一轴的方向之间的差异是角度差。
41.根据权利要求23所述的系统,其中
所述输入信号指示用于调整目标的感知的命令;以及
控制器被配置为基于所述用户输入来确定所述目标的后续感知。
42.根据权利要求41所述的系统,其中,所述控制器被配置为:基于所述目标的后续感知,产生用于移动所述可移动物体的一个或多个控制信号。
43.根据权利要求41所述的系统,其中,所述控制器被配置为在跟踪所述目标时确定所述目标的后续感知。
44.根据权利要求43所述的系统,其中,所述控制器被配置为:
使用反馈处理来重新确定所述目标的后续感知;以及
基于重新确定的所述目标的后续感知来产生用于移动所述可移动物体的一个或多个控制信号。
45.一种具有第一视角的无人机(UAV)系统,包括:
一个或多个推进装置;以及
控制器,与所述一个或多个推进装置通信并且被配置为控制所述UAV跟踪目标对象,所述控制器包括一个或多个处理器,所述处理器被配置为:
接收从第二视角发出的输入信号;
将所述输入信号从所述第二视角转换到所述第一视角;以及
基于转换后的信号,产生用以控制所述一个或多个推进装置并且使所述UAV移动的一个或多个信号。
46.一种存储指令的非暂时性计算机可读介质,所述指令在被执行时使计算机执行控制具有第一视角的可移动物体的方法,所述方法包括:
接收从第二视角发出的输入信号;
将所述输入信号从所述第二视角转换到所述第一视角;以及
基于转换后的信号使所述可移动物体移动。
47.一种用于控制具有第一坐标系的可移动物体的方法,包括:
确定所述第一坐标系与第二坐标系之间的差异;
接收指示在所述第二坐标系下的所述可移动物体的期望移动的用户输入;以及
基于所述用户输入以及所述第一坐标系和所述第二坐标系之间的差异产生所述第一坐标系下的控制信号,其中,所述控制信号被配置为:使所述可移动物体在所述第一坐标系下进行与在所述第二坐标系下的期望移动相对应的移动。
48.根据权利要求47所述的方法,还包括:
接收指示所述第一坐标系的至少第一轴的方向的第一信号;以及
基于所述第一坐标系的第一轴的方向来确定所述第一坐标系的方向。
49.根据权利要求48所述的方法,其中,所述第一信号指示罗盘读数、定位系统信号或惯性测量信号中的至少一个。
50.根据权利要求48所述的方法,还包括:基于所述第一坐标系的第一轴的方向来确定所述第一坐标系的第二轴的方向。
51.根据权利要求48所述的方法,其中,所述用户输入指示所述可移动物体沿着所述第一坐标系的第一轴和所述第二轴中的一个或多个的期望移动以及围绕第三轴的旋转。
52.根据权利要求48所述的方法,还包括:
接收指示所述第二坐标系的至少第一轴的方向的第二信号;以及
将所述第二坐标系的方向设置为等于所述第二坐标系的第一轴的方向。
53.根据权利要求51所述的方法,其中,所述第二信号指示罗盘读数、定位系统信号或惯性测量信号中的至少一个。
54.根据权利要求52所述的方法,还包括:基于所述第一坐标系的第一轴的方向来确定所述第一坐标系的第二轴的方向。
55.根据权利要求50所述的方法,其中,所述用户输入指示所述可移动物体沿着所述第二坐标系的第一轴和第二轴中的一个或多个的期望移动以及围绕第三轴的旋转。
56.根据权利要求47所述的方法,其中,所述第二坐标系与被配置为接收所述用户输入的控制装置相关联。
57.根据权利要求47所述的方法,其中,所述第二坐标系与定位系统相关联。
58.根据权利要求57所述的方法,还包括基于从所述定位系统接收的信息来确定所述第一坐标系的第一轴的方向,所述第一坐标系的第一轴的方向指示所述可移动物体的方向。
59.根据权利要求47所述的方法,还包括:将所述第一坐标系的初始方向与所述第二坐标系的初始方向对齐。
60.根据权利要求59所述的方法,还包括:
在一段时间内跟踪用户输入以产生跟踪的用户输入;以及
基于所述跟踪的用户输入来确定第一坐标系的当前方向。
61.一种用于控制具有第一坐标系的可移动物体的系统,包括:
控制器,具有一个或多个处理器并且被配置为:
确定所述第一坐标系与第二坐标系之间的偏移量;
接收指示在所述第二坐标系下的所述可移动物体的期望移动的用户输入;以及
基于所述用户输入以及所述第一坐标系和所述第二坐标系之间的差异产生所述第一坐标系下的控制信号,其中,所述控制信号被配置为:使所述可移动物体在所述第一坐标系下进行与在所述第二坐标系下的期望移动相对应的移动。
62.根据权利要求47所述的系统,其中,所述控制器被配置为:
接收指示所述第一坐标系的至少第一轴的方向的第一信号;以及
基于所述第一坐标系的第一轴的方向来确定所述第一坐标系的方向。
63.根据权利要求48所述的系统,其中,所述第一信号指示罗盘读数、定位系统信号或惯性测量信号中的至少一个。
64.根据权利要求48所述的系统,其中,所述控制器被配置为:基于所述第一坐标系的第一轴的方向来确定所述第一坐标系的第二轴的方向。
65.根据权利要求48所述的系统,其中,所述用户输入指示所述可移动物体沿着所述第一坐标系的第一轴和所述第二轴中的一个或多个的期望移动以及围绕第三轴的旋转。
66.根据权利要求48所述的系统,其中,所述控制器被配置为:
接收指示所述第二坐标系的至少第一轴的方向的第二信号;以及
将所述第二坐标系的方向设置为等于所述第二坐标系的第一轴的方向。
67.根据权利要求51所述的系统,其中,所述第二信号指示罗盘读数、定位系统信号或惯性测量信号中的至少一个。
68.根据权利要求52所述的系统,其中,所述控制器被配置为:基于所述第一坐标系的第一轴的方向来确定所述第一坐标系的第二轴的方向。
69.根据权利要求50所述的系统,其中,所述用户输入指示所述可移动物体沿着所述第二坐标系的第一轴和第二轴中的一个或多个的期望移动以及围绕第三轴的旋转。
70.根据权利要求47所述的系统,其中,所述第二坐标系与被配置为接收所述用户输入的控制装置相关联。
71.根据权利要求47所述的系统,其中,所述第二坐标系与定位系统相关联。
72.根据权利要求57所述的方法,还所述控制器被配置为基于从所述定位系统接收的信息来确定所述第一坐标系的第一轴的方向,所述第一坐标系的第一轴的方向指示所述可移动物体的方向。
73.根据权利要求47所述的系统,其中,所述控制器被配置为:将所述第一坐标系的初始方向与所述第二坐标系的初始方向对齐。
74.根据权利要求59所述的系统,其中,所述控制器被配置为:
在一段时间内跟踪用户输入以产生跟踪的用户输入;以及
基于所述跟踪的用户输入来确定第一坐标系的当前方向。
75.一种具有第一视角的无人机(UAV)系统,包括:
一个或多个推进装置;以及
控制器,与所述一个或多个推进装置通信并且被配置为控制所述UAV跟踪目标对象,所述控制器包括一个或多个处理器,所述处理器被配置为:
确定所述第一坐标系与第二坐标系之间的偏移量;
接收指示在所述第二坐标系下的所述可移动物体的期望移动的用户输入;以及
基于所述用户输入以及所述第一坐标系和所述第二坐标系之间的差异产生所述第一坐标系下的控制信号,其中,所述控制信号被配置为:控制所述一个或多个推进装置,并且使所述可移动物体在所述第一坐标系下进行与在所述第二坐标系下的期望移动相对应的移动。
76.一种存储指令的非暂时性计算机可读介质,所述指令在被执行时使计算机执行用于控制具有第一坐标系的可移动物体的方法,所述方法包括:
确定所述第一坐标系与第二坐标系之间的偏移量;
接收指示在所述第二坐标系下的所述可移动物体的期望移动的用户输入;以及
基于所述用户输入以及所述第一坐标系和所述第二坐标系之间的差异产生所述第一坐标系下的控制信号,其中,所述控制信号被配置为:使所述可移动物体在所述第一坐标系下进行与在所述第二坐标系下的期望移动相对应的移动。
77.一种用于控制可移动物体的方法,包括:
接收用户输入,所述用户输入指示在跟踪目标时调整所述目标的感知的命令;
基于所述用户输入来确定所述目标的后续感知;以及
基于所述目标的后续感知来产生用于移动所述可移动物体的一个或多个控制信号。
78.根据权利要求77所述的方法,其中,使用反馈控制来产生所述一个或多个控制信号。
79.根据权利要求78所述的方法,其中,所述反馈控制包括PID控制。
80.根据权利要求77所述的方法,其中,所述目标的后续感知与所述可移动物体与所述目标之间的相对位移相对应。
81.根据权利要求80所述的方法,其中,所述可移动物体与所述目标之间的相对位移包括水平位移或径向位移中的至少一个。
82.根据权利要求81所述的方法,其中,所述用户输入与所述可移动物体的俯仰设置或横滚设置中的至少一个相对应。
83.根据权利要求80所述的方法,其中,所述相对位移包括垂直位移、高度或轴向位移。
84.根据权利要求83所述的方法,其中,所述用户输入与所述可移动物体的油门设置相对应。
85.根据权利要求80所述的方法,其中,所述可移动物体与所述目标之间的所述相对位移是角位移。
86.根据权利要求85所述的方法,其中,所述用户输入与偏航设置相对应。
87.根据权利要求77所述的方法,还包括确定用于移动所述可移动物体的控制速度。
88.根据权利要求87所述的方法,其中,所述控制速度是所述可移动物体的径向速度。
89.根据权利要求87所述的方法,其中,所述控制速度是所述可移动物体的切向速度。
90.根据权利要求87所述的方法,其中,所述控制速度是所述可移动物体的角速度。
91.根据权利要求87所述的方法,其中,所述控制速度是垂直速度或轴向速度。
92.根据权利要求87所述的方法,还包括基于所述控制速度来重新确定所述目标的后续感知。
93.根据权利要求77所述的方法,其中,确定所述目标的后续位置包括从传感装置接收输入。
94.根据权利要求93所述的方法,其中,所述传感装置是光学装置。
95.根据权利要求77所述的方法,还包括确定所述可移动物体围绕所述目标的旋转半径。
96.根据权利要求95所述的方法,其中,基于所述可移动物体的行程的弧长和角位移来确定所述旋转半径。
97.根据权利要求96所述的方法,其中,基于所述可移动物体的切向速度的积分来确定所述弧长。
98.根据权利要求96所述的方法,其中,基于从定位系统或惯性测量单元中的至少一个接收的输入来确定所述弧长。
99.根据权利要求96所述的方法,其中,基于由所述可移动物体检测到的信息来确定所述角位移。
100.根据权利要求99所述的方法,其中,通过传感装置来产生由所述可移动物体检测到的所述信息。
101.根据权利要求100所述的方法,其中,所述传感装置是光学装置。
102.根据权利要求95所述的方法,其中,基于所述可移动物体的切向速度和所述可移动物体的角速度来确定所述旋转半径。
103.根据权利要求95所述的方法,其中,确定所述旋转半径包括:
测量所述目标的高度;以及
基于所述目标的高度来确定所述可移动物体与所述目标之间的距离,其中,所述旋转半径等于所述可移动物体与所述目标之间的水平的。
104.根据权利要求77所述的方法,还包括:确定用于维持跟踪所述目标的所述可移动物体的最大可允许切向速度。
105.根据权利要求104所述的方法,其中,基于所述可移动物体的旋转半径来确定所述可移动物体的最大可允许切向速度。
106.根据权利要求104所述的方法,其中,基于所述可移动物体的最大倾斜角来确定所述可移动物体的最大可允许切向速度。
107.根据权利要求106所述的方法,其中,所述可移动物体的最大倾斜角是与所述可移动物体的结构相关的预定角度。
108.根据权利要求104所述的方法,其中,所述方法还包括:
接收用户输入,所述用户输入指示在最大期望切向速度和最小期望切向速度之间的期望切向速度的选择;以及
将最大期望切向速度设置为不大于所述可移动物体的最大可允许切向速度的限值。
109.根据权利要求108所述的方法,其中,接收指示期望切向速度的选择的用户输入包括:从扳手、杆、按钮、拨盘、旋钮、触摸屏或电子装置中的一个或多个接收信号。
110.根据权利要求108所述的方法,其中,接收指示期望切向速度的选择的所述用户输入包括:结合app来接收信号。
111.根据权利要求104所述的方法,其中,所述方法还包括:
接收用户输入,所述用户输入指示在最大期望切向速度和最小期望切向速度之间的期望切向速度的选择;以及
将所述最大期望切向速度设置为超过所述可移动物体的所述最大可允许切向速度的限值,以允许所述可移动物体以更大的旋转半径来跟踪所述目标。
112.根据权利要求111所述的方法,其中,所述限值被配置为允许所述用户增加所述旋转半径,以终止跟踪所述目标。
113.根据权利要求100所述的方法,其中:
从所述传感装置接收输入包括:接收与所述传感装置或用于容纳所述传感装置的载体的视角相关的感知信息;以及
将所述感知信息从所述传感装置或用于容纳所述传感装置的所述载体的视角变换到所述可移动物体的视角。
114.根据权利要求113所述的方法,其中,从所述可移动物体的角度来产生所述一个或多个控制信号。
115.一种用于控制可移动物体的系统,包括:
控制器,具有一个或多个处理器,所述处理器被配置为:
接收用户输入,所述用户输入指示在跟踪目标时调整所述目标的感知的命令;
基于所述用户输入来确定所述目标的后续感知;以及
基于所述目标的后续感知来产生用于移动所述可移动物体的一个或多个控制信号。
116.根据权利要求115所述的系统,其中,使用反馈控制来产生所述一个或多个控制信号。
117.根据权利要求116所述的系统,其中,所述反馈控制包括PID控制。
118.根据权利要求115所述的系统,其中,所述目标的后续感知与所述可移动物体与所述目标之间的相对位移相对应。
119.根据权利要求118所述的系统,其中,所述可移动物体与所述目标之间的相对位移包括水平位移或径向位移中的至少一个。
120.根据权利要求119所述的系统,其中,所述用户输入与所述可移动物体的俯仰设置或横滚设置中的至少一个相对应。
121.根据权利要求118所述的方法,其中,所述相对位移包括垂直位移、高度或轴向位移。
122.根据权利要求121所述的系统,其中,所述用户输入与所述可移动物体的油门设置相对应。
123.根据权利要求118所述的系统,其中,所述可移动物体与所述目标之间的所述相对位移是角位移。
124.根据权利要求123所述的系统,其中,所述用户输入与偏航设置相对应。
125.根据权利要求115所述的系统,其中,所述控制器被配置为:确定用于移动所述可移动物体的控制速度。
126.根据权利要求125所述的系统,其中,所述控制速度是所述可移动物体的径向速度。
127.根据权利要求125所述的系统,其中,所述控制速度是所述可移动物体的切向速度。
128.根据权利要求125所述的系统,其中,所述控制速度是所述可移动物体的角速度。
129.根据权利要求125所述的系统,其中,所述控制速度是垂直速度或轴向速度。
130.根据权利要求125所述的系统,其中,所述控制器被配置为:基于所述控制速度来重新确定所述目标的后续感知。
131.根据权利要求115所述的系统,其中,所述控制器被配置为:基于从传感装置接收的输入来确定所述目标的后续位置。
132.根据权利要求131所述的系统,其中,所述传感装置是光学装置。
133.根据权利要求115所述的系统,其中,所述控制器被配置为确定所述可移动物体围绕所述目标的旋转半径。
134.根据权利要求133所述的系统,其中,所述控制器被配置为:基于所述可移动物体的行程的弧长和角位移来确定所述旋转半径。
135.根据权利要求134所述的系统,其中,所述控制器被配置为:基于所述可移动物体的切向速度的积分来确定所述弧长。
136.根据权利要求134所述的系统,其中,所述控制器被配置为:基于从定位系统或惯性测量单元中的至少一个接收的输入来确定所述弧长。
137.根据权利要求134所述的系统,其中,所述控制器被配置为基于由所述可移动物体检测到的信息来确定所述角位移。
138.根据权利要求137所述的系统,其中,所述控制器被配置为从传感装置接收由所述可移动物体检测到的信息。
139.根据权利要求138所述的系统,其中,所述传感装置是光学装置。
140.根据权利要求133所述的系统,其中,所述控制器被配置为:基于所述可移动物体的切向速度和所述可移动物体的角速度来确定旋转半径。
141.根据权利要求133所述的系统,其中,所述控制器被配置为通过以下操作来确定所述旋转半径:
测量所述目标的高度;以及
基于所述目标的高度来确定所述可移动物体与所述目标之间的距离,其中,所述旋转半径等于所述可移动物体与所述目标之间的水平的。
142.根据权利要求115所述的系统,其中,所述控制器被配置为确定用于维持跟踪所述目标的所述可移动物体的最大可允许切向速度。
143.根据权利要求142所述的系统,其中,所述控制器被配置为:基于所述可移动物体的旋转半径来确定所述可移动物体的最大可允许切向速度。
144.根据权利要求142所述的系统,其中,所述控制器被配置为:基于所述可移动物体的最大倾斜角来确定所述可移动物体的最大可允许切向速度。
145.根据权利要求144所述的系统,其中,所述可移动物体的最大倾斜角是与所述可移动物体的结构相关的预定角度。
146.根据权利要求142所述的系统,其中,所述控制器被配置为:
接收用户输入,所述用户输入指示在最大期望切向速度和最小期望切向速度之间的期望切向速度的选择;以及
将最大期望切向速度设置为不大于所述可移动物体的最大可允许切向速度的限值。
147.根据权利要求146所述的方法,其中,所述控制器被配置为:通过从扳手、杆、按钮、拨盘、旋钮、触摸屏或电子装置中的一个或多个接收信号,来接收指示期望切向速度的选择的用户输入。
148.根据权利要求146所述的系统,其中,所述控制器被配置为:通过结合app接收信号来接收指示期望切向速度的选择的用户输入。
149.根据权利要求142所述的系统,其中,所述控制器被配置为:
接收用户输入,所述用户输入指示在最大期望切向速度和最小期望切向速度之间的期望切向速度的选择;以及
将所述最大期望切向速度设置为超过所述可移动物体的所述最大可允许切向速度的限值,以允许所述可移动物体以更大的旋转半径来跟踪所述目标。
150.根据权利要求149所述的系统,其中,所述限值被配置为允许所述用户增加所述旋转半径,以终止跟踪所述目标。
151.根据权利要求138所述的系统,其中,所述控制器被配置为:
通过接收与所述传感装置或用于容纳所述传感装置的载体的视角相关的感知信息,来从所述传感装置接收输入;以及
将所述感知信息从所述传感装置或用于容纳所述传感装置的所述载体的视角变换到所述可移动物体的视角。
152.根据权利要求151所述的系统,其中,所述控制器被配置为从所述可移动物体的视角产生所述一个或多个控制信号。
153.一种具有第一视角的无人机(UAV)系统,包括:
一个或多个推进装置;以及
控制器,与所述一个或多个推进装置通信并且被配置为控制所述UAV跟踪目标对象,所述控制器包括一个或多个处理器,所述处理器被配置为:
接收用户输入,所述用户输入指示在跟踪目标时调整所述目标的感知的命令;
基于所述用户输入来确定所述目标的后续感知;以及
基于所述目标的后续感知来产生用于控制一个或多个推进装置移动所述可移动物体的一个或多个信号。
154.一种存储指令的非暂时性计算机可读介质,所述指令在被执行时使计算机执行用于控制可移动物体的方法,所述方法包括:
接收用户输入,所述用户输入指示在跟踪目标时调整所述目标的感知的命令;
基于所述用户输入来确定所述目标的后续感知;以及
基于所述目标的后续感知来产生用于移动所述可移动物体的一个或多个控制信号。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210690884.2A CN114935937A (zh) | 2016-02-29 | 2016-02-29 | 用于控制可移动物体的方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2016/074824 WO2017147749A1 (en) | 2016-02-29 | 2016-02-29 | Methods and systems for movement control of flying devices |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210690884.2A Division CN114935937A (zh) | 2016-02-29 | 2016-02-29 | 用于控制可移动物体的方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108780316A true CN108780316A (zh) | 2018-11-09 |
CN108780316B CN108780316B (zh) | 2022-07-08 |
Family
ID=59742409
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210690884.2A Pending CN114935937A (zh) | 2016-02-29 | 2016-02-29 | 用于控制可移动物体的方法和系统 |
CN201680082603.8A Expired - Fee Related CN108780316B (zh) | 2016-02-29 | 2016-02-29 | 用于飞行装置的移动控制的方法和系统 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210690884.2A Pending CN114935937A (zh) | 2016-02-29 | 2016-02-29 | 用于控制可移动物体的方法和系统 |
Country Status (7)
Country | Link |
---|---|
US (2) | US10946980B2 (zh) |
EP (2) | EP3398019B1 (zh) |
JP (1) | JP6933656B2 (zh) |
CN (2) | CN114935937A (zh) |
DK (1) | DK3398019T3 (zh) |
ES (1) | ES2902469T3 (zh) |
WO (1) | WO2017147749A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113677412A (zh) * | 2019-04-08 | 2021-11-19 | 索尼集团公司 | 信息处理装置、信息处理方法和程序 |
CN114126964A (zh) * | 2020-03-31 | 2022-03-01 | 深圳市大疆创新科技有限公司 | 可移动平台的控制方法、装置、可移动平台及存储介质 |
CN114842056A (zh) * | 2022-04-19 | 2022-08-02 | 深圳鳍源科技有限公司 | 多机位第一机器视角追随方法、系统、装置及设备 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105974940B (zh) * | 2016-04-29 | 2019-03-19 | 优利科技有限公司 | 适用于飞行器的目标跟踪方法 |
US9663227B1 (en) * | 2015-12-22 | 2017-05-30 | Gopro, Inc. | Systems and methods for controlling an unmanned aerial vehicle |
CN106454069B (zh) * | 2016-08-31 | 2019-11-08 | 歌尔股份有限公司 | 一种控制无人机拍摄的方法、装置和可穿戴设备 |
US10788428B2 (en) * | 2017-09-25 | 2020-09-29 | The Boeing Company | Positioning system for aerial non-destructive inspection |
WO2019138466A1 (ja) * | 2018-01-10 | 2019-07-18 | 楽天株式会社 | 無人航空機制御システム、無人航空機制御方法、及びプログラム |
CN108596116B (zh) * | 2018-04-27 | 2021-11-05 | 深圳市商汤科技有限公司 | 测距方法、智能控制方法及装置、电子设备和存储介质 |
WO2021049147A1 (ja) * | 2019-09-11 | 2021-03-18 | ソニー株式会社 | 情報処理装置、情報処理方法、情報処理プログラム及び制御装置 |
CN112788227B (zh) * | 2019-11-07 | 2022-06-14 | 富泰华工业(深圳)有限公司 | 目标追踪拍摄方法、装置、计算机装置及存储介质 |
EP4131946A4 (en) * | 2020-03-31 | 2023-05-17 | NEC Corporation | OBJECT TRACKING DEVICE, OBJECT TRACKING METHOD AND RECORDING MEDIA |
JP2021193538A (ja) * | 2020-06-09 | 2021-12-23 | ソニーグループ株式会社 | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム |
JP2022077386A (ja) * | 2020-11-11 | 2022-05-23 | ソニーグループ株式会社 | 情報処理方法、情報処理装置及び情報処理システム |
KR102538666B1 (ko) * | 2020-12-04 | 2023-06-01 | 주식회사 팀그릿 | 무선조종 장난감의 원격 제어 방법 및 그 장치 |
WO2022141311A1 (zh) * | 2020-12-30 | 2022-07-07 | 深圳市大疆创新科技有限公司 | 无人机控制方法、装置、无人机、终端、系统及存储介质 |
CN113311861B (zh) * | 2021-05-14 | 2023-06-16 | 国家电投集团青海光伏产业创新中心有限公司 | 光伏组件隐裂特性的自动化检测方法及其系统 |
CN114674405B (zh) * | 2022-03-21 | 2024-03-01 | 广州极飞科技股份有限公司 | 重力测量方法、装置、计算机设备和计算机可读存储介质 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090204276A1 (en) * | 2008-02-12 | 2009-08-13 | Stuckman Katherine C | Radio controlled aircraft, remote controller and methods for use therewith |
US20100250022A1 (en) * | 2006-12-29 | 2010-09-30 | Air Recon, Inc. | Useful unmanned aerial vehicle |
US20120168240A1 (en) * | 2011-01-05 | 2012-07-05 | Adam Wilson | System and method for controlling a self-propelled device using a dynamically configurable instruction library |
US20130211592A1 (en) * | 2012-02-15 | 2013-08-15 | Samsung Electronics Co., Ltd. | Tele-operation system and control method thereof |
CN103285599A (zh) * | 2012-01-04 | 2013-09-11 | 鹦鹉股份有限公司 | 一种通过遥控手段直观领航靶机的方法 |
CN103492967A (zh) * | 2011-04-14 | 2014-01-01 | 赫克斯冈技术中心 | 用于控制无人飞行器的系统和方法 |
US20140008496A1 (en) * | 2012-07-05 | 2014-01-09 | Zhou Ye | Using handheld device to control flying object |
CN104898699A (zh) * | 2015-05-28 | 2015-09-09 | 小米科技有限责任公司 | 飞行控制方法及装置、电子设备 |
WO2016015251A1 (en) * | 2014-07-30 | 2016-02-04 | SZ DJI Technology Co., Ltd. | Systems and methods for target tracking |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8965578B2 (en) * | 2006-07-05 | 2015-02-24 | Battelle Energy Alliance, Llc | Real time explosive hazard information sensing, processing, and communication for autonomous operation |
FR2972364B1 (fr) * | 2011-03-08 | 2014-06-06 | Parrot | Procede de pilotage suivant un virage curviligne d'un drone a voilure tournante a rotors multiples. |
JP5854348B2 (ja) * | 2011-08-02 | 2016-02-09 | 株式会社マイスタジオ | リモートコントロール方法及びリモートコントロールシステム |
JP2016525973A (ja) * | 2013-05-06 | 2016-09-01 | スフィロ インコーポレイテッド | 多目的自己推進デバイス |
CN103345259B (zh) * | 2013-07-01 | 2015-09-30 | 哈尔滨工程大学 | 动力定位船舶实现定位旋转的几何坐标变换导引控制方法 |
EP3114902A1 (en) * | 2014-02-28 | 2017-01-11 | Bombardier Inc. | Method, system, and executable program product for controlling passenger services |
US9457901B2 (en) * | 2014-04-22 | 2016-10-04 | Fatdoor, Inc. | Quadcopter with a printable payload extension system and method |
US9817396B1 (en) * | 2014-06-09 | 2017-11-14 | X Development Llc | Supervisory control of an unmanned aerial vehicle |
CN104906805B (zh) * | 2015-06-03 | 2017-05-17 | 南京邮电大学 | 一种基于主动式姿态检测的航模飞行器安全遥控方法及系统 |
US10086309B2 (en) * | 2015-11-25 | 2018-10-02 | Casio Computer Co., Ltd. | Flight device, flight method thrown by user and storage medium |
US20170269594A1 (en) * | 2016-03-16 | 2017-09-21 | Bryan Sydnor | Controlling an Unmanned Aerial System |
-
2016
- 2016-02-29 DK DK16891942.1T patent/DK3398019T3/da active
- 2016-02-29 JP JP2018545148A patent/JP6933656B2/ja active Active
- 2016-02-29 CN CN202210690884.2A patent/CN114935937A/zh active Pending
- 2016-02-29 WO PCT/CN2016/074824 patent/WO2017147749A1/en unknown
- 2016-02-29 EP EP16891942.1A patent/EP3398019B1/en active Active
- 2016-02-29 CN CN201680082603.8A patent/CN108780316B/zh not_active Expired - Fee Related
- 2016-02-29 EP EP21194307.1A patent/EP3936961A1/en not_active Withdrawn
- 2016-02-29 ES ES16891942T patent/ES2902469T3/es active Active
-
2018
- 2018-08-28 US US16/115,149 patent/US10946980B2/en active Active
-
2021
- 2021-03-01 US US17/189,237 patent/US11572196B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100250022A1 (en) * | 2006-12-29 | 2010-09-30 | Air Recon, Inc. | Useful unmanned aerial vehicle |
US20090204276A1 (en) * | 2008-02-12 | 2009-08-13 | Stuckman Katherine C | Radio controlled aircraft, remote controller and methods for use therewith |
US20120168240A1 (en) * | 2011-01-05 | 2012-07-05 | Adam Wilson | System and method for controlling a self-propelled device using a dynamically configurable instruction library |
CN103492967A (zh) * | 2011-04-14 | 2014-01-01 | 赫克斯冈技术中心 | 用于控制无人飞行器的系统和方法 |
CN103285599A (zh) * | 2012-01-04 | 2013-09-11 | 鹦鹉股份有限公司 | 一种通过遥控手段直观领航靶机的方法 |
US20130211592A1 (en) * | 2012-02-15 | 2013-08-15 | Samsung Electronics Co., Ltd. | Tele-operation system and control method thereof |
US20140008496A1 (en) * | 2012-07-05 | 2014-01-09 | Zhou Ye | Using handheld device to control flying object |
WO2016015251A1 (en) * | 2014-07-30 | 2016-02-04 | SZ DJI Technology Co., Ltd. | Systems and methods for target tracking |
CN104898699A (zh) * | 2015-05-28 | 2015-09-09 | 小米科技有限责任公司 | 飞行控制方法及装置、电子设备 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113677412A (zh) * | 2019-04-08 | 2021-11-19 | 索尼集团公司 | 信息处理装置、信息处理方法和程序 |
CN113677412B (zh) * | 2019-04-08 | 2023-10-10 | 索尼集团公司 | 信息处理装置、信息处理方法和程序 |
CN114126964A (zh) * | 2020-03-31 | 2022-03-01 | 深圳市大疆创新科技有限公司 | 可移动平台的控制方法、装置、可移动平台及存储介质 |
CN114842056A (zh) * | 2022-04-19 | 2022-08-02 | 深圳鳍源科技有限公司 | 多机位第一机器视角追随方法、系统、装置及设备 |
Also Published As
Publication number | Publication date |
---|---|
WO2017147749A1 (en) | 2017-09-08 |
DK3398019T3 (da) | 2021-12-13 |
EP3936961A1 (en) | 2022-01-12 |
EP3398019A4 (en) | 2019-04-03 |
CN108780316B (zh) | 2022-07-08 |
US10946980B2 (en) | 2021-03-16 |
EP3398019A1 (en) | 2018-11-07 |
JP2019511044A (ja) | 2019-04-18 |
CN114935937A (zh) | 2022-08-23 |
ES2902469T3 (es) | 2022-03-28 |
US11572196B2 (en) | 2023-02-07 |
US20180362185A1 (en) | 2018-12-20 |
US20210276731A1 (en) | 2021-09-09 |
JP6933656B2 (ja) | 2021-09-08 |
EP3398019B1 (en) | 2021-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108780316A (zh) | 用于飞行装置的移动控制的方法和系统 | |
US20210116944A1 (en) | Systems and methods for uav path planning and control | |
US11632497B2 (en) | Systems and methods for controlling an image captured by an imaging device | |
CN108351653B (zh) | 用于uav飞行控制的系统和方法 | |
CN110494360B (zh) | 用于提供自主摄影及摄像的系统和方法 | |
JP6735821B2 (ja) | Uav経路を計画し制御するシステム及び方法 | |
JP6816156B2 (ja) | Uav軌道を調整するシステム及び方法 | |
WO2018193574A1 (ja) | 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体 | |
CN109564433A (zh) | 用于可移动物体的高度控制的系统和方法 | |
WO2019119441A1 (zh) | 体感控制器控制云台的方法、云台、体感控制器和系统 | |
CN113677412B (zh) | 信息处理装置、信息处理方法和程序 | |
JP6940459B2 (ja) | 情報処理装置、撮影制御方法、プログラム及び記録媒体 | |
JP6875269B2 (ja) | 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体 | |
JP2021073796A (ja) | 制御装置、及び画像を取得する方法 | |
JP2021036452A (ja) | Uav軌道を調整するシステム及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220708 |