CN107924638A - 用于云台模拟的系统和方法 - Google Patents
用于云台模拟的系统和方法 Download PDFInfo
- Publication number
- CN107924638A CN107924638A CN201580081616.9A CN201580081616A CN107924638A CN 107924638 A CN107924638 A CN 107924638A CN 201580081616 A CN201580081616 A CN 201580081616A CN 107924638 A CN107924638 A CN 107924638A
- Authority
- CN
- China
- Prior art keywords
- holder
- transport
- simulation
- control system
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 552
- 238000000034 method Methods 0.000 title claims abstract description 165
- 230000000007 visual effect Effects 0.000 claims abstract description 62
- 230000004044 response Effects 0.000 claims description 293
- 238000004891 communication Methods 0.000 claims description 65
- 230000001052 transient effect Effects 0.000 claims description 40
- 230000000694 effects Effects 0.000 claims description 35
- 238000010586 diagram Methods 0.000 claims description 12
- 230000006641 stabilisation Effects 0.000 claims description 9
- 238000011105 stabilization Methods 0.000 claims description 9
- 230000005059 dormancy Effects 0.000 claims description 5
- 238000012546 transfer Methods 0.000 claims description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 abstract description 8
- 238000012549 training Methods 0.000 abstract description 7
- 230000036544 posture Effects 0.000 description 128
- 238000004422 calculation algorithm Methods 0.000 description 41
- 230000033001 locomotion Effects 0.000 description 34
- 230000006870 function Effects 0.000 description 31
- 230000007246 mechanism Effects 0.000 description 25
- 230000008859 change Effects 0.000 description 22
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 21
- 238000012545 processing Methods 0.000 description 21
- 230000004927 fusion Effects 0.000 description 13
- 230000001141 propulsive effect Effects 0.000 description 13
- 230000001133 acceleration Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 6
- 238000001556 precipitation Methods 0.000 description 6
- 238000002156 mixing Methods 0.000 description 5
- 241001269238 Data Species 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000011049 filling Methods 0.000 description 3
- 230000000977 initiatory effect Effects 0.000 description 3
- 230000005055 memory storage Effects 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000010006 flight Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000035484 reaction time Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241001416181 Axis axis Species 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011068 loading method Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 238000005036 potential barrier Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000004781 supercooling Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/16—Control of vehicles or other craft
- G09B19/165—Control of aircraft
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/12—Motion systems for aircraft simulators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B9/00—Simulators for teaching or training purposes
- G09B9/02—Simulators for teaching or training purposes for teaching control of vehicles or other craft
- G09B9/08—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer
- G09B9/48—Simulators for teaching or training purposes for teaching control of vehicles or other craft for teaching control of aircraft, e.g. Link trainer a model being viewed and manoeuvred from a remote point
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/60—UAVs specially adapted for particular uses or applications for transporting passengers; for transporting goods other than weapons
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/12—Avionics applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
- H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Remote Sensing (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Entrepreneurship & Innovation (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Mechanical Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明提供了用于训练用户在环境中控制云台(105,1408)的系统(1600)、装置和方法。所述系统(1600)和方法提供了模拟环境从而在虚拟环境中控制云台(105,1408)。所述虚拟环境非常类似于真实的控制环境。控制器(101)可用于传输模拟命令并接收模拟数据以进行视觉显示。
Description
背景
飞行模拟器已经被应用在航空领域中许多年并且对于训练飞行员或用户非常有用。通常情况下,飞行模拟器可以为受训者提供与真实场景非常相似的虚拟场景。使用这个虚拟场景和辅助装置,诸如手持式装置,受训者可以能够虚拟地在模拟条件下
体验对飞行器的飞行控制。
然而,当前飞行模拟器主要通过在个人计算机(“PC”)上运行的软件应用程序提供基本飞行器操作功能并且对于无人飞行器(“UAV”)不能够提供使得用户能够练习操控载具(诸如云台)的特征。云台将相机耦接到UAV从而允许UAV执行各种任务,包括例如空中勘测、空中成像、空中摄影等。这种缺乏云台模拟的情况不允许用户提前训练来学习熟练地控制云台。
发明内容
需要提供一种在模拟环境中训练用户控制无人飞行器(UAV)的飞行的方法。在此提供了用来模拟云台控制的系统和方法。
因此,一方面,提供了一种模拟云台控制的方法。所述方法包括:接收(1)来自遥控系统的云台控制数据,所述遥控系统被配置成用于与所述云台控制系统通信以及(2)对所述载运工具的模拟姿态进行描述的位置数据;在云台控制系统处基于所述云台控制数据和对所述载运工具的模拟姿态进行描述的所述位置数据生成模拟云台响应数据;并且将所述模拟云台响应数据从机载于所述载运工具上的所述云台控制系统传输至所述遥控系统。
另一方面,提供了一种云台模拟系统。所述云台模拟系统包括:机载于载运工具上的云台;机载于所述载运工具上的云台控制系统,所述云台控制系统被配置成用于:(1)接收来自遥控系统的云台控制数据,(2)接收从机载于所述载运工具上的载运工具控制系统生成的对所述载运工具的模拟姿态进行描述的位置数据;并且(3)基于(i)所述云台控制数据以及(ii)对所述载运工具的所述模拟姿态进行描述的所述位置数据生成模拟云台响应数据;以及通信单元,所述通信单元被配置成用于将所述模拟云台响应数据传输至所述遥控系统。
另一方面,提供了一种模拟云台控制的方法。所述方法包括:在远离载运工具的遥控系统处接收由机载于所述载运工具上的云台控制系统生成的模拟云台响应数据,其中,所述模拟云台响应数据是基于以下数据生成的:(1)来自被配置成用于与所述云台控制系统通信的所述遥控系统的云台控制数据以及(2)从机载于所述载运工具上的载运工具控制系统生成的对所述载运工具的姿态进行描述的位置数据;并且在所述遥控系统处基于所述模拟云台响应数据显示模拟云台表示。
另一方面,提供了一种非瞬态计算机可读介质,所述非瞬态计算机可读介质包括用于执行云台模拟的程序指令。所述非瞬态计算机可读介质包括:程序指令,这些程序指令用于处理在远离所述载运工具的遥控系统处接收的模拟云台响应数据,所述模拟云台响应数据由机载于所述载运工具上的云台控制系统生成,其中,所述模拟云台响应数据是基于以下数据生成的:(1)来自被配置成用于与所述云台控制系统通信的所述遥控系统的云台控制数据以及(2)从机载于所述载运工具上的载运工具控制系统生成的对所述载运工具的姿态进行描述的位置数据;以及程序指令,这些程序指令用于在所述遥控系统处基于所述模拟云台响应数据显示模拟云台表示。
另一方面,提供了一种模拟云台控制的方法。所述方法包括:接收指示从多种云台模式中进行选择的云台模式信号;接收(1)来自遥控系统的云台控制数据以及(2)从机载于所述载运工具上的载运工具控制系统生成的对所述载运工具的模拟姿态进行描述的位置数据;在所述云台控制系统处基于以下数据生成模拟云台响应数据:(1)所述云台控制数据,(2)对所述载运工具的所述模拟姿态进行描述的所述位置数据,以及(3)所述云台模式信号,其中,所述模拟云台响应数据在所述多种云台模式中的每一种模式下相对于所述载运工具的环境使一组不同的轴稳定。
另一方面,提供了一种机载于载运工具上的云台。所述云台包括:接收器,所述接收器被配置成用于接收指示从多种云台模式中进行选择的云台模式信号;以及云台控制系统,所述云台控制系统被配置成用于:(1)接收来自遥控系统的云台控制数据,(2)接收从机载于所述载运工具上的载运工具控制系统生成的对所述载运工具的模拟姿态进行描述的位置数据;并且(3)基于(1)所述云台控制数据,(2)对所述载运工具的所述模拟姿态进行描述的所述位置数据,以及(3)所述云台模式信号生成模拟云台响应数据,其中,所述模拟云台响应数据在所述多种云台模式中的每一种模式下相对于所述载运工具的环境使一组不同的轴稳定。
另一方面,提供了一种操作机载于载运工具上的云台的方法。所述方法包括:接收指示所述云台将要处于活动模式还是模拟模式的云台模式信号;接收来自遥控系统的云台控制数据;并且在所述云台控制系统处基于来自所述遥控系统的所述云台控制数据生成云台响应数据,其中,所述云台响应数据(1)当所述云台处于所述活动模式时被传达至被配置成用于调整所述云台的布置的一个或多个致动器,并且(2)当所述云台处于所述模拟模式时不被传达至一个或多个致动器。
另一方面,提供了一种机载于载运工具上的云台。所述云台包括:接收器,所述接收器被配置成用于接收指示所述云台将要处于活动模式还是模拟模式的云台模式信号;云台控制系统,所述云台控制系统被配置成用于(1)接收来自遥控系统的云台控制数据,并且(2)基于来自所述遥控系统的所述云台控制数据生成云台响应数据;以及一个或多个致动器,所述一个或多个致动器被配置成用于(1)当所述云台处于所述活动模式时调整所述云台的布置、或(2)当所述云台处于所述模拟模式时保持休眠并且不调整所述云台的所述布置。
另一方面,提供了一种模拟云台控制的方法。所述方法包括:接收(1)来自遥控系统的云台控制数据,所述遥控系统被配置成用于与所述云台控制系统通信以及(2)对所述载运工具的模拟姿态进行描述的位置数据;在云台控制系统处基于所述云台控制数据和对所述载运工具的模拟姿态进行描述的所述位置数据生成模拟云台响应数据;并且将所述模拟云台响应数据和所述载运工具的所述模拟姿态传输至显示装置,其中,所述显示装置基于所述模拟云台响应数据和所述载运工具的所述模拟姿态生成视觉描绘。
另一方面,提供了一种云台模拟系统。所述云台模拟系统包括:机载于载运工具上的云台;机载于所述载运工具上的云台控制系统,所述云台控制系统被配置成用于:(1)接收来自遥控系统的云台控制数据,(2)接收从机载于所述载运工具上的载运工具控制系统生成的对所述载运工具的模拟姿态进行描述的位置数据;并且(3)基于(i)所述云台控制数据以及(ii)对所述载运工具的所述模拟姿态进行描述的所述位置数据生成模拟云台响应数据;以及通信单元,所述通信单元被配置成用于将所述模拟云台响应数据和所述载运工具的所述模拟姿态传输至显示装置,其中,所述显示装置基于所述模拟云台响应数据和所述载运工具的所述模拟姿态生成视觉描绘。
应理解的是可以单独地、共同地、或相互组合地认识本发明的不同方面。本文中所述的本发明的各个方面可以应用到以下阐述的任何特定应用或用于任何其他类型的可移动物体。本文中对飞行器(诸如无人飞行器)的任何描述可以适用于任何可移动物体(诸如任何载运工具)。此外,本文中公开的空中运动(例如,飞行)背景下的系统、装置以及方法也可应用在其他类型的运动的背景下,例如在地面或水上的移动、水下运动、或太空中运动。
通过阅览说明书、权利要求书以及附图,本发明的其他目的和特征将变得明显。
援引并入
本说明书中提及的所有出版物、专利和专利申请均通过引用并入本文,如同每一个单独的出版物、专利或专利申请均被明确且分别地指明通过引用并入本文。
附图说明
在所附权利要求书中具体阐述了本发明的新颖特征。通过参考阐述说明性实施方式的以下利用本发明原理的具体实施方式,可更好地理解本发明的特征和优点并且在附图中:
图1示出了根据本发明的实施方式的示例系统架构。
图2示出了根据本发明的实施方式的模拟方法的示例。
图3示出了根据本发明的实施方式的第一人称视角(“FPV”)模式下的模拟方法的示例。
图4示出了根据本发明的实施方式的跟随模式下的模拟方法的示例。
图5示出了根据本发明的实施方式的自由云台模式下的模拟方法的示例。
图6示出了根据本发明的实施方式的当考虑环境因素时的模拟方法的示例。
图7示出了根据本发明的实施方式的模拟方法的示例。
图8示出了根据本发明的实施方式的模拟方法的示例。
图9为根据本发明的实施方式的机载于载运工具上的云台的示意图。
图10示出了根据本发明的实施方式的用于操作云台的方法的示例。
图11为根据本发明的实施方式的云台的示意图。
图12示出了根据本发明的实施方式的模拟方法的示例。
图13是根据本发明的实施方式的云台模拟系统的示意图。
图14示意性地示出了根据本发明的实施方式的具有云台的UAV。
图15示出了根据本发明的实施方式的包括载具和负载的可移动物体。
图16为根据本发明的实施方式的用于控制可移动物体的系统的框图形式的示意图。
具体实施方式
本发明的系统、装置和方法提供了用于训练用户操控和控制载具的机构,所述载具可以是在虚拟或模拟环境中的云台。云台可以由载运工具(诸如无人飞行器(“UAV”)支撑,并且可以用来支撑负载。负载可以是成像装置,所述成像装置可以用于航拍。云台模拟可以发生在载运工具在真实环境中不移动(例如,UAV在真实环境中不飞行)的时候。云台模拟可以发生在云台正在移动或未移动的时候。由用户从在虚拟环境中操控云台所获得的技能和体验可直接适用于在真实环境中操控云台。本文中所描述的系统、装置和方法进一步提供了一种模拟平台,所述模拟平台采用可以用于云台的真实操控的至少一些部件。对UAV的描述可以应用于任何其他类型的无人载运工具或任何其他类型的可移动物体。
云台的一个或多个功能可以至少部分地由来自用户的输入控制。来自用户的输入可以通过遥控器提供给云台。遥控器可以用来控制UAV在真实飞行环境中的飞行。遥控器可以用来控制UAV的云台和/或UAV的负载在真实飞行环境中的移动。通过遥控器提供输入用于控制云台的一个或多个的功能可能对初学用户是困难的。在一些情况下,不熟悉通过遥控器提供输入用于控制云台的一个或多个功能的用户可能不能使用遥控器实现期望的结果。不能使用遥控器实现云台的良好操控可能导致不能适应载运工具在实际飞行中的移动并且使得不可能实现期望的航拍。因此,可能有利的是提供模拟练习,其中用户可以训练和练习使用控制器系统在虚拟环境中控制实际云台。
在一些情况下,虚拟或模拟环境可以是室外环境、室内环境或混合室外和室内环境,其中可以独立地操作云台或结合云台耦接到的UAV来操作云台。云台在虚拟环境中的操作可以是云台的虚拟操作。云台的虚拟操作可以包括或可以不包括一个或多个云台部件围绕一条或多条轴的真实旋转。在某些实例中,云台的虚拟操作可以仅包括所述一个或多个云台部件围绕一条或多条轴的虚拟旋转。可以绕一条、两条、三条或更多条轴控制由云台支撑的负载的取向。这种控制可以发生在真实环境或虚拟环境中。
虚拟或模拟环境可表示存在于真实时空中的真实环境并且可在物理世界中是有形的。在某些实例中,关于真实环境收集的数据可用来制定虚拟或模拟环境。例如,一个或多个传感器可以收集有关真实环境的数据。来自传感器的数据可以用来帮助制定虚拟或模拟环境。个人可以以物理方式与真实环境交互。此外,虚拟或模拟环境可以是计算机软件结构中的模拟环境和载运工具(诸如UAV)中的真实环境的混合物。虚拟或模拟环境可以从来自用户、软件开发者的一个或多个输入、或来自数据库的信息来创建。虚拟或模拟环境可以表示存在于真实时空中的环境或者不存在于真实时空中的虚构环境。虚拟或模拟环境可以包括定义的边界、障碍物和表面。虚拟或模拟环境可以具有定义的介质来支持云台的操控,例如,所述介质可以是空气。所述介质可存在并且在数学上被定义在虚拟环境中。在某些实施方式中,虚拟环境不存在于物理有形世界中。
被配置成用于在虚拟或模拟环境中控制真实云台的遥控器可以与用来在真实环境中控制真实云台的遥控器相同或相似。在某些实例中,模拟遥控器可以与用来在真实环境中控制云台的实际遥控器相同。在某些实例中,模拟遥控器可以是用来在真实环境中控制云台的遥控器的精确复制品或副本。对相同遥控器的任何描述还可以适用于一种复制品或副本或类型的遥控器。在某些实例中,模拟遥控器可以具有与用来在真实环境中控制云台的实际遥控器完全相同的一个或多个特征。模拟遥控器可以具有或可以不具有与用来在真实环境中控制云台的实际遥控器不同的一个或多个特征。提供相同的控制器用于在模拟和真实环境两者中使用可以为用户带来更逼真的训练体验。用户可以开发与物理接口在遥控器上的移动或操控相关联的肌肉记忆。在云台的模拟模式和活动模式两者下提供完全相同的遥控器可以提供利用在模拟模式下形成的肌肉记忆在活动模式下使用的优点,其中云台可以物理地耦接到UAV并且在UAV起飞并且在空中飞行时移动云台所搭载的用于航拍的成像装置。当云台处于活动模式时,肌肉记忆可以增加反应时间、精度和准确度。提供相同的控制器在云台的模拟和活动模式两者下使用可以使用户熟悉遥控器上的控件的灵敏度。例如,用户可以熟悉云台对来自遥控器的输入的响应时间。在另一个示例中,用户可以熟悉响应相对于物理接口在遥控器上的移动的幅度。此外,用户可以记住遥控器上的旋钮、按钮、操控杆和/或拨盘在模拟模式下的位置。因此,当云台处于活动模式时,这些部件的记忆位置可以增加反应时间并且因此提高用户控制云台的能力。
在一些情况下,UAV、云台和/或负载可被配置成用于执行自主任务。自主任务可以在云台模拟期间和/或云台的激活操作期间进行。自主任务可由用户发起,例如,指令UAV、云台和/或负载进入云台模拟程序。在自主任务由用户发起之后,在执行自主任务时,UAV、云台和/或负载可能不需要来自用户的附加控制或输入。自主任务可以使UAV进入预定序列。预定序列可以包括不需要用户输入的一系列动作。例如,UAV可以进入预定的飞行序列。这可以包括相对于环境(虚拟或真实)或相对于参考点(例如,地面站、目的地点)的自动起飞序列、自动降落序列或预定或半确定的飞行路径。UAV的自主任务的另一示例可以包括操作可收集关于UAV的环境的信息的一个或多个传感器。在另一示例中,自主任务可以包括通信任务。自主任务可以涉及操作UAV的云台和/或负载。在一个示例中,自主任务可以指令云台进入模拟模式和/或指令云台退出模拟模式。自主任务可以包括在模拟模式下将UAV的位置数据(真实或虚拟)传输至云台。自主任务可以包括根据一个或多个稳定模式稳定云台上的负载。自主任务可以包括借助负载来跟踪(真实或虚拟)目标。自主任务可以包括负载的任何功能,诸如打开或关闭负载、进入不同图像捕捉模式(例如,视频相对于静态、滤波、彩色以及照明)、变焦或任何其他功能。
云台模拟可以与或可以不与载运工具运动模拟耦接。例如,如果云台是由UAV支撑的,云台模拟可以与UAV的飞行模拟耦接。在模拟期间,用户可以具有对云台和/或UAV的虚拟控制。在一些情况下,用户可以具有对云台的虚拟控制而不具有对UAV的虚拟控制。例如,在用户练习单独控制云台时,UAV可以在模拟期间自主飞行。在其他实例中,用户可以控制UAV的飞行和云台的操作两者以便模拟当用户将操作这两者时的情形。
UAV的位置可能影响云台的操作。例如,负载的取向可能受到云台的配置与UAV的取向影响。类似地,负载在空间中的方位可能受到云台的配置和UAV在空间中的方位(例如,空间坐标)影响。关于UAV位置的信息(真实或虚拟)可以用来辅助云台模拟。
本文中的位置数据可以包括描述UAV在模拟模式下的姿态的模拟飞行器姿态数据,诸如绕俯仰轴的姿态数据、绕横滚轴的姿态数据和绕偏航轴的姿态数据,它们可以被分别表示为pitch_aircraft、roll_aircraft和yaw_aircraft。位置数据可以包括模拟飞行器空间方位数据,所述方位数据可包括在模拟模式下UAV在空间中的位置,诸如纬度、经度和/或高度。模拟飞行器数据可以包括任何类型的位置数据。在一些情况下,模拟飞行器数据可以源自UAV在飞行时或来自一次或多次先前飞行的真实数据。模拟飞行器数据可以替代地不基于真实位置数据并且可构成为飞行模拟数据的一部分。模拟数据可以取决于或可以不取决于来自用户的控制飞行器的虚拟飞行的输入。在一些情况下,模拟数据可以由计算装置通过在计算装置上运行的位置数据发生器随机地生成。在一些情况下,模拟飞行器数据可以是已经由用户存储在计算装置(诸如个人计算机(PC)或移动装置)的存储器中的半静态位置数据并且可以根据UAV的最近真实位置数据被周期性地更新。在一些情况下,模拟飞行器数据可以直接存储在存储器的任何位置处以供在模拟中使用。存储器可以是机载于UAV上、机载于云台上、机载于负载上、机载于遥控器上、机载于分离的装置(例如,服务器)上或作为云计算基础设施的一部分。模拟飞行器数据可以包括任何类型的飞行器位置数据(例如,姿态数据、空间方位数据)。
在模拟期间,用户可练习控制云台的操作。用户可以通过提供直接对应于云台的反应的一个或多个输入来直接控制云台的虚拟操作。例如,用户可以控制一个或多个云台部件可以如何旋转。用户可以直接控制负载绕俯仰轴、偏航轴和/或横滚轴的旋转。用户输入可直接对应于负载绕一个或多个轴的旋转。用户可以控制云台部件旋转多大幅度从而产生相应的负载旋转、旋转多快或旋转的加速度。
用户可以通过提供可使得云台反应的一个或多个输入来间接控制云台的虚拟操作。例如,所述输入可以使得云台执行自主任务而无需由用户进一步干预或输入。在一个示例中,所述输入可以使得云台自动跟踪物体。甚至当UAV位置可以改变时,负载可保持瞄准物体。云台可自动补偿UAV位置的改变。
在一些情况下,用户可以练习指令云台执行自主任务。执行自主任务的指令可以经由与在活动模式下使用的接口完全相同的接口提供给处于模拟模式的云台。所述接口可以是遥控器。自主任务可以建立与UAV或与外部计算装置或存储器的通信链路从而接收模拟飞行器姿态数据。自主任务可以进一步执行数据融合,所述数据融合旨在对包括UAV的模拟飞行器姿态数据的位置数据和云台的云台控制数据进行组合以获得云台的模拟云台响应数据。
云台模拟可以利用或可以不利用实际云台数据。遥控器可以与物理云台通信。关于物理云台的数据可以被用来帮助所述模拟。所述数据可以包括云台姿态信息,如本文进一步描述的。云台姿态信息可以包括由云台支撑的负载的姿态。云台姿态信息可以包括一个或多个云台部件的姿态。所述数据可以包括关于被发送至云台的一个或多个致动器的信号的信息。所述数据可以包括关于来自云台的一个或多个致动器的反馈的信息。在某些实例中,替代或除了实际云台数据之外,还可以使用虚拟云台数据。例如,可基于来自遥控器的控制云台的一个或多个致动器的信号来提供虚拟云台姿态信息。来自物理云台的信号可以用来或可以不用来生成虚拟云台姿态信息或任何其他类型的虚拟云台数据。
云台的云台控制数据可以包括当云台在操作时所收集或采样的云台的真实姿态数据。例如,当云台绕俯仰轴、横滚轴和偏航轴中的一个或多个轴旋转时,实时地或近实时地收集云台的真实姿态数据。这可以发生而不要求涉及在飞行中的UAV。因此,云台的真实姿态数据可以是云台相对于云台可以耦接到的UAV的俯仰姿态数据、横滚姿态数据及偏航姿态数据。例如,俯仰姿态数据、横滚姿态数据和偏航姿态数据可以被分别表示为pitch_gimbal_real、roll_gimbal_real和yaw_gimbal_real。
云台控制数据可以包括实际云台数据和/或虚拟云台数据。云台控制数据可以与UAV位置数据组合。UAV位置数据可以是UAV虚拟位置数据,诸如姿态和/或位置。所述数据可以在模拟生成系统处被组合。所述模拟生成可以包括一个或多个处理器。模拟生成系统可以设置成机载于UAV上、机载于云台上、机载于负载上、机载于遥控器上、机载于远程装置上、在云计算基础设施中或分布在任何组合上。
在一些情况下,云台的这些真实姿态数据可以被传输至遥控器用于与包括UAV的模拟姿态数据的位置数据进行数据融合。
在一些情况下,UAV的云台控制数据和位置数据可以在时域中与彼此同步,从而使得云台的所产生的模拟云台响应数据更接近于真实环境并且因此用户可以获得更好的训练效果。用户命令可以被发送到云台,所述云台可以在或可以不在物理上做出响应,但是可导致云台响应数据被发送回。通过利用物理云台,云台响应数据可以在响应的时间和/或实质内容上更逼真。模拟云台响应数据可以表示为pitch_gimbal、roll_gimbal和yaw_gimbal,表示云台相对于UAV-机体坐标系的相对位置,或表示云台相对于地球表面惯性参考坐标系的绝对位置。
云台控制模拟可以使用显示装置来描绘云台的虚拟模拟环境。应用程序可以在显示装置上运行。显示装置可以是可以控制云台的操作的遥控器的一部分。显示装置可以是与遥控器分离的装置。显示装置可以与或可以不与遥控器通信。显示装置可以可选地可拆卸地安装在遥控器上,或具有与遥控器共享的基板。显示装置可以在物理上与遥控器分离并且可以与或可以不与遥控器进行无线通信。显示装置和遥控器可以是遥控系统的一部分。
应用程序可以使显示器示出三维虚拟环境。虚拟环境可以从也可以示出UAV和/或云台的第三方视角示出。虚拟环境可以从由云台支撑的成像装置的角度示出。显示装置可以示出云台在环境内的移动。这可以从云台外面的角度示出,其可以示出各种云台部件可以如何相对于彼此和/或环境移动。此外,应用程序还可以示出随着云台的所产生的模拟姿态数据而动态地变化的视频图像。在某些实例中,显示装置可以同时示出多个视图。例如,所述多个视图可以包括从UAV和/或云台外面的角度观看的视图以及从成像装置的角度观看的视图。以此方式,由用户对云台执行的操控可被可视化并且用户可能能够直观地调整云台的移动,从而使得可在所述模拟环境中捕捉期望的图像或图片。
如先前所描述,机载于载运工具上的载运工具控制系统可用来控制载运工具的移动或姿态。当载运工具是UAV时,则载运工具控制系统可以是可以用来控制UAV在虚拟或模拟环境中的飞行的飞行控制系统。载运工具控制系统可以是模拟生成系统的一部分。载运工具控制系统可以包括一个或多个处理器。载运工具控制系统可以机载于UAV上、机载于云台上、机载于负载上、机载于遥控器上、机载于分离的装置上、在云计算基础设施中或分布在任何组合上。载运工具控制系统可以使用来自虚拟传感器或真实传感器的数据来生成UAV的模拟飞行和模拟姿态数据。在某些实例中,UAV可以在飞行模式或模拟模式下操作。当处于飞行模式时,UAV飞行控制系统可以发送信号至UAV的推进单元以实现UAV的飞行。当处于模拟模式时,UAV飞行控制系统可以发送信号至物理模型而不发送信号给推进单元。物理模型可以提供虚拟反馈,这可以帮助定义UAV的模拟飞行。可以在UAV的真实飞行和UAV的模拟飞行期间使用同一个飞行控制系统。
进一步地如先前所描述,遥控系统可以用来控制云台在虚拟或模拟环境中的移动。遥控系统可以包括被配置成用于接受用户输入以便实现对云台的控制的遥控器。遥控系统可以被配置成用于与机载于UAV和/或云台上的云台控制系统通信。遥控系统还可以被配置成用于接收UAV的模拟姿态数据并将云台的模拟姿态数据传输至显示装置以用于视觉显示。模拟生成系统可以是或可以不是遥控系统。模拟生成系统可以是在与遥控系统分离的一个或多个装置上。
本文中提供了被配置成用于提供逼真云台模拟的系统、方法和装置。逼真云台模拟可以是包括在云台的实际操作中使用的部件的云台控制模拟。在图1中示出了逼真云台模拟系统的可能的部件。逼真云台模拟系统可以包括遥控器101、显示装置102、遥控器与显示装置之间的连接器103、载运工具104(诸如UAV)、由所述载运工具支撑的云台105、和负载(诸如由云台支撑的图像捕捉装置106)。
遥控系统可以与云台控制系统通信。遥控系统可以包括遥控器和/或显示装置。如图所示,遥控器和显示装置可以是分开的装置。遥控器和显示装置可以经由连接器彼此连接。连接器可以是柔性缆线。遥控器和显示装置可以彼此直接连接。遥控器和显示装置可以可移除地彼此直接连接或彼此永久连接。遥控器和显示装置可以经由一个或多个中间装置彼此间接连接。遥控器和显示装置可以可移除地彼此间接连接或者彼此永久连接。遥控器和显示装置可以物理地与彼此分离。遥控器和显示装置可以与彼此通信。遥控器和显示装置可以经由硬有线连接或经由无线连接通信。在某些实例中,可提供直接无线通信。替代地,可提供间接无线通信,诸如与一个或多个中间装置(例如,基站、卫星、塔)或通过网络通信。遥控器和显示装置可以是同一个装置。遥控器可以接受输入以便影响UAV和/或云台的操作并且显示与模拟有关的信息。遥控系统可以包含单个装置或多个装置。
遥控器可以用来控制云台在活动模式或模拟模式下的操作。遥控器可以是用以在实际飞行操作中或在模拟模式下控制UAV的同一个遥控器。在一些情况下,遥控器可以是用来在实际飞行操作中控制云台和/或UAV的遥控器的类似或完全相同的复制品。遥控器可以具有物理用户接口机构的任何组合。物理用户接口机构可以是遥控器上的用户触摸或操控以便控制云台和/或UAV的至少一个功能的部件。在一个示例中,物理用户接口机构可以是按钮、操控杆、控制杆、滚球、触摸屏、开关、拨盘或旋钮。物理接口可包括可测量遥控器的姿态的一个或多个惯性传感器。在一些情况下,物理用户接口可包括两个或更多个操控杆。操控杆可竖直和/或水平移动。操控杆既可以竖直移动又可以水平移动。操控杆可以用来控制俯仰、横滚和偏航,并且因此物理用户接口机构可以被配置成用于使得用户可以控制云台绕横滚轴、偏航轴和/或俯仰轴的移动,如图1中所示。物理用户接口机构可以被进一步配置成用于提供在模拟环境中对云台和/或UAV的操作的用户控制。在某些实施方式中,一个或多个控件可以用于控制云台和UAV。这些控件可以是物理或虚拟控件。例如,物理控件可以是可以用来控制云台和UAV的同一组操控杆,而虚拟控件可以是用于控制云台和UAV的虚拟方向键。在其他实施方式中,不同组操控杆可以用于控制云台和UAV。类似地,同一个物理用户接口可以用于控制云台和UAV。替代地,同一个物理用户接口可以用于控制云台和UAV。同一个遥控器可以用于控制云台和UAV。在某些实施方式中,云台遥控器和UAV遥控器可以被提供为分离的装置。云台遥控器和UAV遥控器可以在或者可以不在物理上彼此连接。云台遥控器和UAV遥控器可以与或者可以不与彼此通信。云台遥控器和UAV遥控器可以被配置成用于同时由同一个用户操作。替代地,云台遥控器和UAV遥控器可以被配置成用于同时由不同的用户操作。在一些情况下,对于云台模拟,仅提供用于云台的控件。替代地,可提供用于云台和UAV两者的控件。
在一些情况下,物理用户接口可提供用于控制UAV的非飞行动作的机构。非飞行动作可以是移动机载于UAV上的传感器或负载。非飞行动作还可以包括致动UAV的可以被配置成用于搭载负载的云台。非飞行动作的另一示例可以是收集和/或报告先前由机载于UAV上的传感器收集的模拟姿态数据。此外,物理用户接口可提供用于由UAV发起自主动作或任务的机构。在一个示例中,自主任务或动作可以是由UAV将包括模拟姿态数据的位置数据传输至遥控器中的遥控系统。在某些实施方式中,控制云台105的操作可以包括控制云台的一个或多个部件的旋转加速度、控制云台的一个或多个部件的旋转速度、控制云台的一个或多个部件的姿态和/或云台的一个或多个部件的功率。
根据一些实施方式,遥控器可以通过有线或无线连接而连接到显示装置。如前所述,可以提供遥控器和显示装置的任何其他配置或关系。
显示装置可以是包括计算部件和视觉显示器的装置。计算部件可以包括一个或多个处理器和一个或多个存储器存储装置。处理器可被配置成用于根据非瞬态计算机可读介质执行指令。存储器可以包括包含用于执行本文中所述的一个或多个步骤的代码、逻辑、或指令的非瞬态计算机可读介质。显示装置可以包括包含用于执行云台模拟的程序指令的非瞬态计算机可读介质。显示装置可以是移动装置,诸如智能电话。在一些情况下,显示装置可以是台式计算机、膝上型计算机、平板计算机或虚拟现实耳机。替代地,显示装置可以是计算部件和视觉显示器的组合,其中视觉显示器可以是触摸屏、投影仪、LCD屏幕、等离子屏幕、LED或OLED屏幕、电视或监视器。
显示装置可以在云台控制模拟期间提供云台的模拟姿态数据的视觉和/或文本表示。在一些情况下,显示装置可以另外在云台控制模拟期间提供音频反馈。显示装置可被配置成用于通过用户交互式部件接收用户输入,诸如触摸屏、开关、按钮、按键、旋钮、鼠标、指针、轨迹球、操控杆、触摸板、惯性传感器(例如,加速度计、陀螺仪、磁力计)、麦克风、视觉传感器或红外传感器。用户交互式部件可接收触摸输入、位置输入、音频输入或视觉输入。
遥控器可以与显示装置通信。可以通过有线或无线连接提供遥控器与显示装置之间的通信。可以通过RF连接、IR连接、Wi-Fi网络、无线局域网(WLAN)、蜂窝网络或任何其他可用无线网络在遥控器与显示装置之间提供无线连接。另外地或替代地,可以通过永久有线连接、同轴缆线连接、火线连接、MIDI连接、eSTATA连接、以太网连接或任何其他可用的允许数据传输的有线连接在遥控器与显示装置之间提供有线连接。在一些情况下,有线连接可以是通过USB缆线103经由USB端口的连接。在一些情况下,显示装置被集成在遥控器中并且成为遥控器的一部分。因此,用户能容易地仅仅通过握持遥控器来观察云台控制的模拟。
在某些实施方式中,遥控器和/或显示装置可以通过有线或无线连接与载运工具控制系统或飞行控制器通信。载运工具控制系统可以机载于UAV上或之外。在某些实施方式中,载运工具控制系统可以机载于遥控器或显示装置上。载运工具控制系统可以被配置成用于响应于来自遥控器和/或显示装置的输入而生成对UAV的模拟姿态进行描述的位置数据。所述位置数据可以包括或可以不包括UAV的模拟空间方位。载运工具控制系统可以通过遥控器和/或显示装置接收来自用户的输入。载运工具控制系统可以将输入传达至具有一个或多个部件的系统,所述系统可以生成真实或虚拟传感器数据并将该数据传达回载运工具控制系统。基于真实或虚拟传感器数据,载运工具控制系统可以生成位置数据(诸如UAV的模拟姿态数据)并且将该模拟数据传输至模拟生成系统。
遥控系统可以远离UAV和/或云台。遥控系统可以远离云台控制系统。UAV和/或云台的方位可与遥控系统的方位无关。在某些实例中,UAV和/或云台与遥控系统之间可存在有限的距离。替代地,UAV和/或云台与遥控系统可不存在距离限制。
遥控器和/或显示装置可以通过有线或无线连接与云台控制系统通信。载运工具控制系统可以机载于云台和/或UAV上或之外。在某些实施方式中,载运工具控制系统可以机载于遥控器或显示装置上。云台控制系统可以被配置成用于响应于来自遥控器和/或显示装置的输入而生成对云台的模拟姿态进行描述的位置数据。姿态信息可以是相对应于虚拟环境或UAV。云台控制系统可以通过遥控器和/或显示装置接收来自用户的输入。云台控制系统可以将输入传达到具有一个或多个部件的系统,所述系统可以生成真实或虚拟传感器数据并将所述数据传达回云台控制系统。基于真实或虚拟传感器数据,云台控制系统可以生成位置数据(诸如云台的模拟姿态数据)并且将所述模拟数据传输至模拟生成系统。响应于用户输入,云台可以移动或可以不移动。
模拟生成系统可以包括遥控器。模拟生成系统可以在任何其他装置处,如本文其他地方所描述的,或者分布于多个装置上。在模拟生成系统处,数据可被组合以生成模拟云台响应数据。模拟云台响应数据可以包括云台的模拟姿态数据。云台的模拟姿态数据可以是相对于环境。模拟UAV位置信息可与模拟云台位置信息(例如,相对于UAV)组合从而生成模拟云台响应数据。以下将描述获得包括UAV的模拟姿态数据的位置数据和包括云台的真实姿态数据的云台控制数据的方法。
可在第一或第二操作模式下操作UAV。在第一操作模式下,UAV可以通过接收来自遥控器的指令或输入101而在真实环境中飞行。因此,第一操作模式可以是飞行模式或活动模式。
第二操作模式可以是模拟模式。在第二操作模式下,UAV可以保持在物理上休眠并且在真实环境内可以不是自推进的。在UAV处于模拟模式时,UAV的一个或多个推进单元107可以不操作,这可以与后续讨论的云台的模拟模式一致。在模拟模式下,机载于UAV上的一个或多个部件可以有助于云台控制模拟。
当UAV正在飞行模式下操作时,遥控器可以将输入提供至载运工具控制系统。遥控器所提供的输入可以是飞行控制数据。飞行控制数据可以是改变飞行路径或引起飞行事件开始或停止的指令。在一个示例中,飞行控制数据可以是以下指令:启动推进系统,使推进系统停止、增加推进系统的功率、减小推进系统的功率、改变UAV的航向、改变UAV的高度、打开UAV上的传感器、关闭UAV上的传感器、报告机载于UAV上的传感器的传感器数据或发起UAV上的自动驾驶功能。载运工具控制系统可以使用一个或多个处理器接收和处理飞行控制数据。处理器可被配置成用于单独或共同地将飞行控制数据变换成改变、发起或停止飞行动作的指令。处理器可以在飞行和模拟操作模式两者下完全相同地变换飞行控制数据。
当UAV 104处于飞行模式时,飞行控制数据可以被传达到UAV的一个或多个推进单元。载运工具控制系统(例如,机载于UAV上)可被配置成用于当UAV处于飞行模式时生成有待传达至所述一个或多个推进单元的一个或多个飞行信号。当UAV处于飞行模式时,所述一个或多个推进单元可以被配置成用于响应于这些飞行信号而致动并且允许UAV飞行。所述一个或多个推进单元可以进一步被配置成用于当UAV处于模拟模式时保持休眠并不允许UAV飞行,其中所述一个或多个推进单元可能不接收飞行信号。
可选地,在飞行模式下,遥控器可以被配置成用于控制载具(诸如保持UAV的负载的云台)的致动。云台可以被永久地附着于UAV上或可以被可拆卸地附接到UAV上。云台可以包括可以相对于彼此可移动的一个或多个云台部件。这些云台部件可以绕一个或多个轴相对于彼此旋转。云台可以包括实现所述一个或多个云台部件相对于彼此旋转的一个或多个致动器。这些致动器可以是马达。这些致动器可以允许朝顺时针和/或逆时针方向旋转。这些致动器可以提供或可以不提供针对这些致动器的位置或移动的反馈信号。在一些情况下,一个或多个云台部件可以支撑或支承附加云台部件的重量。在一些情况下,云台部件可以允许负载绕俯仰轴、偏航轴和/或横滚轴旋转。云台部件可以允许绕俯仰轴旋转,另一个云台部件可以允许绕偏航轴旋转,而另一个云台部件可以允许绕横滚轴旋转。
云台可以支撑负载。云台可以被永久地附着于云台上或可以被可拆卸地附接到云台上。负载可以由云台部件支撑。负载可以直接连接到云台部件。负载可相对于云台部件保持在固定位置。替代地,负载可以相对于云台部件旋转。
负载可以是外部传感器,例如,包括图像捕捉装置的相机单元。图像捕捉装置可以独立于UAV的运动是可移动的。图像捕捉装置可以相对于UAV在云台的辅助下是可移动的。类似于推进单元,当UAV处于飞行模式时,UAV的载具、负载、传感器和/或其他部件可以从机载于UAV上的一个或多个控制系统接收各种控制信号,这些信号可以引起针对载具、负载、传感器和/或其他部件的相应操作。当UAV处于模拟模式时,用户可练习控制机载于UAV上的相机的方向而不实际上激活UAV以起飞。当云台处于模拟模式时,用户可练习控制相机的方向而不实际上激活云台旋转。替代地,在模拟模式下,云台仍然可以旋转。
在某些实施方式中,UAV可参与云台控制模拟。当用户期望模拟云台控制时,UAV和/或云台可以由来自遥控器的用户指令打开。云台控制系统或载运工具控制系统可以将位置数据传输至模拟生成系统,所述位置数据可包括UAV的模拟姿态数据和/或云台的模拟姿态数据。模拟生成系统可以包括遥控器中的遥控系统。在模拟生成系统处,可执行数据融合以便生成模拟云台响应数据。替代地或另外地,模拟生成系统可以包括机载于云台和/或UAV上的云台控制系统,并且然后所产生的模拟云台响应数据可以经由如之前所讨论的有线或无线连接被传输至遥控系统。所述遥控系统可以包括遥控器和/或显示装置102。模拟云台响应可显示在显示装置上。
在某些实施方式中,UAV可包括被配置成用于接收指示UAV处于第一或第二模式下的模式信号的接收器。所述模式信号可以由遥控器、显示装置或与接收器通信的分离装置提供。在一些情况下,可以是通过UAV上的硬件部件提供所述信号。所述硬件部件可以由用户操控以将所述信号提供至UAV。例如,所述硬件部件可以是可以在物理上在第一与第二位置之间移位以提供指示第一或第二模式的信号的开关、按钮或旋钮。在另一个示例中,飞行模式可以是UAV的默认模式并且UAV可以在飞行模式下操作,除非模式信号指示变化到UAV操作以促进云台控制模拟的模拟模式。如前文所述,UAV可以将其模拟位置数据传输至模拟生成系统(例如,遥控系统、云台控制系统)。另外地或替代地,模拟生成系统可以机载于UAV上,并且UAV可以基于从遥控器接收的云台控制数据对其自身执行数据融合。
云台可以具有或可以不具有被配置成用于接收指示云台是处于第一模式还是第二模式的模式信号的分离的接收器。所述模式信号可以由遥控器、显示装置或与云台接收器通信的分离的装置提供。在一些情况下,可以通过云台上的硬件部件提供所述信号。所述硬件部件可以由用户操控以将所述信号提供给云台。例如,所述硬件部件可以是可以在物理上在第一与第二位置之间移位以提供指示第一或第二模式的信号的开关、按钮或旋钮。在另一个示例中,活动模式可以是云台的默认模式,并且云台可以在活动模式下操作,除非模式信号指示变化到模拟模式。在某些实施方式中,UAV可以自动地将模式选择传达至云台。云台模式可被自动更新以便匹配UAV模式。例如,如果UAV处于飞行模式,云台可以自动地处于活动模式。如果UAV处于模拟模式,云台可以自动处于模拟模式。
在某些实施方式中,机载于UAV上的部件都不可以用于云台控制模拟。例如,在模拟模式下,虚拟UAV可以在虚拟或模拟环境下飞行,并且因此可以在这样的环境中获得或生成包括UAV的模拟姿态数据的位置数据。虚拟UAV和虚拟环境可以数学方式存在于虚拟或模拟空间中,诸如已建立在计算机环境中的一个空间。虚拟UAV可在虚拟环境中具有与真实环境中的真实UAV相同的功能。换言之,不要求真实UAV实现云台控制模拟。只要包括UAV的模拟姿态数据的位置数据是可用的,就可以用许多不同且灵活的方式实现云台控制模拟,而不需要真实UAV。UAV的模拟姿态数据可以来自于或可以不来自于真实UAV。UAV的模拟姿态数据可以由或可以不由UAV的载运工具控制系统生成。可以借助于纯粹基于虚拟UAV的一个或多个处理器生成UAV的模拟姿态数据。
在某些实施方式中,可在第一操作模式或第二操作模式下操作云台105。在第一操作模式下,云台可以由UAV 104支撑并且可以支撑图像捕捉装置106。进一步地,云台可以已经被开启且准备搭载用于航拍的图像捕捉装置而不是执行模拟操作。可选地,当云台处于第一操作模式时,图像捕捉装置可以通电。图像捕捉装置可以被配置成用于在第一操作模式下以流式传输方式传达所捕捉的图像。因此,本文中的云台的第一操作模式可以是活动模式。
在第二操作模式下,云台105可以由或可以不由UAV 104支撑。进一步地,云台可以支撑或可以不支撑图像捕捉装置。尽管云台可以调整其布置,并且在某些实施方式中,如果图像捕捉装置被安装,云台可以通过布置在云台上的一个或多个致动器驱动图像捕捉装置旋转和移动,本文中云台的移动只是旨在产生包括云台的真实姿态数据的云台控制数据而不是引起图像捕捉装置执行实际航拍。换言之,云台的第二操作模式是模拟模式,在模拟模式下,包括云台的真实云台姿态数据的云台控制数据可以被收集用于生成模拟云台响应数据。这可以为用户提供真实反馈,诸如云台将响应于用户输入而结果在物理上移动多少距离。在生成模拟云台响应数据时可结合使用模拟UAV姿态数据。在某些实施方式中,云台不调整其布置,并且图像捕捉装置不旋转。来自机载于云台上的真实传感器的信息可以用作或可以不用作虚拟云台姿态数据。在某些实例中,也可以与云台控制系统进行通信。云台控制系统可以将指令发送至云台致动器以在活动模式下移动。在模拟模式下,云台控制系统可能实际上并不发送信号来致使致动器移动,而是可以生成信号并生成模拟云台姿态数据。
在第二操作模式下,图像捕捉装置可以通电或可以不通电。在某些实例中,图像捕捉装置断电。在第二操作模式下,图像捕捉装置可以记录或可以不记录或流式传输图像捕捉装置所捕捉的图像数据。在某些实例中,在模拟模式下,图像捕捉装置不记录或流式传输图像数据。而是,虚拟图像数据可被生成并显示在显示装置处。虚拟图像数据可以反映图像捕捉装置在虚拟环境中的虚拟位置。图像捕捉装置相对于虚拟环境的虚拟位置可以反映模拟云台响应数据。
在某些实施方式中,云台可包括接收器,用户可以通过所述接收器发起在云台的活动模式与模拟模式之间的模式切换。在一个示例中,用户可以选择在模拟模式下使用云台。为此,用户可以向接收器提供模式切换信号或模式选择信号,从而指示云台应该在模拟模式下操作。用户可以经由云台上的物理接口(例如,开关、按钮、控制杆或旋钮)提供模式切换信号。在一些情况下,用户可以通过遥控器经由遥控器上的物理接口机构提供模式切换信号。在一些情况下,可以不同于用于云台或UAV控制的遥控器的替代或远程装置可以被用来向云台发送模式切换信号。
另外地或替代地,显示装置可以用来将模式切换信号发送至云台。例如,当显示装置被打开时,它可自动连接至布置在云台上的通信单元。每当显示装置与云台通信时,云台可以自动进入模拟模式。在一些情况下,云台可能不自动进入模拟模式和用户可以经显示装置通过使用例如显示装置上的触摸屏将模式切换信号传达至布置在云台上的接收器。
当布置在云台上的接收器接收到模式切换信号从而将模式从模拟模式切换为活动模式时,云台可以立即停止模拟模式并转变成活动模式,在活动模式下,在UAV处于飞行以便经由图像捕捉装置执行航拍时,云台准备UAV的操作。
可选地,在模拟模式下,遥控器可以被配置成用于控制固持UAV的负载(例如,图像捕捉装置)的载具(例如,云台)的致动。负载可以是外部传感器(例如,相机单元)。图像捕捉装置可以是独立于UAV的运动可移动的。可选地,在模拟模式下,遥控器可以被配置成用于控制可以物理地或可以不物理地机载于UAV上的载具(例如,云台)的致动。例如,用户可以练习在云台控制模拟中使用云台控制系统控制机载于UAV上的相机的方向,所述云台控制系统可以机载于UAV上、云台上、遥控器上、显示装置上、或其他装置上。在另一示例中,用户可练习控制由可以不位于UAV或其他载运工具上的云台支撑的相机的方向。因此,用户可集中单独练习云台控制而不用担心其他UAV功能,或同时允许模拟UAV功能。
可以提供一种云台模拟系统。云台模拟系统可以包括机载于载运工具上的云台。云台模拟系统可以进一步包括机载于云台、载运工具、负载或本文描述的任何其他装置或部件上的云台控制系统。云台控制系统可被配置成用于接收来自遥控系统的云台控制数据和接收对载运工具的模拟姿态进行描述的位置数据。载运工具的模拟位置可以从机载于载运工具上的载运工具控制系统被生成或可以被以虚拟方式生成,而无需物理载运工具。模拟位置可以至少部分地基于载运工具的模拟取向。进一步地,来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于模拟天气数据。
在某些实施方式中,对载运工具的姿态进行描述的位置数据至少部分地基于对载运工具的模拟姿态进行描述的位置数据,所述位置数据包括以下各项中的至少一项:(1)载运工具绕俯仰轴的旋转,(2)载运工具绕偏航轴的旋转,或者(3)载运工具绕横滚轴的旋转。所述位置数据可以包括或可以不包括载运工具的模拟空间方位。载运工具的模拟空间方位可以包括以下各项中的至少一项:载运工具的(1)纬度、(2)经度或者(3)高度。可以基于到推进单元的模拟输出生成载运工具的模拟空间方位。模拟空间方位可以进一步基于模拟天气数据。
云台控制系统可以基于(i)云台控制数据以及(ii)对载运工具的模拟姿态进行描述的位置数据生成模拟云台响应数据。云台控制数据可以纳入或可以不纳入来自物理云台或用于控制物理云台的云台控制系统的数据。云台模拟系统可另外包括被配置成用于将模拟云台响应数据传输至遥控系统的通信单元。本文中模拟云台响应数据可以由一个或多个处理器生成。可以在模拟生成系统处生成模拟云台响应数据。
在某些实施方式中,模拟云台响应数据是基于云台模式信号确定的。可以在远离载运工具的遥控系统处生成云台模式信号。进一步地,云台模式信号是响应于指示从多种云台模式中选择一种云台模式的用户输入而生成的。模拟云台响应数据可由显示装置获得,所述显示装置包括示出云台的模拟云台状态信息的视觉显示器。模拟云台状态信息包括由云台所支撑的相机捕捉的模拟视觉数据。遥控系统可以包括用来在真实飞行操作中操作载运工具和/或云台的遥控器。遥控器可以包括对于控制云台的定向航向有用的一个或多个操控杆控件。
在某些实施方式中,云台模拟系统可以进一步包括显示装置,所述显示装置接收模拟云台响应数据并且显示云台在由所述云台响应数据描述的取向上的视觉图示。显示装置可以是遥控系统的一部分。显示装置可以与遥控器集成为一体,可以连接至遥控器,或可以与所述遥控器通信。显示装置可以是与云台控制系统通信的手持式装置。显示装置可以直接与云台控制系统通信或可以通过遥控器与云台控制系统通信。遥控器可以直接与云台控制系统通信或可以通过显示装置与云台控制系统通信。遥控器和/或显示装置可以直接与云台控制系统通信或可以通过UAV或负载与云台控制系统通信。
根据本发明的实施方式,云台控制模拟可以使得用户能够更熟悉利用云台105来控制图像捕捉装置当前针对航拍而取向的方向。
图2是示意性地示出了根据本发明的实施方式的模拟云台控制的方法的流程图。任何步骤都是可选的和/或可以以不同的顺序被执行。任何步骤都可以与其他步骤交换。
所述模拟云台控制的方法可包括获得云台控制数据和载运工具位置数据201。可以基于云台控制数据和位置数据生成模拟云台响应数据202。所述模拟云台响应可以被传输至遥控系统203。
可获得云台控制数据和载运工具位置数据201。云台控制数据可以从遥控系统发送。遥控系统可以被配置成用于与云台控制系统通信。可以基于用户在遥控系统的遥控器处的输入来生成云台控制数据。用户的输入可以是直接控制云台或可以是间接控制云台,间接控制可以发起云台的自动动作。响应于用户输入,云台控制数据可以包括或可以不包括来自云台的测量结果。响应于用户输入,云台控制数据可以包括或可以不包括相对于载运工具的模拟云台姿态。载运工具位置数据可以描述载运工具的模拟姿态。载运工具的模拟姿态可以由载运工具的载运工具控制系统或借助于载运工具的任何物理部件生成。替代地,载运工具的模拟姿态可以完全以虚拟方式生成,而不要求物理载运工具或载运工具的载运工具控制系统。载运工具位置数据可以包括或可以不包括载运工具的模拟空间方位。载运工具的模拟空间方位可以由载运工具的载运工具控制系统或借助于载运工具的任何物理部件生成。替代地,模拟空间方位可以完全以虚拟方式生成,而不要求物理载运工具或载运工具的载运工具控制系统。
可以基于云台控制数据和载运工具位置数据生成模拟云台响应数据202。载运工具位置数据可以描述载运工具的模拟姿态。载运工具位置数据可以描述或可以不描述载运工具的模拟空间方位。可以在云台控制系统处生成模拟云台响应数据。可以在模拟生成系统处生成模拟云台响应数据,所述模拟生成系统可以包括或可以不包括云台控制系统。模拟云台响应数据可以包括关于云台的位置的信息。关于云台的位置的信息可以是相对于虚拟环境。例如,可以基于云台相对于UAV的虚拟位置和UAV相对于虚拟环境的虚拟位置而生成云台相对于虚拟环境的虚拟位置。这些虚拟位置可包括姿态信息和/或空间位置信息。在其他实施方式中,云台的虚拟位置可以是相对于虚拟环境或UAV,并且可以基于关于如何控制云台的用户输入和UAV相对于虚拟环境的虚拟位置来生成。云台的虚拟位置可以采用或可以不采用云台控制系统的先前执行的计算。
可以在遥控系统获得模拟云台响应数据203。可以从云台控制系统传输模拟云台响应数据。可以从模拟生成系统传输模拟云台响应数据,所述模拟生成系统可以包括或可以不包括云台控制系统。模拟生成系统可以已经在遥控系统处,所述遥控系统可以不需要单独的传输。在某些实施方式中,模拟云台响应数据包括表示云台相对于载运工具或虚拟环境的姿态的模拟云台状态数据。可在遥控系统的遥控器和/或显示装置获得模拟云台响应数据。可以用来控制云台的同一个装置还可以包括视觉显示器。
遥控系统可以控制云台的致动、旋转和移动,从而使得可获得包括云台的真实姿态数据的云台控制数据。遥控系统可以包括对于控制云台的定向航向有用的一个或多个操控杆控件。进一步地,在某些实施方式中,遥控系统可以包括计算机系统,所述计算机系统可以使用有线连接或无线连接与云台通信。由物理模型收集的云台控制数据可以在计算机系统上运行,所述计算机系统可以包括一个或多个处理器和一个或多个存储器存储单元。物理模型可以根据非瞬态计算机可读介质运行。非瞬态计算机可读介质可以包括用于执行本文中的一个或多个步骤的代码、逻辑、或指令。处理器可单独地或共同地根据非瞬态计算机可读介质执行步骤。遥控系统可以包括视觉显示器。视觉显示器可以与计算机系统通信。
在某些实施方式中,视觉显示器可以示出模拟云台状态信息。模拟云台状态数据可以包括关于云台的位置的信息。云台的状态可以包括云台是打开还是关闭、云台的稳定模式、云台的一个或多个部件的定位、由云台支撑的负载的定位、云台的一个或多个部件的移动特点(例如,速度、加速度)或云台的空间位置。视觉显示器可以示出或可以不示出关于载运工具的信息。视觉显示器可以示出关于载运工具的状态的信息。载运工具的状态可以包括载运工具是打开还是关闭、载运工具的定位、载运工具的移动特点(例如,速度、加速度)、载运工具的功耗、由载运工具的传感器收集的数据、关于载运工具的工作参数的信息、关于载运工具的通信的信息、或载运工具的导航信息。视觉显示器可以示出或可以不示出关于载运工具的信息。视觉显示器可以包括由云台支撑的相机捕捉的模拟视觉数据。
可以基于云台的模拟位置信息生成模拟视觉数据。这可以包括相对于虚拟环境的模拟位置信息。模拟视觉数据也可以依赖于模拟环境。例如,可以显示模拟地理特征或物体。云台的虚拟位置(例如,取向、空间坐标)可以确定相机从哪个角度观看虚拟环境以及因此模拟视觉数据如何被显示。
可以基于云台的稳定模式生成模拟视觉数据。云台稳定模式可以可选地选自多种可用的稳定模式。所选择的云台稳定模式可能会影响云台如何被虚拟地定位(例如,通过确定负载绕哪些旋转轴被稳定/独立于载运工具移动)。
在某些实施方式中,可以根据云台模式(即,云台稳定模式)确定模拟云台响应数据,其中所述云台模式包括第一人称视角模式、跟随模式或自由云台模式中的一种模式。当在第一人称视角模式下操作云台时,模拟云台响应数据相对于环境稳定云台的俯仰轴,而无需稳定偏航轴和横滚轴。当在跟随模式下操作云台时,模拟云台响应数据相对于环境稳定云台的俯仰轴和横滚轴,而无需稳定偏航轴。当在自由云台模式下操作云台时,模拟云台响应数据相对于环境稳定云台的俯仰轴、偏航轴和横滚轴。
应当指出的是,本文中包括第一人称视角模式、跟随模式和自由云台模式的云台模式仅说明云台可以具有的多种模式,并且这些云台模式不应被限于这三种特定的形式。本领域的技术人员可以基于本发明的教导想到的是,云台可在其他模式下操作并且因此在必要时所产生的模拟云台响应数据也可用来稳定俯仰轴、偏航轴和横滚轴中的一个或多个轴。替代模式中的任一种模式可稳定俯仰轴、偏航轴或横滚轴之一,稳定俯仰轴、偏航轴或横滚轴中的任意两个轴,或稳定俯仰轴、偏航轴和横滚轴中的所有三个轴。针对这些轴中的任一轴的稳定的程度或稳定响应时间也可以变化。
可以基于云台模式信号确定模拟云台响应数据。可以在遥控系统生成云台模式信号。例如,可以在也可以接受用户输入以便控制云台的(虚拟或真实)操作的遥控器处生成云台模式信号。云台模式信号指示云台要遵循的云台模式,如之前所讨论的第一人称视角模式、跟随模式和自由云台模式。进一步地,在某些实施方式中,云台模式信号是响应于指示从所述多种云台模式中选择一种云台模式的用户输入而生成的。用户可能能够查看各种模式的多个选项,并且可能能够从所述多个选项中选择一个选项。在某些实例中,各种云台模式的视觉表示可以显示在屏幕上。用户可能能够触摸屏幕以选择期望的模式,或使用某种类型的跟踪装置(例如,鼠标、操控杆、轨迹球、触摸板、按钮)来选择期望的模式。
当云台和/或载运工具处于活动模式时,用户可能能够选择云台操作模式。因此,当载运工具处于运动中(例如,UAV在飞行)时,用户可能能够选择在云台处于运动中时可以影响云台的稳定的云台模式。用户可以在载运工具运动之前选择云台模式。用户可能能够在载运工具处于运动中时选择云台模式(例如,从较早云台模式更改云台模式)。因此,用户可影响在载运工具和/或云台处于活动模式时可以执行的航拍的类型。
用户可能能够在云台和/或载运工具处于活动模式时选择云台操作模式。在模拟模式下,云台的操作模式可以由用户选择,并且允许用户经历特定云台稳定模式的针对性的训练。例如,如果用户想要练习在跟随模式下正常操作的云台的云台控制,用户可以选择跟随模式用于模拟并且练习跟随模式的云台控制。
视觉显示器可以示出由虚拟相机捕捉的虚拟图像。这可以为在模拟中练习云台模式的用户提供反馈。取决于所选择的云台模式,可为由虚拟相机捕捉的虚拟图像提供不同的视觉效果。例如,在第一人称视角模式下,图像可以示出稳定的俯仰以便保持稳定的水平线,而可以仍然对俯仰和横滚做出反应,与来自可以像载运工具那样移动的个体的视角非常相似。在跟随模式下,图像可以示出绕俯仰轴和横滚轴的稳定图像而无需稳定偏航轴,这可赋予摇摄的视觉效果(例如,如果观看者正在将观看者的头部从一侧转向另一侧)。当在自由云台模式下操作云台时,图像可以被围绕俯仰轴、偏航轴和横滚轴稳定,这可产生图像可移动但是处于浮动、未受干扰的方式的效果。
相机可以由可由载运工具(诸如UAV)搭载的云台支撑。对UAV的任何描述可以适用于任何类型的飞行器。UAV可以具有可以允许UAV在空中来回移动的一个或多个推进单元。所述一个或多个推进单元可以使得UAV能够关于一个或多个、两个或更多个、三个或更多个、四个或更多个、五个或更多个、六个或更多个自由度而移动。在某些实例中,UAV可以能够围绕一条、两条、三条或更多条旋转轴旋转。旋转轴可以相互正交。旋转轴可以在UAV的整个飞行过程中保持相互正交。旋转轴可以包括俯仰轴、横滚轴和/或偏航轴。UAV可能能够沿着一个或多个维度移动。例如,UAV可能能够由于一个或多个旋翼所产成的升力而向上移动。在某些实例中,UAV可能能够沿Z轴(可以相对于UAV取向向上)、X轴和/或Y轴(可以是横向的)移动。UAV可能能够沿可以相互正交的一条、两条、或三条轴移动。
鉴于上述姿态特性或特点,可以包括载运工具的模拟姿态的载运工具位置数据可以被表征为pitch_aircraft、roll_aircraft和yaw_aircraft。术语“pitch_aircraft”是描述飞行器相对于俯仰轴的取向的变量。术语“roll_aircraft”是描述飞行器相对于横滚轴的取向的变量。术语“yaw_aircraft”是描述飞行器相对于偏航轴的取向的变量。因此,飞行器位置数据(其可包括模拟飞行器姿态数据)可表示为status_aircraft_sim=(pitch_aircraft,roll_aircraft,yaw_aircraft)。如之前所讨论的,在某些实施方式中,可以在模拟模式下从UAV获得这些变量的值。例如,这些值可以由UAV的载运工具控制系统或飞行控制系统供应。在某些实施方式中,可以从遥控系统或计算机系统获得这些变量的值,其中这些变量的值可能之前已经被存储用于模拟目的。可以借助于计算机系统生成这些变量的值而不使用任何飞行器数据。
类似地,与云台的姿态数据相关的云台控制数据可以被表征为pitch_gimbal_real、roll_gimbalreal和yaw_gimbalreal。术语“pitch_gimbalreal”是描述云台相对于飞行器在俯仰轴上的取向的变量。术语“roll_gimbal_real”是描述云台相对于飞行器在横滚轴上的取向的变量。术语“yaw_gimbal_real”是描述云台相对于飞行器在偏航轴上的取向的变量。
如之前所讨论的,根据本发明的实施方式的云台模式可以包括第一人称视角模式、跟随模式和/或自由云台模式。在每种模式下,云台可以绕各个轴稳定以便允许云台保持稳定。这可以允许图像捕捉装置保持水平。
图3是示意性地示出了根据本发明的实施方式的在第一人称视角(“FPV”)模式下获得云台的模拟姿态的方法的流程图。
在FPV模式下,图像捕捉装置的镜头的偏航姿态和横滚姿态应该保持为与飞行器机头(诸如UAV的机头)一致。因此,当UAV绕偏航轴或横滚轴相对于环境旋转时,图像捕捉装置可以相应地相对于环境旋转。图像捕捉装置可以绕偏航轴或横滚轴旋转与UAV相同的量。因此,云台可以仅需要补偿俯仰姿态从而使得云台在俯仰轴上稳定。因此,即使UAV绕俯仰轴相对于环境(真实或虚拟)旋转,图像捕捉装置也不相应地相对于环境旋转。如果图像捕捉装置并不绕俯仰轴旋转,旋转将是响应于用户,而不是稳定效果。因此,图像捕捉装置绕俯仰轴相对于环境的任何旋转可独立于UAV绕俯仰轴相对于环境的旋转。在FPV模式下获得云台的模拟姿态的方法可以包括以下步骤。
获得云台的模拟姿态的方法可包括获得载运工具位置数据301。还可获得云台控制数据302。可以获得针对云台模式的FPV模式的选择303。可以基于载运工具位置数据、云台控制数据和FPV模式的选择生成FPV模式的模拟云台响应数据304。模拟云台响应数据可以被传输至遥控系统305。
可获得载运工具位置数据301。载运工具位置数据可以包括载运工具的模拟姿态。如之前所讨论的,载运工具可以是UAV并且载运工具位置数据可以接收自机载于UAV上的飞行控制系统、或机载于载运工具上的载运工具控制系统或任何其他系统。在某些实施方式中,如果所述方法是在UAV处执行的,则载运工具位置数据可以接收自遥控系统或分离的外部装置(例如,计算机)。如之前所讨论的,载运工具位置数据可表示为变量pitch_aircraft、roll_aircraft和yaw_aircraft。
可获得云台控制数据302。云台控制数据可以包括云台的真实或虚拟姿态。可以可选地在云台控制系统生成云台控制数据。云台控制数据可以在云台处实时或近实时地生成并且然后被传输至遥控系统、飞行控制系统、载运工具控制系统、或本文中描述的任何其他系统,以便基于不同的实施方式进行进一步操作。如之前所讨论的,云台控制数据可以表示为pitch_gimbal_real、roll_gimbal_real和yaw_gimbal_real。
可以通过例如用户指令获得云台模式303。云台模式选择可以包括选择FPV模式。可以从遥控系统提供模式选择信号。用户可以在遥控系统选择FPV模式。替代地,一个或多个处理器可以从其他模式中选择FPV模式。模式选择信号可以指示用户想要云台进入哪种模式。这种用户选择可以通过点击显示装置来进行,诸如图1中所示的一个显示装置,或通过用户推动云台上的模式选择按钮来进行。所选择的模式可以表示为“gimbal_mode”。
可生成模拟云台响应数据304。可使用数据融合算法生成模拟云台响应数据。可以启动数据融合算法,并且载运工具位置数据、云台控制数据和云台模式选择可以作为输入被输入至所述数据融合算法中。所产生的作为数据融合算法的输出的模拟云台响应数据可以包括云台的模拟姿态数据并且可以表示为yaw_gimbal、roll_gimbal和pitch_gimbal。示例性数据融合算法可以被提供如下:
1)“yaw_gimbal”可以是“yaw_gimbal_real”,因为云台的偏航姿态在FPV模式下被维持为与飞行器机头的偏航姿态一致。换言之,云台的真实偏航姿态和飞行器的模拟偏航姿态可以是相同的;
2)“roll_gimbal”可以是“roll_gimbal_real”,因为云台的横滚姿态在FPV模式下被维持为与飞行器机头的横滚姿态一致。换言之,云台的真实横滚姿态和飞行器的模拟横姿滚态可以是相同的;
3)“pitch_gimbal”可以是“pitch_gimbal_real+addment(pitch_aircraft,gimbal_mode)”。函数“addment()”在本文可以表示用于在云台处于FPV模式时补偿云台的俯仰方向的可变补偿角度。例如,如果在FPV模式被选择时UAV的pitch_aircraft相对于俯仰轴+10°,则addment函数的值是相对于俯仰轴-10°以便抵消UAV的俯仰取向。以此方式,当UAV在往返方向上加速时,云台的俯仰方向维持稳定。
基于上述数据融合算法,可以获得并将模拟云台响应数据传输至遥控系统305。在某些实例中,模拟云台响应数据可以被传输至遥控系统的遥控器,所述遥控器可以进而将模拟云台响应数据传输至显示装置用于视觉显示。替代地,模拟云台响应数据可以被直接传输至显示装置,或者显示装置和遥控器可以是同一个装置。
在某些实施方式中,如果在机载于UAV上的飞行控制系统处执行本文中的数据融合算法,则模拟云台响应数据可以从UAV传输至显示装置(可选地经由遥控器)。在另一个实施方式中,如果在遥控系统执行本文中的数据融合算法,则模拟云台响应数据可直接从遥控器传输至显示装置(例如,通过有线连接或无线连接)。如果显示装置和遥控器彼此集成为一体,模拟云台响应数据可以自动地显示在遥控器的显示器上。在其他实施方式中,可以在云台控制系统(例如,机载的云台或UAV)执行数据融合算法,并且模拟云台响应数据可被传输至遥控系统。数据融合算法可以在任何外部装置(例如,服务器、云、其他UAV)上进行,并且可被传输至遥控系统。
显示装置可以包括可以在2D或3D渲染时描绘模拟数据的屏幕。显示装置可以是与计算机装置通信的手机(例如,智能电话)、平板计算机、台式计算机、膝上型计算机、虚拟现实耳机或电视或投影仪。在一些情况下,显示装置可以包括触摸屏、LCD屏幕、或等离子屏幕。
图4是示出了根据本发明的实施方式的在跟随模式下获得云台的模拟姿态的方法的流程图。
在跟随模式下,图像捕捉装置的镜头的偏航姿态和横滚姿态应该相对于飞行器机头(诸如UAV的机头)保持恒定的角度。因此,当UAV绕偏航轴相对于环境旋转时,图像捕捉装置可以相应地相对于环境以相对于飞行器机头恒定的角度旋转。图像捕捉装置可以绕偏航轴或横滚轴旋转与UAV相同的量。因此,云台可以仅需要补偿俯仰姿态和横滚姿态从而使得云台稳定。因此,即使UAV绕俯仰轴和横滚轴相对于环境(真实或虚拟)旋转,图像捕捉装置也不相应地相对于环境旋转。如果图像捕捉装置绕俯仰轴和横滚轴旋转,旋转将是响应于用户而不是稳定效果。因此,图像捕捉装置绕俯仰轴和横滚轴相对于环境的任何旋转可独立于UAV绕俯仰轴和横滚姿态相对于环境的旋转。在跟随模式下获得云台的模拟姿态的方法可以包括以下步骤。
在跟随模式下获得云台的模拟姿态的方法可以包括获得载运工具位置401。还可获得云台控制数据402。可以获得针对云台模式的跟随模式的选择403。可以基于载运工具位置数据、云台控制数据和跟随模式的选择来生成针对跟随模式的模拟云台响应数据404。模拟云台响应数据可以被传输至遥控系统405。
可获得载运工具位置数据401。载运工具位置数据可以包括载运工具的模拟姿态。如之前所讨论的,载运工具可以是UAV并且载运工具位置数据可以接收自机载于UAV上的飞行控制系统或任何其他系统。在某些实施方式中,如果所述方法是在UAV处执行的,则载运工具位置数据可以接收自遥控系统或分离的外部装置(例如,计算机)。如之前所讨论的,载运工具位置数据可表示为变量pitch_aircraft、roll_aircraft和yaw_aircraft。
可获得云台控制数据402。云台控制数据可以包括云台的真实或虚拟姿态。可以可选地在云台控制系统生成云台控制数据。云台控制数据可以在云台处实时或近实时地生成,并且然后被传输至遥控系统、飞行控制系统、或在此描述的任何其他系统,以便基于不同的实施方式进行进一步操作。如之前所讨论的,云台控制数据可以表示为pitch_gimbal_real、roll_gimbal_real和yaw_gimbal_real。
可以通过例如用户指令获得云台模式403。云台模式选择可以包括选择跟随模式。可以从遥控系统提供模式选择信号。用户可以在遥控系统处选择跟随模式。替代地,一个或多个处理器可以从其他模式中选择跟随模式。模式选择信号可以指示用户想要云台进入哪种模式。这种用户选择可以通过点击显示装置来进行,诸如图1中所示的一个显示装置,或通过用户推动云台上的模式选择按钮来进行。所选择的模式可以表示为“gimbal_mode”。
可生成模拟云台响应数据404。可使用数据融合算法生成模拟云台响应数据。可以启动数据融合算法,并且载运工具位置数据、云台控制数据和云台模式选择可以作为输入被输入至所述数据融合算法中。所产生的作为数据融合算法的输出的模拟云台响应数据可以包括云台的模拟姿态数据并且可以表示为yaw_gimbal、roll_gimbal和pitch_gimbal。示例性数据融合算法可以被提供如下:
1)“yaw_gimbal”可以是“yaw_gimbal_real+lockAircraft(yaw_aircraft,gimbal_mode,yaw_aircraft_modeClicked)”,因为应该维持云台与飞行器机头之间的恒定角度,可以引入函数lockAircraft()。函数“lockAircraft”的值表示在启用云台的跟随模式时飞行器与云台的偏航轴之间的角度。通过添加这个角度,可以在跟随模式下维持云台的偏航姿态与UAV的偏航姿态的差;
2)“roll_gimbal”可以是“roll_gimbal_real+addment(roll_aircraft,gimbal_mode)”。函数“addment()”在本文中可以表示用于在云台处于跟随模式时补偿云台的横滚方向的可变补偿角度。例如,如果在跟随模式被启用时UAV的roll_aircraft是相对于横滚轴+10°,则addment函数的值是相对于横滚轴-10°。”基于这种抵消操作,云台的横滚姿态应维持为与飞行器机头在跟随模式下的横滚姿态一致;并且
3)“pitch_gimbal”可以是“pitch_gimbal_real+addment(pitch_aircraft,gimbal_mode)”。函数“addment()”在本文中可以表示用于在云台处于跟随模式时补偿云台的俯仰方向的可变补偿角度。例如,如果当跟随模式被启用时UAV的pitch_aircraft是相对于俯仰轴+10°,则addment函数的值是相对于俯仰轴-10°。以此方式,由于进入跟随模式引起的角度变化可以得到补偿并且因此云台可以在俯仰方向上维持稳定。
基于上述数据融合算法,可以获得模拟云台响应数据并将其传输至遥控系统405。在某些实例中,模拟云台响应数据可以被传输至遥控系统的遥控器,所述遥控器进而可以将模拟云台响应数据传输至显示装置用于视觉显示。替代地,模拟云台响应数据可以被直接传输至显示装置,或者显示装置和遥控器可以是同一个装置。
在某些实施方式中,如果在机载于UAV上的飞行控制系统处执行本文中的数据融合算法,则模拟云台响应数据可以从UAV传输至显示装置(可选地经由遥控器)。在另一个实施方式中,如果在遥控系统处执行本文中的数据融合算法,则模拟云台响应数据可直接从遥控器传输至显示装置(例如,通过有线连接或无线连接)。如果显示装置和遥控器彼此集成为一体,模拟云台响应数据可以自动地显示在遥控器的显示器上。在其他实施方式中,可以在云台控制系统(例如,机载的云台或UAV)执行数据融合算法,并且模拟云台响应数据可被传输至遥控系统。数据融合算法可以在任何外部装置(例如,服务器、云、其他UAV)上进行,并且可被传输至遥控系统。
显示装置可以包括可以在2D或3D渲染时描绘模拟数据的屏幕。显示装置可以是与计算机装置通信的手机(例如,智能电话)、平板计算机、台式计算机、膝上型计算机、虚拟现实耳机或电视或投影仪。在一些情况下,显示装置可以包括触摸屏、LCD屏幕、或等离子屏幕。
图5是示意性地示出了根据本发明的实施方式的在自由云台模式下获得云台的模拟姿态的方法的流程图。
在自由云台模式下,图像捕捉装置的镜头的偏航姿态应被锁定。例如,如果当自由云台模式被设定时镜头指向东南,则云台应保持指向东南而不管飞行器是否移动,除了云台与飞行器之间的交叉角超过云台的极限。因此,当UAV绕偏航轴、横滚轴或俯仰轴相对于环境旋转时,图像捕捉装置可以不相应地相对于环境旋转。图像捕捉装置可以绕偏航轴、横滚轴或俯仰轴旋转与UAV相同的量。因此,需要云台补偿偏航姿态、横滚姿态和俯仰姿态以使其自身稳定。因此,即使UAV绕俯仰轴、横滚轴或偏航轴相对于环境(真实或虚拟)旋转,图像捕捉装置也不相应地相对于环境旋转。如果图像捕捉装置绕俯仰轴、横滚轴或偏航轴旋转,旋转将响应于用户而不是稳定效果。因此,图像捕捉装置绕俯仰轴、横滚轴或偏航轴相对于环境的任何旋转可独立于UAV绕俯仰轴、横滚轴或偏航轴相对于环境的旋转。在自由云台模式下获得云台的模拟姿态的方法可以包括以下步骤。
获得云台的模拟姿态的方法可包括获得载运工具位置数据501。还可获得云台控制数据502。可以获得针对云台模式的自由云台的选择503。可以基于载运工具位置数据、云台控制数据和自由云台模式的选择来生成针对自由云台模式的模拟云台响应数据504。模拟云台响应数据可以被传输至遥控系统505。
可获得载运工具位置数据501。载运工具位置数据可以包括载运工具的模拟姿态。如之前所讨论的,载运工具可以是UAV并且位置数据可以接收自机载于UAV上的飞行控制系统或任何其他系统。在某些实施方式中,如果所述方法是在UAV处执行的,则载运工具位置数据可以接收自遥控系统或分离的外部装置(例如,计算机)。如之前所讨论的,位置数据可表示为变量pitch_aircraft、roll_aircraft和yaw_aircraft。
可获得云台控制数据502。云台控制数据可以包括云台的真实或虚拟姿态。可以可选地在云台控制系统生成云台控制数据。云台控制数据可以在云台处实时或近实时地生成,并且然后被传输至遥控系统、飞行控制系统、或在此描述的任何其他系统,以便基于不同的实施方式进行进一步操作。如之前所讨论的,云台控制数据可以表示为pitch_gimbal_real、roll_gimbal_real和yaw_gimbal_real。
可以通过例如用户指令获得云台模式503。云台模式选择可以包括选择跟随云台模式。可以从遥控系统提供模式选择信号。用户可以在遥控系统选择自由云台模式。替代地,一个或多个处理器可以从其他模式中选择自由云台模式。模式选择信号可以指示用户想要云台进入哪种模式。这种用户选择可以通过点击显示装置来进行,诸如图1中所示的一个显示装置,或通过用户推动云台上的模式选择按钮来进行。所选择的模式可以表示为“gimbal_mode”。
可生成模拟云台响应数据504。可使用数据融合算法生成模拟云台响应数据。可以启动数据融合算法,并且载运工具位置数据、云台控制数据和云台模式选择可以作为输入被输入至所述数据融合算法中。所产生的作为数据融合算法的输出的模拟云台响应数据可以包括云台的模拟姿态数据并且可以表示为yaw_gimbal、roll_gimbal和pitch_gimbal。示例性数据融合算法可以被提供如下:
1)“yaw_gimbal”可以是“yaw_gimbal_real+Addment(yaw_aircraft,gimbal_mode,yaw_aircraft_modeClicked)”,因为yaw_gimbal应与自由云台模式保持不变,可以引入函数Addment()。函数“Addment”的值表示在启用云台的自由云台模式时飞行器与云台的偏航轴之间的角度。通过添加这个角度,可以在自由云台模式下维持云台的偏航姿态与UAV的偏航姿态的差不变;
2)“roll_gimbal”可以是“roll_gimbal_real+addment(roll_aircraft,gimbal_mode)”。函数“addment()”在本文中可以表示用于在云台处于自由云台模式时补偿云台的横滚方向的可变补偿角度。例如,如果在自由云台模式被启用时UAV的roll_aircraft是相对于横滚轴+10°,则addment函数的值是相对于横滚轴-10°。以此方式,云台的横滚姿态应在自由云台模式下保持不变;并且
3)“pitch_gimbal”可以是“pitch_gimbal_real+addment(pitch_aircraft,gimbal_mode)”。函数“addment()”在本文中可以表示用于在云台处于自由云台模式时补偿云台的俯仰方向的可变补偿角度。例如,如果在自由云台模式被启用时UAV的pitch_aircraft是相对于俯仰轴+10°,则addment函数的值是相对于俯仰轴-10°。以此方式,由于进入自由云台模式引起的角度变化可以得到补偿并且因此云台可以在俯仰方向上维持稳定。
基于上述数据融合算法,可以获得并将模拟云台响应数据传输至遥控系统505。在某些实例中,模拟云台响应数据可以被传输至遥控系统的遥控器,所述遥控器进而可以将模拟云台响应数据传输至显示装置用于视觉显示。替代地,模拟云台响应数据可以被直接传输至显示装置,或者显示装置和遥控器可以是同一个装置。
在某些实施方式中,如果在机载于UAV上的飞行控制系统处执行本文中的数据融合算法,则模拟云台响应数据可以从UAV传输至显示装置(可选地经由遥控器)。在另一个实施方式中,如果在遥控系统执行本文中的数据融合算法,则模拟云台响应数据可直接从遥控器传输至显示装置(例如,通过有线连接或无线连接)。如果显示装置和遥控器彼此集成为一体,模拟云台响应数据可以自动地显示在遥控器的显示器上。在其他实施方式中,可以在云台控制系统(例如,机载的云台或UAV)执行数据融合算法,并且模拟云台响应数据可被传输至遥控系统。数据融合算法可以在任何外部装置(例如,服务器、云、其他UAV)上进行,并且可被传输至遥控系统。
显示装置可以包括可以在2D或3D渲染时描绘模拟数据的屏幕。显示装置可以是与计算机装置通信的手机(例如,智能电话)、平板计算机、台式计算机、膝上型计算机、虚拟现实耳机或电视或投影仪。在一些情况下,显示装置可以包括触摸屏、LCD屏幕、或等离子屏幕。
本文中所描述的这些模式中的任一种模式可用来为用户实现云台控制模拟。在其他实例中,可以在活动模式期间利用各种模式,诸如在用户正在实际飞行UAV和/或控制云台以使用图像捕捉装置收集图像数据时。用户可以从不同可用模式中选择从而获得不同类型的航拍。
图6是示意性地示出了根据本发明的实施方式的当环境因素被考虑在内时获得云台的模拟姿态的方法的流程图。
在某些实施方式中,来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据至少部分地基于模拟天气数据。在一个示例中,天气数据涉及有关以下各项中的一项或多项的数据:风速、风向、降水(例如雨、雪、雨夹雪、冰雹)、湿度、空气密度和/或温度。在某些实施方式中,用户可以通过设置在显示装置上的用户接口选择天气条件。用户可从多个可用天气条件中选择天气条件。替代地或另外地,天气条件可以作为输入提供给物理模型用于在云台(例如,逆风或顺风)上施加恒定或可变力。例如,用户可以输入风向和/或风速。天气条件可以可选地被随机选择或生成,而不需要用户输入。可以基于先前收集的真实生活天气信息生成天气条件。可以基于由一个或多个环境传感器确定的当前天气条件天生成天气条件。替代地,天气条件可以完全以虚拟方式生成而无需任何真实世界数据。
物理模型可以输出物理模拟数据。物理模拟数据可以是可以作用于云台上的一个或多个物理参数。在一个示例中,物理模型可以输出作用于云台上的一个或多个力。模拟物理力可在虚拟云台上具有模拟效果。这可以影响虚拟云台的定位(例如,云台绕偏航轴、俯仰轴和/或横滚轴的取向、云台的空间方位),这可能影响模拟云台响应数据。
如之前关于图3至图5所讨论的,云台可以处于多种模式之一,诸如FPV模式、跟随模式和自由云台模式,并且因此不同的数据融合算法被应用于这些模式。然而,这些算法没有考虑环境因素。因此,作为替代或附加实施方式,图6示出了当考虑环境因素时用于获得模拟云台响应数据的一般数据融合算法。
功能和操作601、602和603类似于关于图3中的301、302和303、图4中的401、402和403和图5中的501、502和503讨论的那些。模拟天气信息可以与本文中所描述的这些模式中的任一种模式组合使用。
当考虑环境因素时获得云台的模拟姿态的方法可包括获得载运工具位置数据601。还可获得云台控制数据602。可获得云台模式603。可获得天气条件604。可以基于载运工具位置数据、云台控制数据和所选择的模式以及天气条件生成针对FPV模式的模拟云台响应数据605。模拟云台响应数据可以被传输至遥控系统606。
可获得载运工具位置数据601。载运工具位置数据可以包括载运工具的模拟姿态。如之前所讨论的,载运工具可以是UAV并且位置数据可以接收自机载于UAV上的飞行控制系统或任何其他系统。在某些实施方式中,如果所述方法是在UAV处执行的,则载运工具位置数据可以接收自遥控系统或分离的外部装置(例如,计算机)。如之前所讨论的,载运工具位置数据可表示为变量pitch_aircraft、roll_aircraft和yaw_aircraft。
可获得云台控制数据602。云台控制数据可以包括云台的真实或虚拟姿态。可以可选地在云台控制系统生成云台控制数据。云台控制数据可以在云台处实时地或近实时地生成,并且然后被传输至控制系统、飞行控制系统或本文中描述的任何其他系统,以便基于不同的实施方式进行进一步操作。如之前所讨论的,云台控制数据可以表示为pitch_gimbal_real、roll_gimbal_real和yaw_gimbal_real。
可以通过例如用户指令获得云台模式603。用户可以在遥控系统选择云台模式。替代地,一个或多个处理器可以从其他模式中选择云台模式。模式选择信号可以指示用户想要云台进入哪种模式。这种用户选择可以通过点击显示装置来进行,诸如图1中所示的一个显示装置,或通过用户推动云台上的模式选择按钮来进行。所选择的模式可以表示为“gimbal_mode”。
可获得环境因素或条件604。例如,环境因素可以是风速、风向、降水(例如,降水类型、降水量)、湿度、空气密度、光照量、云量和/或温度。在某些实例中,这些因素中的每一个因素可被单独和/或独立确定。在某些实例中,这些因素中的一个或多个因素可以捆绑在一起从而形成一个或多个预选天气模式。例如,用户可以选择“冬季”天气模式,其中可以存在雪、和风、低温度、低日照。在另一示例中,用户可以选择具有可能来自不断变化或不可预测方向的高风速的“大风”模式并且可以具有日照而没有降水。在另一示例中,用户可以选择“夜间飞行”模式,其中天空可以是晴朗的、温度低并且没有日照。因此,用户可以选择的各种飞行条件选项可以被呈现给用户,其中每个飞行条件选项可以预选因素。这些因素可以由物理模型随机选择或者它们可以由用户输入或选择。在一些情况下,可以从UAV或其他UAV进行的先前真实飞行、或来自一个或多个传感器的当前实际数据得到环境的可变特性。
用户可以通过设置在显示装置上的用户接口来选择天气条件。天气条件可以被作为输入来提供,从而生成模拟云台响应数据605。在一个示例中,天气条件可能在云台上产生恒定的或可变的力。例如,逆风或顺风可以从不同的方向提供力。这些力可以是拖曳力、升力、重力、法向力、切向力或已知的作用于云台上的任何其他力中的任何一种力或组合。风速可能影响云台可以经受的力的量。例如,更高风速可以在云台上施加更大程度的力,并且模拟云台响应数据可以反映这一点。在另一示例中,降水也可能影响云台。例如,倾盆大雨会在云台上提供向下力。云台对指令的响应在不同的天气条件下可能不同。例如,过热或过冷可能影响云台可以如何响应于控制信号。例如,云台可能响应更慢或响应程度没那么大。
然后,根据不同的云台模式,可以考虑天气条件来补偿yaw_gimbal_real、roll_gimbal_real和pitch_gimbal_real中的一个或多个605。
例如,如果云台处于自由云台模式,则“roll_gimbal”可以是“roll_gimbal_real+addment(roll_aircraft,gimbal_mode)+roll_gimbal_real_weather”。函数“addment()”在本文中可以表示用于当云台处于跟随模式时补偿云台的横滚方向的可变补偿角度,并且新条目roll_gimbal_real_weather表示由当前天气引起的横滚轴的角度差。例如,如果当跟随模式被启用并且天气被设定为常风时UAV的roll_aircraft是相对于横滚轴+20°,则addment函数的值是相对于横滚轴-20°。基于所述抵消操作,云台的横滚姿态应在跟随模式下保持为与飞行器机头的横滚姿态一致。
进一步地,在自由云台模式下,“pitch_gimbal”可以是“pitch_gimbal_real+addment(pitch_aircraft,gimbal_mode)+pitch_gimbal_real_weather”。函数“addment()”在本文中可以表示用于当云台处于跟随模式时补偿云台的俯仰方向的可变补偿角度,并且新条目pitch_gimbal_real_weather表示由当前天气引起的俯仰轴的角度差。例如,如果当跟随模式被启用并且当前天气被设定为不定向风时UAV的pitch_aircraft是相对于俯仰轴+20°,则addment函数的值是相对于俯仰轴-20°。以此方式,由于进入跟随模式和当前天气引起的角度变化可以得到补偿并且因此云台可以被维持在俯仰方向上稳定。
基于上述数据融合算法,考虑天气条件的模拟云台响应数据可被获得并传输至遥控系统606。在某些实例中,模拟云台响应数据可以被传输至遥控系统的遥控器,所述遥控器进而可以将模拟云台响应数据传输至显示装置用于视觉显示。替代地,模拟云台响应数据可以被直接传输至显示装置,或者显示装置和遥控器可以是同一个装置。
在某些实施方式中,如果在机载于UAV上的飞行控制系统执行本文中的数据融合算法,则模拟云台响应数据可以从UAV传输至显示装置(可选地经由遥控器)。在另一个实施方式中,如果在控制器系统处执行本文中的数据融合算法,则模拟云台响应数据可直接从遥控器传输至显示装置(例如,通过有线连接或无线连接)。如果显示装置和遥控器彼此集成为一体,模拟云台响应数据可以自动地显示在遥控器的显示器上。在其他实施方式中,可以在云台控制系统(例如,机载的云台或UAV)执行数据融合算法,并且模拟云台响应数据可被传输至遥控系统。数据融合算法可以在任何外部装置(例如,服务器、云、其他UAV)上进行,并且可被传输至遥控系统。
显示装置可以包括可以在2D或3D渲染时描绘模拟数据的屏幕。显示装置可以是与计算机装置通信的手机(例如,智能电话)、平板计算机、台式计算机、膝上型计算机、虚拟现实耳机或电视或投影仪。在一些情况下,显示装置可以包括触摸屏、LCD屏幕、或等离子屏幕。
应当理解的是,如之前关于图3至图6讨论的根据本发明的一些实施方式的模式选择和天气条件选择仅仅是出于说明目的。本领域的技术人员基于本说明书的教导可以理解到,本发明的模拟方法、系统和装置可以被练习而无需模式选择和天气条件选择。例如,可以仅仅基于单个模式实现所提出的模拟方法,诸如FPV模式、跟随模式和自由云台模式之一,所述模式可以由用户预先设定或选择。因此,可以在特定模式下训练用户,这可以使训练更加有针对性。同样,如果真实飞行环境是理想的并且平静的,则可以忽略或省略天气条件选择。进一步地,本文中针对不同云台模式的数据融合仅仅说明模拟算法的一些示例,并且本发明的模拟方法可以在不考虑云台模式的情况下被应用。
图7是示意性地示出了根据本发明的实施方式的模拟云台控制的方法的流程图。
由机载于载运工具上的云台控制系统生成的模拟云台响应数据可在远离载运工具的遥控系统处接收701,其中所述模拟云台响应数据是基于以下数据生成的:(1)来自被配置成用于与云台控制系统通信的遥控系统的云台控制数据以及(2)从机载于载运工具上的载运工具控制系统生成的对载运工具的姿态进行描述的位置数据。可以基于模拟云台响应数据在遥控系统处将模拟云台表示显示在显示装置上702。
在某些实施方式中,载运工具是无人飞行器(“UAV”)并且模拟云台响应数据是根据云台模式确定的,其中所述云台模式包括如关于图3至图5讨论的第一人称视角模式、跟随模式或自由云台模式之一。
当在第一人称视角模式下操作云台时,模拟云台响应数据相对于环境稳定云台的俯仰轴,而无需稳定偏航轴和横滚轴。换言之,如关于图6所讨论的,云台的俯仰姿态将由考虑环境的数据融合补偿,诸如天气数据。
当在跟随模式下操作云台时,模拟云台响应数据相对于环境稳定云台的俯仰轴和横滚轴,而无需稳定偏航轴。换言之,如关于图6所讨论的云台的俯仰和横滚姿态将由考虑环境的数据融合补偿,诸如天气数据。
当在自由云台模式下操作云台时,模拟云台响应数据相对于环境稳定云台的俯仰轴、偏航轴和横滚轴。换言之,如关于图6所讨论的云台的俯仰和横滚姿态将由考虑环境的数据融合补偿,诸如天气数据。
可以基于在远离载运工具的遥控系统处生成的云台模式信号确定云台响应数据。可响应于指示从多种云台模式中选择一种云台模式(诸如第一人称视角模式、跟随模式和自由云台模式)的用户输入而生成云台模式信号。用户可从多种云台模式中选择一种云台模式。模拟可以反映所选择的云台模式。虚拟相机所捕捉的虚拟视觉数据可以反映所选择的云台模式。用户可经由用户输入更改云台模式。云台模式的更改可以在模拟飞行之前和/或在模拟飞行期间进行。模拟可以反映对云台模式的更新。虚拟相机所捕捉的虚拟视觉数据可以被更新从而反映经更新的云台模式。
遥控器被配置成用于将模拟云台响应数据传输至包括视觉显示器的显示装置。替代地,显示装置可以直接获得模拟云台响应数据。视觉显示器可以示出UAV的模拟云台状态信息。模拟云台状态信息可以包括由装配在云台中的相机捕捉的模拟视觉数据。显示装置可以是移动装置并且遥控系统可以经由无线连接与所述显示装置通信。在某些实施方式中,遥控系统可以包括显示装置。在某些实例中,可以接受用户输入以控制云台和/或UAV的遥控器在其中可以内置有显示装置。在一个示例中,遥控系统可以是用来在真实飞行操作中操作载运工具和云台的同一个遥控系统。
遥控系统可以进一步包括显示装置,所述显示装置接收模拟云台响应数据并且显示云台在由所述云台响应数据描述的取向上的视觉图示。遥控系统可以包括对于控制云台的定向航向有用的一个或多个操控杆控件。
来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于载运工具的模拟取向。在某些实施方式中,来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于模拟天气数据。
在某些实施方式中,来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据至少部分地基于对载运工具的模拟姿态进行的位置数据,所述位置数据包括以下各项中的至少一项:(1)载运工具绕俯仰轴的旋转,(2)载运工具绕偏航轴的旋转,或者(3)载运工具绕横滚轴的旋转。
图8是示意性地示出了根据本发明的实施方式的模拟云台控制的方法的流程图。
如图8中所示,获得指示从多种云台模式中进行选择的云台模式信号801。然后,获得来自遥控系统的云台控制数据和从机载于载运工具上的载运工具控制系统生成的对载运工具的模拟姿态进行描述的位置数据802。基于云台控制数据、对载运工具的模拟姿态进行描述的位置数据和云台模式信号生成模拟云台响应数据803,其中,模拟云台响应数据在所述多种云台模式中的每一种模式下相对于载运工具的环境使一组不同的轴稳定。
如之前关于图2至图6中所讨论的,根据本发明的实施方式的云台模式可以包括第一人称视角模式、跟随模式和/或自由云台模式。在每种模式下,云台可以绕各个轴稳定以便允许云台保持稳定。这可以允许图像捕捉装置保持水平。
在某些实施方式中,模拟云台响应数据包括表示云台相对于载运工具的姿态的模拟云台状态信息。视觉显示器可以用于示出载运工具的模拟云台状态信息。进一步地,模拟云台状态信息可以包括由装配在云台中的相机捕捉的模拟视觉数据。
来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于车辆的模拟取向。在某些实施方式中,来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于模拟天气数据。来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于对载运工具的模拟姿态的位置数据,所述位置数据包括以下各项中的至少一项:(1)载运工具绕俯仰轴的旋转,(2)载运工具绕偏航轴的旋转,或者(3)载运工具绕横滚轴的旋转。
如之前所讨论的,基于云台控制数据、载运工具位置数据和云台模式信号以及可选的天气数据,可以在云台控制系统(例如,机载的云台或UAV)执行数据融合算法。数据融合算法可以在任何外部装置(例如,服务器、云、其他UAV)上进行,并且可被传输至遥控系统。在某些实施方式中,所述方法可以进一步包括将模拟云台响应数据传输至遥控系统的遥控器,所述遥控器进而可以将模拟云台响应数据传输至显示装置,所述显示装置显示云台在由所述云台响应数据描述的取向上的视觉图示。替代地,模拟云台响应数据可以被直接传输至显示装置,或者显示装置和遥控器可以是同一个装置。模拟云台响应数据可以由一个或多个处理器生成。
图9示出了根据本发明的实施方式的机载于载运工具上的云台的示意图。
如图9中所示,机载于载运工具上的云台900可包括被配置成用于接收指示从多种云台模式中进行选择的云台模式信号接收器901。机载于载运工具上的云台900可以进一步包括云台控制系统902,所述云台控制系统被配置成用于:(1)接收来自遥控系统的云台控制数据,(2)接收从机载于载运工具上的飞行控制系统生成的对载运工具的模拟姿态进行描述的位置数据,并且(3)基于(1)云台控制数据,(2)对载运工具的模拟姿态进行描述的位置数据,以及(3)云台模式信号生成模拟云台响应数据,其中,模拟云台响应数据在所述多种云台模式中的每一种云台模式下相对于载运工具的环境使一组不同的轴稳定。
云台可以可选地包括可以相对于彼此可移动的一个或多个云台部件。这些云台部件可以在致动器的辅助下相对于彼此移动。每个云台部件可以可选地具有可以允许云台部件移动的相应致动器。在某些实例中,一个或多个云台部件可以允许负载绕俯仰轴旋转,一个或多个云台部件可以允许负载绕偏航轴旋转,并且一个或多个云台部件可以允许负载绕横滚轴旋转。在一些情况下,取决于所选择的模式,云台部件可以被单独控制以提供期望的稳定效果。例如,第一云台部件可以被稳定而第二云台部件和第三云台部件不被稳定。在另一个实例中,第一云台部件和第二云台部件可以被稳定,而第三云台部件不被稳定。在另一个实例中,第一云台部件、第二云台部件和第三云台部件全都可以被稳定。负载可以由这些云台部件中的一个或多个云台部件支撑。负载可以直接接触单个云台部件。替代地,负载可以直接接触多个云台部件。
当云台模式信号指示选择第一人称视角模式时,模拟云台响应数据可相对于环境稳定云台的俯仰轴,而无需稳定偏航轴和横滚轴。换言之,如关于图6所讨论的,云台的俯仰姿态将由考虑环境的数据融合补偿,诸如天气数据。
当云台模式信号指示选择跟随模式时,模拟云台响应数据相对于环境稳定云台的俯仰轴和横滚轴,而无需稳定偏航轴。换言之,如关于图6所讨论的云台的俯仰和横滚姿态将由考虑环境的数据融合补偿,诸如天气数据。
当云台模式信号指示选择自由云台模式时,模拟云台响应数据相对于环境稳定云台的俯仰轴、偏航轴和横滚轴。换言之,如关于图6所讨论的云台的俯仰和横滚姿态将由考虑环境的数据融合补偿,诸如天气数据。
在某些实施方式中,可在远离载运工具的遥控系统处生成云台模式信号。在某些实施方式中,云台模式信号可以响应于指示从所述多种云台模式中选择一种选择云台模式的用户输入而生成。
在某些实施方式中,在机载于载运工具上的云台控制系统处接收(1)来自被配置成用于与云台控制系统通信的遥控系统的云台控制数据以及(2)对载运工具的模拟姿态进行描述的位置数据。载运工具可以是无人飞行器(“UAV”)。模拟云台状态信息可以包括由装配在云台中的相机捕捉的模拟视觉数据。
载运工具的模拟姿态可以由机载于载运工具上的载运工具控制系统生成,并且遥控系统被配置成用于接收模拟云台响应数据并将模拟云台响应数据传输至包括示出UAV的模拟云台状态信息的视觉显示器的显示装置。遥控系统可以是用来在真实飞行操作中操作载运工具和云台的同一个遥控系统并且可以包括对于控制云台的定向航向有用的一个或多个操控杆控件。
在某些实施方式中,显示装置可以是移动装置,并且遥控系统可经由无线连接以与所述显示装置通信。在某些实施方式中,遥控系统进一步包括显示装置,所述显示装置接收模拟云台响应数据并且显示云台在由所述云台响应数据描述的取向上的视觉图示。
图10是示意性地示出了根据本发明的实施方式的操作机载于载运工具上的云台的方法的流程图。
如图10中所示,获得指示云台将要处于活动模式还是模拟模式的云台模式信号1001。获得来自遥控系统的云台控制数据1002。在云台控制系统处基于来自遥控系统的云台控制数据生成云台响应数据1003,其中,云台响应数据(1)当云台处于活动模式时被传达至被配置成用于调整云台的布置的一个或多个致动器,并且(2)当云台处于模拟模式时不被传达至一个或多个致动器。
模拟云台响应数据可以包括表示云台相对于载运工具的姿态的模拟云台状态数据。视觉显示器可以示出载运工具的模拟云台状态信息。模拟云台状态信息可以包括由装配在云台中的相机捕捉的模拟视觉数据。
在某些实施方式中,所述方法可以进一步包括将模拟云台响应数据传输至显示装置,所述显示装置显示云台在由所述云台响应数据描述的取向上的视觉图示。模拟云台响应数据可以由一个或多个处理器生成。
来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于载运工具的模拟取向。进一步地,来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于模拟天气数据。来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据至少部分地基于对载运工具的模拟姿态进行描述的位置数据,所述位置数据包括以下各项中的至少一项:(1)载运工具绕俯仰轴的旋转,(2)载运工具绕偏航轴的旋转,或者(3)载运工具绕横滚轴的旋转。
在某些实施方式中,所述一个或多个致动器包括一个或多个马达。所述一个或多个致动器可以允许云台的一个或多个框架部件绕轴旋转。所述一个或多个致动器可以允许云台平移。在某些实施方式中,云台模式信号可以在远离载运工具的遥控系统处被生成或可响应于指示在活动模式和模拟模式之间进行选择的用户输入而被生成。
图11示出了根据本发明的实施方式的机载于载运工具上的云台的示意图。
如图11中所示,机载于载运工具上的云台1100可包括被配置成用于接收指示云台将要处于活动模式还是模拟模式的云台模式信号的接收器1101。机载于载运工具上的云台1100可进一步包括云台控制系统1102,所述云台控制系统被配置成用于(1)接收来自遥控系统的云台控制数据,并且(2)基于来自遥控系统的云台控制数据的云台响应数据。机载于载运工具上的云台1100可另外包括一个或多个致动器1103,所述一个或多个致动器被配置成用于(1)当云台处于活动模式时调整云台的布置,或(2)当云台处于模拟模式时保持休眠并且不调整云台的布置。
在机载于载运工具上的控制系统处接收(1)来自遥控系统的云台控制数据,所述遥控系统被配置成用于与所述云台控制系统通信以及(2)对载运工具的模拟姿态进行描述的位置数据。所述遥控系统可以被配置成用于接收模拟云台响应数据并将所述模拟云台响应数据传输至包括示出载运工具的模拟云台状态信息的视觉显示器的显示装置。遥控系统可以包括对于控制云台的定向航向有用的一个或多个操控杆控件。显示装置可以是移动装置并且遥控系统可以经由无线连接与所述显示装置通信。
遥控系统可以包括显示装置,所述显示装置接收模拟云台响应数据并且显示云台在由所述云台响应数据描述的取向上的视觉图示。遥控系统可以是用来在真实飞行操作中操作载运工具和云台的同一个遥控系统。在某些实施方式中,模拟云台状态信息包括由装配在云台中的相机捕捉的模拟视觉数据。
在某些实例中,来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于载运工具的模拟取向。进一步地,来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于模拟天气数据。
来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于对载运工具的模拟姿态进行描述的位置数据,所述位置数据包括以下各项中的至少一项:(1)载运工具绕俯仰轴的旋转,(2)载运工具绕偏航轴的旋转,或者(3)载运工具绕横滚轴的旋转。
在某些实施方式中,所述一个或多个致动器包括一个或多个马达。所述一个或多个致动器可以允许云台的一个或多个框架部件绕轴旋转。所述一个或多个致动器可以允许云台平移。可在远离载运工具的遥控系统生成云台模式信号。云台模式信号可以是响应于指示在活动模式和模拟模式之间进行选择的用户输入而生成的。载运工具可以是无人飞行器(“UAV”)。
图12是示意性地示出了根据本发明的实施方式的模拟云台控制的方法的流程图。
如图12中所示,获得(1)来自被配置成用于与云台控制系统通信的遥控系统的云台控制数据以及(2)对载运工具的模拟姿态进行描述的位置数据1201。在云台控制系统处基于云台控制数据和对载运工具的模拟姿态进行描述的位置数据生成模拟云台响应数据1202。然后,模拟云台响应数据和载运工具的模拟姿态被传输至遥控系统1203,所述遥控系统进而可以将载运工具的模拟姿态传输至显示装置,其中所述显示装置可以基于载运工具的模拟云台响应数据和模拟姿态生成视觉描绘。载运工具在本文中可以是无人飞行器(“UAV”)。
在某些实例中,模拟云台响应数据可以包括表示云台相对于载运工具的姿态的模拟云台状态数据。视觉显示器可以示出载运工具的模拟云台状态信息。模拟云台状态信息包括由装配在云台中的相机捕捉的模拟视觉数据。遥控系统可以包括对于控制云台的定向航向有用的一个或多个操控杆控件。模拟云台响应数据可以由一个或多个处理器生成。
在某些实施方式中,来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于载运工具的模拟取向。在某些实施方式中,来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于描述多个天气条件的模拟天气数据。来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于对载运工具的模拟姿态进行描述的位置数据,所述位置数据包括以下各项中的至少一项:(1)载运工具绕俯仰轴的旋转,(2)载运工具绕偏航轴的旋转,或者(3)载运工具绕横滚轴的旋转。
图13是根据本发明的实施方式的云台模拟系统的示意图。
如图13中所示,云台模拟系统1300可以包括机载于的载运工具上的云台1301。云台模拟系统1300可以进一步包括机载于载运工具上的云台控制系统1302,所述云台控制系统被配置成用于:(1)接收来自遥控系统的云台控制数据,(2)接收从机载于载运工具上的载运工具控制系统生成的对载运工具的模拟姿态进行描述的位置数据,并且(3)基于(i)云台控制数据以及(ii)对载运工具的模拟姿态进行描述的位置数据生成模拟云台响应数据。云台模拟系统1300可以另外包括通信单元1303,所述通信单元被配置成用于将模拟云台响应数据和载运工具的模拟姿态传输至显示装置,其中,显示装置基于模拟云台响应数据和载运工具的模拟姿态生成视觉描绘。
显示装置是手持式装置。显示装置可以与同云台控制系统通信的手持式装置集成为一体。在某些实施方式中,通过确定云台相对于载运工具的模拟姿态的模拟姿态计算模拟云台响应数据。
在某些实施方式中,在机载于载运工具上的云台控制系统处接收(1)来自遥控系统的云台控制数据,所述遥控系统被配置成用于与所述云台控制系统通信以及(2)对载运工具的模拟姿态进行描述的位置数据。载运工具可以是无人飞行器(“UAV”)。载运工具的模拟姿态可以由机载于载运工具上的载运工具控制系统生成。
在某些实施方式中,模拟云台响应数据是根据来自多种云台模式的一种云台模式确定的,其中所述云台模式可以包括第一人称视角模式、跟随模式或自由云台模式之一。当在第一人称视角模式下操作云台时,模拟云台响应数据相对于环境稳定云台的俯仰轴,而无需稳定偏航轴和横滚轴。当在跟随模式下操作云台时,模拟云台响应数据相对于环境稳定云台的俯仰轴和横滚轴,而无需稳定偏航轴。当在自由云台模式下操作云台时,模拟云台响应数据相对于环境稳定云台的俯仰轴、偏航轴和横滚轴。本文中环境可以涉及多个天气条件。
在某些实例中,来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于载运工具的模拟取向。在某些实施方式中,来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于模拟天气数据。来自机载于载运工具上的载运工具控制系统的对载运工具的姿态进行描述的位置数据可以至少部分地基于对载运工具的模拟姿态进行描述的位置数据,所述位置数据包括以下各项中的至少一项:(1)载运工具绕俯仰轴的旋转,(2)载运工具绕偏航轴的旋转,或者(3)载运工具绕横滚轴的旋转。
模拟可以为用户提供在UAV处于模拟飞行中时控制云台的虚拟体验。用户可以单独练习控制云台,或可以练习控制云台和UAV。在某些实例中,不同的用户可以练习控制每个部分(例如,第一用户可以控制云台而第二用户可以控制UAV)。
模拟可以为用户示出由云台支撑的图像捕捉装置的透视图。用户可以查看由图像捕捉装置实时捕捉的虚拟视数据。取决于所选择的云台模式,虚拟图像捕捉装置可绕不同的旋转轴稳定,这些旋转轴可以通过图像捕捉装置提供不同的视觉效果。
模拟还可以示出云台在虚拟环境中操作。模拟可以示出在虚拟环境内由UAV所支撑的云台。可显示云台和/或UAV在虚拟环境中的方位。可以显示云台的定位。例如,可以显示一个或多个云台部件的旋转程度。可显示负载在虚拟环境中的取向。在某些实例中,可以显示虚拟测量结果。例如,UAV绕一个或多个轴的取向度可以被显示为数值。类似地,UAV在虚拟环境的空间方位可被显示为空间坐标。例如,云台所支撑的负载绕一个或多个轴的取向度可以被显示为数值。类似地,负载在虚拟环境中的空间方位可被显示为空间坐标。针对每个云台部件的旋转程度的测量结果可以被显示或可以不被显示为数值。
可显示虚拟环境。虚拟环境可包括一个或多个地理特征。这可以包括自然形成的特征,诸如山脉、山丘、湖泊、河流、小溪、山谷、森林、岩石、地形、海岸或任何其他自然形成的特征。这还可以包括虚拟人造特征,诸如建筑物、载运工具、桥梁、机场、跑道或任何其他人造特征。可以显示诸如人类或动物等移动物体。来自图像捕捉装置的虚拟图像可以对应于图像捕捉装置在虚拟环境内的估计位置和取向。
图14示意性地示出了根据本发明的实施方式的具有云台的无人飞行器1400。
UAV可以是本文所描述的可移动物体的示例。UAV 1400可以包括具有四个旋翼的推进系统,诸如明确描绘的那些1402、1404和1406。可以提供任意数量的旋翼(例如,一个、两个、三个、四个、五个、六个、或者更多)。无人飞行器的旋翼、旋翼组件或其他推进系统可以使无人飞行器能够悬停/维持位置、改变取向和/或改变方位。相对旋翼的轴之间的距离可以是任何合适的长度。例如,长度可以小于等于2m或小于等于5m。在某些实施方式中,长度可以在从40cm至1m、从10cm至2m、或从5cm至5m的范围内。本文中对UAV的任何描述可以适用于可移动物体,诸如不同类型的可移动物体,并且反之亦然。UAV可以使用本文中描述的辅助起飞系统或方法。
在某些实施方式中,可移动物体可被配置成用于搭载负载,诸如云台1408,所述负载可以支撑所描绘的图像捕捉装置1410。负载可包括乘客、货物、装备、仪器等中的一种或多种。负载可以设置在壳体内。所述壳体可以与可移动物体的壳体相分离,或者是可移动物体的壳体的一部分。替代地,负载可以配备有壳体而可移动物体并不具有壳体。替代地,负载的各部分或整个负载可以不配备有壳体。负载可以相对于可移动物体以刚性方式被固定。可选地,负载可以是相对于可移动物体可移动的(例如,可相对于可移动物体平移或旋转)。负载可以包括有效载荷和/或载具,如本文中其他地方所描述的。
在某些实施方式中,可移动物体、载具和负载相对于固定参照系(例如,周围环境)和/或相对于彼此的移动可以由终端控制。终端可以是在远离可移动物体、载具和/或负载的位置处的遥控器装置,诸如图1中所示的遥控器101。终端可以被布置在或附着到支撑平台上。替代地,终端可以是手持式装置或可穿戴装置。例如,终端可包括智能电话、平板计算机、膝上型计算机、计算机、眼镜、手套、头盔、麦克风、或其合适的组合。终端可包括用户接口,诸如键盘、鼠标、操控杆、触摸屏或显示器。任何合适的用户输入可用于与终端交互,诸如手动输入的命令、语音控制、手势控制或位置控制(例如,通过终端的移动、方位或倾斜)。
终端可以用来控制可移动物体、载具和/或负载的任何合适的状态。例如,终端可用于控制可移动物体、载具和/或负载相对于固定参照系和/或相对于彼此的位置和/或取向。在某些实施方式中,终端可用于控制可移动物体、载具和/或负载的单独元件,诸如载具的致动组件、负载的传感器或者负载的发射器。终端可包括被适配为用于与可移动物体、载具或者负载中的一个或多个通信的无线通信装置。终端可以对应于本文中其他地方描述的遥控器。终端可以可选地是显示装置或可以包括显示装置。终端可以是遥控系统的一部分。
终端可以包括用于查看可移动物体、载具和/或负载的信息的合适的显示单元。例如,终端可以被配置成用于显示可移动物体、载具和/或负载关于位置、平移速度、平移加速度、取向、角速度、角加速度、或其任何合适的组合的信息。在某些实施方式中,终端可显示由负载提供的信息,诸如由功能性负载提供的数据(例如,由相机或其他图像捕捉装置记录的图像)。
可选地,同一个终端可以同时控制可移动物体、载具和/或负载、或者可移动物体、载具和/或负载的状态,以及接收和/或显示来自可移动物体、载具和/或负载的信息。例如,终端可以控制负载相对于环境的定位,同时显示负载捕捉的图像数据或者有关负载的位置的信息。可选地,不同的终端可以用于不同的功能。例如,第一终端可以控制可移动物体、载具和/或负载的移动或状态,而第二终端可以接收和/或显示来自可移动物体、载具和/或负载的信息。例如,第一终端可以控制可移动物体、载具和/或负载相对于环境的定位,而第二终端显示负载捕捉的图像数据。可以在可移动物体与既控制可移动物体又接收数据的一体式终端之间或者在可移动物体与既控制可移动物体又接收数据的多个终端之间使用各种不同的通信模式。例如,可以在可移动物体与既控制可移动物体又从可移动物体接收数据的终端之间形成至少两种不同的通信模式。
图15示出了根据本发明的实施方式包括载具1502和负载1504的可移动物体1500。虽然可移动物体1500被描绘为飞行器,但本描绘不旨在是限制性的,并且可以使用本文先前所述的任何合适类型的可移动物体。本领域的技术人员将认识到,本文中在飞行器系统背景下描述的任何实施方式可以适用于任何合适的可移动物体(例如,UAV)。在某些实例中,负载1504可以设置在可移动物体1500上而无需载具1502。可移动物体1500可包括推进机构1506、感测系统1508以及通信系统1510。
如先前所述的,推进机构1506可以包括旋翼、螺旋桨、桨叶、发动机、马达、轮子、轴、磁铁、或喷嘴中的一项或多项。可移动物体可以具有一个或多个、两个或更多个、三个或更多个、或者四个或更多个推进机构。这些推进机构可以全都是相同的类型。替代地,一个或多个推进机构可以是不同类型的推进机构。推进机构1506可以使用任何合适的手段(诸如本文中其他地方描述的支撑元件(例如,传动轴))安装在可移动物体1500上。推进机构1506可以安装在可移动物体1500的任何合适部分上,诸如在顶部、底部、前侧、后侧、侧面、或其合适的组合。
在某些实施方式中,推进机构1506可以使可移动物体1500能够从表面垂直起飞或者垂直降落在表面上,而不需要可移动物体1500的任何水平移动(例如,不需要在跑道上滑行)。可选地,推进机构1506可操作以允许可移动物体1500在空中悬停在特定位置和/或取向。可以独立于其他推进机构控制这些推进机构1506中的一个或多个推进机构。可选地,推进机构1506可以被配置成被同时控制。例如,可移动物体1500可以具有多个水平取向的旋翼,这些旋翼可以为可移动物体提供升力和/或推力。所述多个水平取向的旋翼可以被致动从而为可移动物体1500提供垂直起飞、垂直降落和悬停能力。在某些实施方式中,这些水平取向的旋翼中的一个或多个旋翼可以朝顺时针方向自旋,同时这些水平取向的旋翼中的一个或多个旋翼可以朝逆时针方向自旋。例如,顺时针旋翼的数量可以与逆时针旋翼的数量相同。每个水平取向的旋翼的旋转速率可以独立地变化以控制由每个旋翼产生的升力和/或推力,并且由此调整可移动物体1500的空间布局、速度和/或加速度(例如,关于多达三个平移度和多达三个旋转度)。
感测系统1508可以包括一个或多个传感器,所述一个或多个传感器可感测可移动物体1500的空间布局、速度和/或加速度(例如,相对于多达三个平移度及多达三个旋转度)。所述一个或多个传感器可以包括全球定位系统(“GPS”)传感器、运动传感器、惯性传感器、距离传感器、或图像传感器。由感测系统1508提供的感测数据可以用于控制可移动物体1500的空间布局、速度和/或取向(如下所述,使用适合的处理单元和/或控制模块)。替代地,感测系统1508可用于提供关于可移动物体周围的环境的数据,诸如天气条件、距潜在障碍物的距离、地理特征的方位、人造结构的方位等。
通信系统1510能够通过无线信号1516与具有通信系统1514的终端1512进行通信。通信系统1510、1514可以包括任意数量的适于无线通信的发射器、接收器和/或收发器。通信可以是单向通信,从而使得数据可以仅朝一个方向传输。例如,单向通信可以涉及仅可移动物体1500将数据传输至终端1512,或反之亦然。数据可以从通信系统1510的一个或多个发射器传输至通信系统1512的一个或多个接收器,或反之亦然。替代地,通信可以是双向通信,从而使得在可移动物体1500和终端1512之间可以朝两个方向传输数据。双向通信可以涉及将数据从通信系统1510的一个或多个发射器传输至通信系统1514的一个或多个接收器,并且反之亦然。
在某些实施方式中,终端1512可以为可移动物体1500、载具1502以及负载1504中的一个或多个提供控制数据并且接收来自可移动物体1500、载具1502以及负载1504中的一个或多个的信息(例如,可移动物体、载具或负载的位置和/或运动信息;由负载感测的数据,例如由负载相机捕捉的图像数据)。在一些情况下,来自终端的控制数据可以包括用于可移动物体、载具和/或负载的相对位置、移动、致动或控制的指令。例如,控制数据可以引起修改可移动物体的方位和/或取向(例如,通过推进机构1506的控制)或负载相对于可移动物体的移动(例如,通过载具1502的控制)。来自终端的控制数据可以引起控制负载,例如控制相机或其他图像捕捉装置的操作(例如,获得静态或者动态图片、图像放大或缩小、开启或者关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视场)。
在某些实例中,来自可移动物体、载具和/或负载的通信可以包括来自(例如,感测系统1508的或负载1504的)一个或多个传感器的信息。通信可包括来自一种或多个种同类型的传感器(例,GPS传感器、运动传感器、惯性传感器、距离传感器或图像传感器)的感测信息。这种信息可以与可移动物体、载具和/或负载的位置(例如,方位、取向)、移动或加速度有关。来自负载的这种信息可包括负载所捕捉的数据或负载的感测状态。由终端1512提供和传输的控制数据可以被配置成用于控制可移动物体1500、载具1502、或负载1504中的一个或多个的状态。替代地或组合地,载具1502和负载1504还可以各自包括通信模块,所述通信模块被配置成用于与终端1512通信,从而使得终端可以独立地与可移动物体1500、载具1502和负载1504中每一个进行通信并对其进行控制。
在某些实施方式中,可移动物体1500可以被配置成用于除了与终端1512以外(或替代终端1512)还与另一个远程装置通信。终端1512还可以被配置成用于与另一远程装置以及可移动物体1500通信。例如,可移动物体1500和/或终端1512可以与另一可移动物体、或另一可移动物体的载具或负载通信。如果需要,远程装置可以是第二终端或者其他计算装置(例如,计算机、膝上型计算机、平板计算机、智能电话、或其他移动装置)。远程装置可以被配置成用于将数据传输至可移动物体1500、接收来自可移动物体1500的数据、将数据传输至终端1512和/或接收来自终端1512的数据。可选地,远程装置可以连接到互联网或其他电信网络,从而使得从可移动物体1500和/或终端1512接收的数据可以被上传到网站或服务器。
在某些实施方式中,在模拟模式下,可移动物体1500与载具1502和负载1504以物理方式分开。载具1502和负载1504可由终端1512控制以执行贯穿本发明所讨论的云台控制模拟。在某些实施方式中,在模拟模式下,可移动物体1500可以被设定为参与云台控制模拟。如之前关于附图所讨论的,载运工具控制系统和云台控制系统可以在可移动对象1500内被操作以便执行云台控制数据和可移动对象的位置数据的数据融合,从而可以获得云台的模拟姿态数据。
图16是根据实施方式的一种用于控制可移动物体或载具的系统1600的框图形式的示意图。系统1600可以与本文中公开的系统、装置和方法的任何合适的实施方式结合使用。系统1600可以包括感测模块1602、处理单元1604、非瞬态计算机可读介质1606、控制模块1608和通信模块1610。
感测模块1602可以采用不同类型的、以不同方式收集与可移动物体相关的信息的传感器。不同类型的传感器可感测不同类型的信号或来自不同来源的信号。例如,传感器可包括惯性传感器、GPS传感器、距离传感器(例如,激光雷达)、或视觉/图像传感器(例如,相机)。感测模块1602可以操作性地连接至具有多个处理器的处理单元1604。在某些实施方式中,感测模块1602可以操作性地耦接至传输模块1612(例如,Wi-Fi图像传输模块),所述传输模块被配置成用于直接将感测数据传输至合适的外部装置或系统。例如,传输模块1612可以用于将感测模块1602的相机捕捉的图像传输至远程终端。
处理单元1604可以具有一个或多个处理器,诸如可编程处理器(例如,中央处理单元(CPU))。处理单元1604可以操作性地耦接至非瞬态计算机可读介质1606。非瞬态计算机可读介质1606可以存储可由处理单元1604执行以便执行之前所讨论的一个或多个步骤的逻辑、代码和/或程序指令。非瞬态计算机可读介质可以包括一个或多个存储器单元(例如,可移除式介质或外部存储器,诸如SD卡或随机存取存储器(RAM)。在某些实施方式中,来自感测模块1602的数据可以直接被传送至并存储在非瞬态计算机可读介质1606的存储器单元中。非瞬态计算机可读介质1606的存储器单元可以存储可由处理单元1604执行以执行本文中描述的方法的任何合适的实施方式的逻辑、代码和/或程序指令。例如,处理单元1604可以被配置成用于执行指令,这些指令使得处理单元1604的一个或多个处理器分析感测模块1602产生的感测数据。这些存储器单元可以存储来自感测模块1602的有待由处理单元1604处理的感测数据。在某些实施方式中,非瞬态计算机可读介质1606的存储器单元可以用于存储处理单元1604产生的处理结果。
在某些实施方式中,处理单元1604可以操作性地耦接至被配置成用于控制可移动物体的状态的控制模块1608。例如,控制模块1608可以被配置成用于控制可移动物体的推进机构来调整可移动物体相对于六个自由度的空间布局、速度和/或加速度。替代地或组合地,控制模块1608可以控制载具、负载、或感测模块的状态中的一个或多个。
处理单元1604可以操作性地耦接至通信模块1610,所述通信模块被配置成用于从一个或多个外部装置(例如,终端、显示装置、或其他遥控器)传输和/或接收数据。可以使用任何合适的通信手段,诸如有线通信或无线通信。例如,通信模块1610可以利用局域网(LAN)、广域网(WAN)、红外、无线电、WiFi、点对点(“P2P”)网络、电信网络、云通信等中的一个或多个。可选地,可以使用中继站(诸如塔、卫星、或移动站)。无线通信可以依赖于距离或独立于距离。在某些实施方式中,通信可能需要或可能不需要视距。通信模块1610可以传输和/或接收来自感测模块1602的感测数据、处理处理单元1604产生的结果、预定控制数据、来自终端或遥控器的用户命令等中的一种或多种。
系统1600的这些部件可以以任何合适的配置来布置。例如,系统1600的一个或多个部件可以被定位在可移动物体、载具、负载、终端、感测系统、或与以上中的一项或多项通信的附加外部装置上。此外,尽管图16描绘了单个处理单元1604和单个非瞬态计算机可读介质1606,但本领域的技术人员将认识到这不旨在是限制性的并且系统1600可以包括多个处理单元和/或非瞬态计算机可读介质。在某些实施方式中,所述多个处理单元和/或非瞬态计算机可读介质中的一个或多个可位于不同的位置,诸如在可移动物体、载具、负载、终端、感测模块、或与以上中的一项或多项通信的附加外部装置、或其适当组合上,从而使得由系统1600执行的处理和/或存储器功能的任何合适的方面可以发生在上述位置中的一个或多个位置处。
虽然本文中已经示出并且描述了本发明的优选实施方式,但对于本领域技术人员明显的是这样的实施方式是仅通过示例提供的。本领域技术人员将会设想出许多变化、改变以及替换而不背离本发明。应当理解的是,可以在实践本发明时采用本文中描述的本发明实施方式的各种替代方案。以下权利要求书旨在限定本发明的范围并因而涵盖这些权利要求及其等效项范围内的方法和结构。
Claims (209)
1.一种模拟云台控制的方法,所述方法包括:
接收(1)来自遥控系统的云台控制数据,所述遥控系统被配置成用于与所述云台控制系统通信以及(2)对载运工具的模拟姿态进行描述的位置数据;
在云台控制系统处基于所述云台控制数据以及对所述载运工具的所述模拟姿态进行描述的所述位置数据生成模拟云台响应数据;并且
将所述模拟云台响应数据从机载于所述载运工具上的所述云台控制系统传输至所述遥控系统。
2.如权利要求1所述的方法,其中,在机载于所述载运工具上的所述云台控制系统处接收(1)来自所述遥控系统的所述云台控制数据,所述遥控系统被配置成用于与所述云台控制系统通信以及(2)对所述载运工具的所述模拟姿态进行描述的所述位置数据。
3.如权利要求2所述的方法,其中,所述载运工具是无人飞行器(UAV)。
4.如权利要求2所述的方法,其中,所述载运工具的所述模拟姿态是由机载于所述载运工具上的载运工具控制系统生成的。
5.如权利要求1所述的方法,其中,所述模拟云台响应数据是根据一种云台模式确定的,其中,所述云台模式包括第一人称视角模式、跟随模式或自由云台模式之一。
6.如权利要求5所述的方法,其中,当在所述第一人称视角模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴,而无需稳定偏航轴和横滚轴。
7.如权利要求5所述的方法,其中,当在所述跟随模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴和横滚轴,而无需稳定偏航轴。
8.如权利要求5所述的方法,其中,当在所述自由云台模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴、偏航轴和横滚轴。
9.如权利要求1所述的方法,其中,所述云台响应数据是基于在远离所述载运工具的所述遥控系统处生成的云台模式信号确定的。
10.如权利要求9所述的方法,其中,所述云台模式信号是响应于指示从所述多种云台模式中选择一种云台模式的用户输入而生成的。
11.如权利要求1所述的方法,其中,所述模拟云台响应数据包括表示所述云台相对于所述载运工具的姿态的模拟云台状态数据。
12.如权利要求11所述的方法,其中,视觉显示器示出所述载运工具的模拟云台状态信息。
13.如权利要求12所述的方法,其中,所述模拟云台状态信息包括由装配在所述云台中的相机捕捉的模拟视觉数据。
14.如权利要求1所述的方法,其中,所述方法进一步包括将所述模拟云台响应数据传输至显示装置,所述显示装置显示所述云台在由所述云台响应数据描述的取向上的视觉图示。
15.如权利要求14所述的方法,其中,所述显示装置与所述遥控系统集成为一体。
16.如权利要求14所述的方法,其中,所述显示装置是与所述云台控制系统通信的手持式装置。
17.如权利要求1所述的方法,其中,所述遥控系统包括对于控制所述云台的定向航向有用的一个或多个控件。
18.如权利要求1所述的方法,其中,所述模拟云台响应数据是由一个或多个处理器生成的。
19.如权利要求1所述的方法,其中,所述载运工具是无人飞行器(UAV)。
20.如权利要求1所述的方法,其中,来自机载于所述载运工具上的载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于所述载运工具的模拟取向。
21.如权利要求1所述的方法,其中,来自机载于所述载运工具上的载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于模拟天气数据。
22.如权利要求1所述的方法,其中,来自机载于所述载运工具上的载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于对所述载运工具的所述模拟姿态进行描述的所述位置数据,所述位置数据包括以下各项中的至少一项:(1)所述载运工具绕俯仰轴的旋转,(2)所述载运工具绕偏航轴的旋转,或者(3)所述载运工具绕横滚轴的旋转。
23.一种云台模拟系统,包括:
机载于载运工具上的云台;
机载于所述载运工具上的云台控制系统,所述云台控制系统被配置成用于:(1)接收来自遥控系统的云台控制数据,(2)接收从机载于所述载运工具上的载运工具控制系统生成的对所述载运工具的模拟姿态进行描述的位置数据;并且(3)基于(i)所述云台控制数据以及(ii)对所述载运工具的所述模拟姿态进行描述的所述位置数据生成模拟云台响应数据;以及
通信单元,所述通信单元被配置成用于将所述模拟云台响应数据传输至所述遥控系统。
24.如权利要求23所述的云台模拟系统,其中,在机载于所述载运工具上的云台控制系统处接收(1)来自遥控系统的云台控制数据,所述遥控系统被配置成用于与所述云台控制系统通信以及(2)对所述载运工具的模拟姿态进行描述的所述位置数据。
25.如权利要求24所述的云台模拟系统,其中,所述载运工具是无人飞行器(UAV)。
26.如权利要求24所述的云台模拟系统,其中,所述载运工具的所述模拟姿态是由机载于所述载运工具上的所述载运工具控制系统生成的。
27.如权利要求23所述的云台模拟系统,其中,所述模拟云台响应数据是根据一种云台模式确定的,其中所述云台模式包括第一人称视角模式、跟随模式或自由云台模式之一。
28.如权利要求27所述的云台模拟系统,其中,当在所述第一人称视角模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴,而无需稳定偏航轴和横滚轴。
29.如权利要求27所述的云台模拟系统,其中,当在所述跟随模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴和横滚轴,而无需稳定偏航轴。
30.如权利要求27所述的云台模拟系统,其中,当在所述自由云台模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴、偏航轴和横滚轴。
31.如权利要求23所述的云台模拟系统,其中,所述云台响应数据是基于在远离所述载运工具的所述遥控系统处生成的云台模式信号确定的。
32.如权利要求31所述的云台模拟系统,其中,所述云台模式信号是响应于指示从所述多种云台模式中选择一种云台模式的用户输入而生成的。
33.如权利要求23所述的云台模拟系统,其中,所述遥控系统被配置成用于将所述模拟云台响应数据传输至包括视觉显示器的显示装置。
34.如权利要求33所述的云台模拟系统,其中,所述显示装置是移动装置。
35.如权利要求33所述的云台模拟系统,其中,所述遥控系统经由无线连接与所述显示装置通信。
36.如权利要求33所述的云台模拟系统,其中,所述遥控系统包括所述显示装置。
37.如权利要求33所述的云台模拟系统,其中,所述遥控系统是用来在实际飞行操作中操作所述载运工具和所述云台的同一个遥控系统。
38.如权利要求33所述的云台模拟系统,其中,所述视觉显示器示出所述UAV的模拟云台状态信息。
39.如权利要求38所述的云台模拟系统,其中,所述模拟云台状态信息包括由装配在所述云台中的相机捕捉的模拟视觉数据。
40.如权利要求23所述的云台模拟系统,其中,所述系统进一步包括显示装置,所述显示装置接收所述模拟云台响应数据并且显示所述云台在由所述云台响应数据描述的取向上的视觉图示。
41.如权利要求40所述的云台模拟系统,其中,所述显示装置与所述遥控系统集成为一体。
42.如权利要求40所述的云台模拟系统,其中,所述显示装置是与所述云台控制系统通信的手持式装置。
43.如权利要求23所述的云台模拟系统,其中,所述遥控系统包括对于控制所述云台的定向航向有用的一个或多个控件。
44.如权利要求23所述的云台模拟系统,其中,所述模拟云台响应数据是由一个或多个处理器生成的。
45.如权利要求23所述的云台模拟系统,其中,所述载运工具是无人飞行器(UAV)。
46.如权利要求23所述的云台模拟系统,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于所述载运工具的模拟取向。
47.如权利要求23所述的云台模拟系统,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于模拟天气数据。
48.如权利要求23所述的云台模拟系统,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于对所述载运工具的所述模拟姿态进行描述的所述位置数据,所述位置数据包括以下各项中的至少一项:(1)所述载运工具绕俯仰轴的旋转,(2)所述载运工具绕偏航轴的旋转,或者(3)所述载运工具绕横滚轴的旋转。
49.一种模拟云台控制的方法,所述方法包括:
在远离载运工具的遥控系统处接收由机载于所述载运工具上的云台控制系统生成的模拟云台响应数据,其中,所述模拟云台响应数据是基于以下数据生成的:(1)来自被配置成用于与所述云台控制系统通信的所述遥控系统的云台控制数据以及(2)从机载于所述载运工具上的载运工具控制系统生成的对所述载运工具的姿态进行描述的位置数据;并且
在所述遥控系统处基于所述模拟云台响应数据显示模拟云台表示。
50.如权利要求49所述的方法,其中,在显示装置上描绘所述模拟云台响应数据。
51.如权利要求49所述的方法,其中,所述载运工具是无人飞行器(UAV)。
52.如权利要求49所述的方法,其中,所述模拟云台响应数据是根据一种云台模式确定的,其中,所述云台模式包括第一人称视角模式、跟随模式或自由云台模式之一。
53.如权利要求52所述的方法,其中,当在所述第一人称视角模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴,而无需稳定偏航轴和横滚轴。
54.如权利要求52所述的方法,其中,当在所述跟随模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴和横滚轴,而无需稳定偏航轴。
55.如权利要求52所述的方法,其中,当在所述自由云台模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴、偏航轴和横滚轴。
56.如权利要求49所述的方法,其中,所述云台响应数据是基于在远离所述载运工具的所述遥控系统处生成的云台模式信号确定的。
57.如权利要求56所述的方法,其中,所述云台模式信号是响应于指示从所述多种云台模式中选择一种云台模式的用户输入而生成的。
58.如权利要求49所述的方法,其中,所述遥控系统被配置成用于将所述模拟云台响应数据传输至包括视觉显示器的显示装置。
59.如权利要求58所述的方法,其中,所述显示装置是移动装置。
60.如权利要求58所述的方法,其中,所述遥控系统经由无线连接与所述显示装置通信。
61.如权利要求58所述的方法,其中,所述遥控系统包括所述显示装置。
62.如权利要求58所述的方法,其中,所述遥控系统是用来在实际飞行操作中操作所述载运工具和所述云台的同一个遥控系统。
63.如权利要求58所述的方法,其中,所述视觉显示器示出所述UAV的模拟云台状态信息。
64.如权利要求63所述的方法,其中,所述模拟云台状态信息包括由装配在所述云台中的相机捕捉的模拟视觉数据。
65.如权利要求49所述的方法,其中,所述系统进一步包括显示装置,所述显示装置接收所述模拟云台响应数据并且显示所述云台在由所述云台响应数据描述的取向上的视觉图示。
66.如权利要求49所述的方法,其中,所述遥控系统包括对于控制所述云台的定向航向有用的一个或多个控件。
67.如权利要求49所述的方法,其中,所述模拟云台响应数据是由一个或多个处理器生成的。
68.如权利要求49所述的方法,其中,所述载运工具是无人飞行器(UAV)。
69.如权利要求49所述的方法,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于所述载运工具的模拟取向。
70.如权利要求49所述的方法,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于模拟天气数据。
71.如权利要求49所述的方法,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于对所述载运工具的所述模拟姿态进行描述的所述位置数据,所述位置数据包括以下各项中的至少一项:(1)所述载运工具绕俯仰轴的旋转,(2)所述载运工具绕偏航轴的旋转,或者(3)所述载运工具绕横滚轴的旋转。
72.一种非瞬态计算机可读介质,所述非瞬态计算机可读介质包括用于执行云台模拟的程序指令,所述非瞬态计算机可读介质包括:
程序指令,这些程序指令用于处理在远离所述载运工具的遥控系统处所接收的模拟云台响应数据,所述模拟云台响应数据由机载于所述载运工具上的云台控制系统生成,其中,所述模拟云台响应数据是基于以下数据生成的:(1)来自被配置成用于与所述云台控制系统通信的所述遥控系统的云台控制数据以及(2)从机载于所述载运工具上的载运工具控制系统生成的对所述载运工具的姿态进行描述的位置数据;以及
程序指令,这些程序指令用于在所述遥控系统处基于所述模拟云台响应数据显示模拟云台表示。
73.如权利要求72所述的非瞬态计算机可读介质,其中,在显示装置上描绘所述模拟云台响应数据。
74.如权利要求72所述的非瞬态计算机可读介质,其中,所述载运工具是无人飞行器(UAV)。
75.如权利要求72所述的非瞬态计算机可读介质,其中,所述模拟云台响应数据是根据一种云台模式确定的,其中,所述云台模式包括第一人称视角模式、跟随模式或自由云台模式之一。
76.如权利要求75所述的非瞬态计算机可读介质,其中,当在所述第一人称视角模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴,而无需稳定偏航轴和横滚轴。
77.如权利要求75所述的非瞬态计算机可读介质,其中,当在所述跟随模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴和横滚轴,而无需稳定偏航轴。
78.如权利要求75所述的非瞬态计算机可读介质,当在所述自由云台模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴、偏航轴和横滚轴。
79.如权利要求72所述的非瞬态计算机可读介质,其中,所述云台响应数据是基于在远离所述载运工具的所述遥控系统处生成的云台模式信号确定的。
80.如权利要求79所述的非瞬态计算机可读介质,其中,所述云台模式信号是响应于指示从所述多种云台模式中选择一种云台模式的用户输入而生成的。
81.如权利要求72所述的非瞬态计算机可读介质,其中,所述遥控系统被配置成用于将所述模拟云台响应数据传输至包括视觉显示器的显示装置。
82.如权利要求81所述的非瞬态计算机可读介质,其中,所述显示装置是移动装置。
83.如权利要求81所述的非瞬态计算机可读介质,其中,所述遥控系统经由无线连接与所述显示装置通信。
84.如权利要求81所述的非瞬态计算机可读介质,其中,所述遥控系统包括所述显示装置。
85.如权利要求81所述的非瞬态计算机可读介质,其中,所述遥控系统是用来在实际飞行操作中操作所述载运工具和所述云台的同一个遥控系统。
86.如权利要求81所述的非瞬态计算机可读介质,其中,所述视觉显示器示出所述UAV的模拟云台状态信息。
87.如权利要求86所述的非瞬态计算机可读介质,其中,所述模拟云台状态信息包括由装配在所述云台中的相机捕捉的模拟视觉数据。
88.如权利要求72所述的非瞬态计算机可读介质,其中,所述系统进一步包括显示装置,所述显示装置接收所述模拟云台响应数据并且显示所述云台在由所述云台响应数据描述的取向上的视觉图示。
89.如权利要求72所述的非瞬态计算机可读介质,其中,所述遥控系统包括对于控制所述云台的定向航向有用的一个或多个控件。
90.如权利要求72所述的非瞬态计算机可读介质,其中,所述模拟云台响应数据是由一个或多个处理器生成的。
91.如权利要求72所述的非瞬态计算机可读介质,其中,所述载运工具是无人飞行器(UAV)。
92.如权利要求72所述的非瞬态计算机可读介质,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于所述载运工具的模拟取向。
93.如权利要求72所述的非瞬态计算机可读介质,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于模拟天气数据。
94.如权利要求72所述的非瞬态计算机可读介质,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于对所述载运工具的所述模拟姿态进行描述的所述位置数据,所述位置数据包括以下各项中的至少一项:(1)所述载运工具绕俯仰轴的旋转,(2)所述载运工具绕偏航轴的旋转,或者(3)所述载运工具绕横滚轴的旋转。
95.一种模拟云台控制的方法,所述方法包括:
接收指示从多种云台模式中进行选择的云台模式信号;
接收(1)来自遥控系统的云台控制数据以及(2)从机载于载运工具上的载运工具控制系统生成的对所述载运工具的模拟姿态进行描述的位置数据;并且
在云台控制系统处基于以下数据生成模拟云台响应数据:(1)所述云台控制数据,(2)对所述载运工具的所述模拟姿态进行描述的所述位置数据,以及(3)所述云台模式信号,其中,所述模拟云台响应数据在所述多种云台模式中的每一种模式下相对于所述载运工具的环境使一组不同的轴稳定。
96.如权利要求95所述的方法,其中,所述多种云台模式包括第一人称视角模式、跟随模式和自由云台模式。
97.如权利要求96所述的方法,其中,当所述云台模式信号指示选择所述第一人称视角模式时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴,而无需稳定偏航轴和横滚轴。
98.如权利要求96所述的方法,其中,当所述云台模式信号指示选择所述跟随模式时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴和横滚轴,而无需稳定偏航轴。
99.如权利要求96所述的方法,其中,当所述云台模式信号指示选择所述自由云台模式时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴、偏航轴和横滚轴。
100.如权利要求95所述的方法,其中,所述云台模式信号是在远离所述载运工具的所述遥控系统处生成的。
101.如权利要求100所述的方法,其中,所述云台模式信号是响应于指示从所述多种云台模式中选择一种云台模式的用户输入而生成的。
102.如权利要求95所述的方法,其中,所述模拟云台响应数据包括表示所述云台相对于所述载运工具的姿态的模拟云台状态数据。
103.如权利要求102所述的方法,其中,视觉显示器示出所述载运工具的模拟云台状态信息。
104.如权利要求103所述的方法,其中,所述模拟云台状态信息包括由装配在所述云台中的相机捕捉的模拟视觉数据。
105.如权利要求95所述的方法,其中,所述方法进一步包括将所述模拟云台响应数据传输至显示装置,所述显示装置显示所述云台在由所述云台响应数据描述的取向上的视觉图示。
106.如权利要求95所述的方法,其中,所述模拟云台响应数据是由一个或多个处理器生成的。
107.如权利要求95所述的方法,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于所述载运工具的模拟取向。
108.如权利要求95所述的方法,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于模拟天气数据。
109.如权利要求95所述的方法,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于对所述载运工具的所述模拟姿态进行描述的所述位置数据,所述位置数据包括以下各项中的至少一项:(1)所述载运工具绕俯仰轴的旋转,(2)所述载运工具绕偏航轴的旋转,或者(3)所述载运工具绕横滚轴的旋转。
110.一种机载于载运工具上的云台,所述云台包括:
接收器,所述接收器被配置成用于接收指示从多种云台模式中进行选择的云台模式信号;以及
云台控制系统,所述云台控制系统被配置成用于:(1)接收来自遥控系统的云台控制数据,(2)接收从机载于所述载运工具上的载运工具控制系统生成的对所述载运工具的模拟姿态进行描述的位置数据,并且(3)基于(1)所述云台控制数据,(2)对所述载运工具的所述模拟姿态进行描述的所述位置数据,以及(3)所述云台模式信号生成模拟云台响应数据,其中,所述模拟云台响应数据在所述多种云台模式中的每一种模式下相对于所述载运工具的环境使一组不同的轴稳定。
111.如权利要求110所述的云台,其中,所述多种云台模式包括第一人称视角模式、跟随模式和自由云台模式。
112.如权利要求111所述的云台,其中,当所述云台模式信号指示选择所述第一人称视角模式时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴,而无需稳定偏航轴和横滚轴。
113.如权利要求111所述的云台,其中,当所述云台模式信号指示选择所述跟随模式时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴和横滚轴,而无需稳定偏航轴。
114.如权利要求111所述的云台,其中,当所述云台模式信号指示选择所述自由云台模式时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴、偏航轴和横滚轴。
115.如权利要求110所述的云台,其中,所述云台模式信号是在远离所述载运工具的所述遥控系统处生成的。
116.如权利要求115所述的云台,其中,所述云台模式信号是响应于指示从所述多种云台模式中选择一种云台模式的用户输入而生成的。
117.如权利要求110所述的云台,其中,在机载于载运工具上的云台控制系统处接收的在机载于载运工具上的云台控制系统处接收(1)来自遥控系统的云台控制数据,所述遥控系统被配置成用于与所述云台控制系统通信以及(2)对所述载运工具的模拟姿态进行描述的位置数据。
118.如权利要求117所述的云台,其中,所述载运工具是无人飞行器(UAV)。
119.如权利要求117所述的云台,其中,所述载运工具的所述模拟姿态是由机载于所述载运工具上的所述载运工具控制系统生成的。
120.如权利要求110所述的云台,其中,遥控系统被配置成用于接收所述模拟云台响应数据并将所述模拟云台响应数据传输至包括视觉显示器的显示装置。
121.如权利要求120所述的云台,其中,所述遥控系统包括对于控制所述云台的定向航向有用的一个或多个控件。
122.如权利要求120所述的云台,其中,所述显示装置是移动装置。
123.如权利要求120所述的云台,其中,所述遥控系统经由无线连接与所述显示装置通信。
124.如权利要求120所述的云台,其中,所述遥控系统包括所述显示装置。
125.如权利要求120所述的云台,其中,所述遥控系统是用来在实际飞行操作中操作所述载运工具和所述云台的同一个遥控系统。
126.如权利要求110所述的云台,其中,所述视觉显示器示出所述UAV的模拟云台状态信息。
127.如权利要求126所述的云台,其中,所述模拟云台状态信息包括由装配在所述云台中的相机捕捉的模拟视觉数据。
128.如权利要求110所述的云台,其中,所述云台控制系统进一步包括显示装置,所述显示装置接收所述模拟云台响应数据并显示所述云台在由所述云台响应数据所描述的取向上的视觉图示。
129.如权利要求110所述的云台,其中,所述模拟云台响应数据是由一个或多个处理器生成的。
130.如权利要求110所述的云台,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于所述载运工具的模拟取向。
131.如权利要求110所述的云台,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于模拟天气数据。
132.如权利要求110所述的云台,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于对所述载运工具的所述模拟姿态进行描述的所述位置数据,所述位置数据包括以下各项中的至少一项:(1)所述载运工具绕俯仰轴的旋转,(2)所述载运工具绕偏航轴的旋转,或者(3)所述载运工具绕横滚轴的旋转。
133.一种操作机载于载运工具上的云台的方法,所述方法包括:
接收指示所述云台将要处于活动模式还是模拟模式的云台模式信号;
接收来自遥控系统的云台控制数据;并且
在所述云台控制系统处基于来自所述遥控系统的所述云台控制数据生成云台响应数据,其中,所述云台响应数据(1)当所述云台处于所述活动模式时被传达至被配置成用于调整所述云台的布置的一个或多个致动器,并且(2)当所述云台处于所述模拟模式时不被传达至一个或多个致动器。
134.如权利要求133所述的方法,其中,所述模拟云台响应数据包括表示所述云台相对于所述载运工具的姿态的模拟云台状态数据。
135.如权利要求134所述的方法,其中,视觉显示器示出所述载运工具的模拟云台状态信息。
136.如权利要求135所述的方法,其中,所述模拟云台状态信息包括由装配在所述云台中的相机捕捉的模拟视觉数据。
137.如权利要求133所述的方法,其中,所述方法进一步包括将所述模拟云台响应数据传输至显示装置,所述显示装置显示所述云台在由所述云台响应数据描述的取向上的视觉图示。
138.如权利要求133所述的方法,其中,所述模拟云台响应数据是由一个或多个处理器生成的。
139.如权利要求133所述的方法,其中,来自机载于所述载运工具上的载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于所述载运工具的模拟取向。
140.如权利要求133所述的方法,其中,来自机载于所述载运工具上的载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于模拟天气数据。
141.如权利要求133所述的方法,其中,来自机载于所述载运工具上的载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于对所述载运工具的所述模拟姿态进行描述的所述位置数据,所述位置数据包括以下各项中的至少一项:(1)所述载运工具绕俯仰轴的旋转,(2)所述载运工具绕偏航轴的旋转,或者(3)所述载运工具绕横滚轴的旋转。
142.如权利要求133所述的方法,其中,所述一个或多个致动器包括一个或多个马达。
143.如权利要求133所述的方法,其中,所述一个或多个致动器允许所述云台的一个或多个框架部件绕轴旋转。
144.如权利要求133所述的方法,其中,所述一个或多个致动器允许所述云台平移。
145.如权利要求133所述的方法,其中,所述云台模式信号是在远离所述载运工具的所述遥控系统处生成的。
146.如权利要求145所述的方法,其中,所述云台模式信号是响应于指示在所述活动模式与所述模拟模式之间进行选择的用户输入而生成的。
147.如权利要求133所述的方法,其中,所述载运工具是无人飞行器(UAV)。
148.一种机载于载运工具上的云台,所述云台包括:
接收器,所述接收器被配置成用于接收指示所述云台将要处于活动模式还是模拟模式的云台模式信号;
云台控制系统,所述云台控制系统被配置成用于(1)接收来自遥控系统的云台控制数据,并且(2)基于来自所述遥控系统的所述云台控制数据生成云台响应数据;以及
一个或多个致动器,所述一个或多个致动器被配置成用于(1)当所述云台处于所述活动模式时调整所述云台的布置,或者(2)当所述云台处于所述模拟模式时保持休眠并且不调整所述云台的所述布置。
149.如权利要求147所述的云台,其中,在机载于载运工具上的所述控制系统处接收的在机载于云台载运工具上的控制系统处接收来自遥控系统的所述云台控制数据,所述遥控系统被配置成用于与所述云台控制系统通信以及(2)对所述载运工具的模拟姿态进行描述的位置数据。
150.如权利要求147所述的云台,其中,所述遥控系统被配置成用于接收所述模拟云台响应数据并将所述模拟云台响应数据传输至包括视觉显示器的显示装置。
151.如权利要求149所述的云台,其中,所述遥控系统包括对于控制所述云台的定向航向有用的一个或多个控件。
152.如权利要求149所述的云台,其中,所述显示装置是移动装置。
153.如权利要求149所述的云台,其中,所述遥控系统经由无线连接与所述显示装置通信。
154.如权利要求149所述的云台,其中,所述遥控系统包括所述显示装置。
155.如权利要求149所述的云台,其中,所述遥控系统是用来在实际飞行操作中操作所述载运工具和所述云台的同一个遥控系统。
156.如权利要求149所述的云台,其中,所述视觉显示器示出所述载运工具的模拟云台状态信息。
157.如权利要求155所述的云台,其中,所述模拟云台状态信息包括由装配在所述云台中的相机捕捉的模拟视觉数据。
158.如权利要求147所述的云台,其中,所述云台控制系统进一步包括显示装置,所述显示装置接收所述模拟云台响应数据并显示所述云台在由所述云台响应数据所描述的取向上的视觉图示。
159.如权利要求147所述的云台,其中,所述模拟云台响应数据是由一个或多个处理器生成的。
160.如权利要求147所述的云台,其中,来自机载于所述载运工具上的载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于所述载运工具的模拟取向。
161.如权利要求147所述的云台,其中,来自机载于所述载运工具上的载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于模拟天气数据。
162.如权利要求147所述的云台,其中,来自机载于所述载运工具上的载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于对所述载运工具的所述模拟姿态进行描述的所述位置数据,所述位置数据包括以下各项中的至少一项:(1)所述载运工具绕俯仰轴的旋转,(2)所述载运工具绕偏航轴的旋转,或者(3)所述载运工具绕横滚轴的旋转。
163.如权利要求147所述的云台,其中,所述一个或多个致动器包括一个或多个马达。
164.如权利要求147所述的云台,其中,所述一个或多个致动器允许所述云台的一个或多个框架部件绕轴旋转。
165.如权利要求147所述的云台,其中,所述一个或多个致动器允许所述云台平移。
166.如权利要求147所述的云台,其中,所述载运工具是无人飞行器(UAV)。
167.如权利要求147所述的云台,其中,所述云台模式信号是在远离所述载运工具的所述遥控系统处生成的。
168.如权利要求165所述的云台,其中,所述云台模式信号是响应于指示在所述活动模式和所述模拟模式之间进行选择的用户输入而生成的。
169.一种模拟云台控制的方法,所述方法包括:
接收(1)来自遥控系统的云台控制数据,所述遥控系统被配置成用于与所述云台控制系统通信以及(2)对所述载运工具的模拟姿态进行描述的位置数据;
在云台控制系统处基于所述云台控制数据以及对所述载运工具的所述模拟姿态进行描述的所述位置数据生成模拟云台响应数据;并且将所述模拟云台响应数据和所述载运工具的所述模拟姿态传输至显示装置,其中,所述显示装置基于所述模拟云台响应数据和所述载运工具的所述模拟姿态生成视觉描绘。
170.如权利要求167所述的方法,其中,所述显示装置是手持式装置。
171.如权利要求167所述的方法,其中,所述显示装置与同所述云台控制系统通信的遥控系统集成为一体。
172.如权利要求167所述的方法,其中,通过确定所述云台相对于所述载运工具的所述模拟姿态的模拟姿态来计算所述模拟云台响应数据。
173.如权利要求167所述的方法,其中,在机载于载运工具上的云台控制系统处接收(1)来自遥控系统的云台控制数据,所述遥控系统被配置成用于与所述云台控制系统通信以及(2)对所述载运工具的模拟姿态进行描述的位置数据。
174.如权利要求171所述的方法,其中,所述载运工具是无人飞行器(UAV)。
175.如权利要求171所述的方法,其中,所述载运工具的所述模拟姿态是由机载于所述载运工具上的载运工具控制系统生成的。
176.如权利要求167所述的方法,其中,所述模拟云台响应数据是根据一种云台模式确定的,其中,所述云台模式包括第一人称视角模式、跟随模式或自由云台模式之一。
177.如权利要求174所述的方法,其中,当在所述第一人称视角模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴,而无需稳定偏航轴和横滚轴。
178.如权利要求174所述的方法,其中,当在所述跟随模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴和横滚轴,而无需稳定偏航轴。
179.如权利要求174所述的方法,其中,当在所述自由云台模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴、偏航轴和横滚轴。
180.如权利要求167所述的方法,其中,所述云台响应数据是基于在远离所述载运工具的所述遥控系统处生成的云台模式信号确定的。
181.如权利要求178所述的方法,其中,所述云台模式信号是响应于指示从所述多种云台模式中选择一种云台模式的用户输入而生成的。
182.如权利要求167所述的方法,其中,所述模拟云台响应数据包括表示所述云台相对于所述载运工具的姿态的模拟云台状态数据。
183.如权利要求180所述的方法,其中,视觉显示器示出所述载运工具的模拟云台状态信息。
184.如权利要求181所述的方法,其中,所述模拟云台状态信息包括由装配在所述云台中的相机捕捉的模拟视觉数据。
185.如权利要求167所述的方法,其中,所述遥控系统包括对于控制所述云台的定向航向有用的一个或多个控件。
186.如权利要求167所述的方法,其中,所述模拟云台响应数据是由一个或多个处理器生成的。
187.如权利要求167所述的方法,其中,所述载运工具是无人飞行器(UAV)。
188.如权利要求167所述的方法,其中,来自机载于所述载运工具上的载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于所述载运工具的模拟取向。
189.如权利要求167所述的方法,其中,来自机载于所述载运工具上的载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于模拟天气数据。
190.如权利要求167所述的方法,其中,来自机载于所述载运工具上的载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于对所述载运工具的所述模拟姿态进行描述的所述位置数据,所述位置数据包括以下各项中的至少一项:(1)所述载运工具绕俯仰轴的旋转,(2)所述载运工具绕偏航轴的旋转,或者(3)所述载运工具绕横滚轴的旋转。
191.一种云台模拟系统,包括:
机载于载运工具上的云台;
机载于所述载运工具上的云台控制系统,所述云台控制系统被配置成用于:(1)接收来自遥控系统的云台控制数据,(2)接收从机载于所述载运工具上的载运工具控制系统生成的对所述载运工具的模拟姿态进行描述的位置数据;并且(3)基于(i)所述云台控制数据以及(ii)对所述载运工具的所述模拟姿态进行描述的所述位置数据生成模拟云台响应数据;以及
通信单元,所述通信单元被配置成用于将所述模拟云台响应数据和所述载运工具的所述模拟姿态传输至显示装置,其中,所述显示装置基于所述模拟云台响应数据和所述载运工具的所述模拟姿态生成视觉描绘。
192.如权利要求189所述的云台模拟系统,其中,所述显示装置是手持式装置。
193.如权利要求189所述的云台模拟系统,其中,所述显示装置与同所述云台控制系统通信的遥控系统集成为一体。
194.如权利要求189所述的云台模拟系统,其中,通过确定所述云台相对于所述载运工具的所述模拟姿态的模拟姿态来计算所述模拟云台响应数据。
195.如权利要求189所述的云台模拟系统,其中,在机载于载运工具上的云台控制系统处接收(1)来自遥控系统的云台控制数据,所述遥控系统被配置成用于与所述云台控制系统通信以及(2)对所述载运工具的模拟姿态进行描述的位置数据。
196.如权利要求193所述的云台模拟系统,其中,所述载运工具是无人飞行器(UAV)。
197.如权利要求193所述的云台模拟系统,其中,所述载运工具的所述模拟姿态是由机载于所述载运工具上的所述载运工具控制系统生成的。
198.如权利要求189所述的云台模拟系统,其中,所述模拟云台响应数据是根据一种云台模式确定的,其中所述云台模式包括第一人称视角模式、跟随模式或自由云台模式之一。
199.如权利要求196所述的云台模拟系统,其中,当在所述第一人称视角模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴,而无需稳定偏航轴和横滚轴。
200.如权利要求196所述的云台模拟系统,其中,当在所述跟随模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴和横滚轴,而无需稳定偏航轴。
201.如权利要求196所述的云台模拟系统,其中,当在所述自由云台模式下操作所述云台时,所述模拟云台响应数据相对于环境稳定所述云台的俯仰轴、偏航轴和横滚轴。
202.如权利要求189所述的云台模拟系统,其中,所述云台响应数据是基于在远离所述载运工具的所述遥控系统处生成的云台模式信号确定的。
203.如权利要求200所述的云台模拟系统,其中,所述云台模式信号是响应于指示从所述多种云台模式中选择一种云台模式的用户输入而生成的。
204.如权利要求189所述的云台模拟系统,其中,所述遥控系统包括对于控制所述云台的定向航向有用的一个或多个控件。
205.如权利要求189所述的云台模拟系统,其中,所述模拟云台响应数据是由一个或多个处理器生成的。
206.如权利要求189所述的云台模拟系统,其中,所述载运工具是无人飞行器(UAV)。
207.如权利要求189所述的云台模拟系统,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于所述载运工具的模拟取向。
208.如权利要求189所述的云台模拟系统,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于模拟天气数据。
209.如权利要求189所述的云台模拟系统,其中,来自机载于所述载运工具上的所述载运工具控制系统的对所述载运工具的姿态进行描述的所述位置数据至少部分地基于对所述载运工具的所述模拟姿态进行描述的所述位置数据,所述位置数据包括以下各项中的至少一项:(1)所述载运工具绕俯仰轴的旋转,(2)所述载运工具绕偏航轴的旋转,或者(3)所述载运工具绕横滚轴的旋转。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2015/083788 WO2017008207A1 (en) | 2015-07-10 | 2015-07-10 | Systems and methods for gimbal simulation |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107924638A true CN107924638A (zh) | 2018-04-17 |
CN107924638B CN107924638B (zh) | 2021-04-16 |
Family
ID=57730850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580081616.9A Expired - Fee Related CN107924638B (zh) | 2015-07-10 | 2015-07-10 | 用于云台模拟的系统和方法 |
Country Status (6)
Country | Link |
---|---|
US (3) | US9858023B2 (zh) |
EP (3) | EP3722902B1 (zh) |
JP (1) | JP6228679B2 (zh) |
CN (1) | CN107924638B (zh) |
ES (1) | ES2813923T3 (zh) |
WO (1) | WO2017008207A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109074087A (zh) * | 2017-12-25 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 偏航姿态控制方法、无人机、计算机可读存储介质 |
CN109584701A (zh) * | 2018-12-07 | 2019-04-05 | 中国科学院长春光学精密机械与物理研究所 | 一种面向教学的光电稳定云台及其测试方法 |
CN110300941A (zh) * | 2018-08-31 | 2019-10-01 | 深圳市大疆创新科技有限公司 | 一种云台的转动控制方法、装置及控制设备、移动平台 |
CN111816024A (zh) * | 2020-06-18 | 2020-10-23 | 四川沃洛佳科技有限公司 | 一种基于仿真平台的无人机模拟训练系统及其使用方法 |
CN113715063A (zh) * | 2021-07-30 | 2021-11-30 | 上海大学 | 一种气囊驱动的三自由度仿生眼 |
WO2022247498A1 (zh) * | 2021-05-27 | 2022-12-01 | 北京三快在线科技有限公司 | 无人机监控 |
CN116164754A (zh) * | 2023-04-25 | 2023-05-26 | 中国电子科技集团公司第五十四研究所 | 一种基于无人机运动状态的云台虚拟化方法 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101740312B1 (ko) * | 2015-01-09 | 2017-06-09 | 주식회사 대한항공 | 무인 항공기의 카메라 조종정보를 이용한 무인 항공기 유도제어 방법 |
WO2017017675A1 (en) * | 2015-07-28 | 2017-02-02 | Margolin Joshua | Multi-rotor uav flight control method and system |
US10185316B2 (en) * | 2015-08-10 | 2019-01-22 | Edward Kablaoui | System and method for drone connectivity and communication over a cellular network |
CN105867361A (zh) * | 2016-04-18 | 2016-08-17 | 深圳市道通智能航空技术有限公司 | 一种飞行方向控制方法、装置及其无人机 |
US10627821B2 (en) * | 2016-04-22 | 2020-04-21 | Yuneec International (China) Co, Ltd | Aerial shooting method and system using a drone |
CN106202606A (zh) * | 2016-06-22 | 2016-12-07 | 百度在线网络技术(北京)有限公司 | 一种模拟智能体的特征信息获取方法和装置 |
JP2020510943A (ja) | 2017-02-08 | 2020-04-09 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 可動物体を制御する方法及びシステム |
US10386857B2 (en) * | 2017-07-05 | 2019-08-20 | Qualcomm Incorporated | Sensor-centric path planning and control for robotic vehicles |
CN207924888U (zh) * | 2017-07-24 | 2018-09-28 | 深圳市大疆创新科技有限公司 | 遥控器和无人飞行器系统 |
US11064184B2 (en) | 2017-08-25 | 2021-07-13 | Aurora Flight Sciences Corporation | Aerial vehicle imaging and targeting system |
US11074827B2 (en) | 2017-08-25 | 2021-07-27 | Aurora Flight Sciences Corporation | Virtual reality system for aerial vehicle |
US10495421B2 (en) | 2017-08-25 | 2019-12-03 | Aurora Flight Sciences Corporation | Aerial vehicle interception system |
KR102402457B1 (ko) * | 2017-09-15 | 2022-05-26 | 삼성전자 주식회사 | 콘텐츠 처리 방법 및 이를 지원하는 전자 장치 |
CN113086228A (zh) * | 2017-12-27 | 2021-07-09 | 深圳市大疆创新科技有限公司 | 切换云台工作模式的方法、控制器和图像增稳设备 |
CN108323192B (zh) * | 2018-01-05 | 2021-11-30 | 深圳市大疆创新科技有限公司 | 手持云台的控制方法和手持云台 |
US11238200B2 (en) * | 2018-03-05 | 2022-02-01 | Textron Innovations Inc. | Targeting system and simulator therefor |
CN110770669A (zh) * | 2018-08-28 | 2020-02-07 | 深圳市大疆创新科技有限公司 | 云台的目标位置标记方法、云台与拍摄装置 |
CN114578841A (zh) * | 2018-10-31 | 2022-06-03 | 深圳市道通智能航空技术股份有限公司 | 无人机及其云台控制方法 |
KR102093916B1 (ko) * | 2019-04-26 | 2020-03-26 | 한화시스템 주식회사 | 전자광학 표적추적장비 |
KR102093918B1 (ko) * | 2019-04-26 | 2020-03-26 | 한화시스템 주식회사 | 조이스틱 명령에 따른 전자광학 표적추적장비의 시선 이동 안정화 방법 |
KR102093913B1 (ko) * | 2019-04-26 | 2020-03-26 | 한화시스템 주식회사 | 조이스틱 명령에 따른 전자광학 표적추적장비의 시선 이동 제어기 |
CN111713094B (zh) * | 2019-07-10 | 2022-10-25 | 深圳市大疆创新科技有限公司 | 云台及拍摄装置控制方法和装置 |
CN113228140B (zh) * | 2019-08-30 | 2024-04-19 | 乐天集团股份有限公司 | 无人飞行器的操纵模拟系统及方法 |
KR102647558B1 (ko) * | 2019-09-16 | 2024-03-15 | 한국전력공사 | 전력설비 점검용 가상 드론 훈련 시뮬레이션 장치 및 방법 |
JP7195616B2 (ja) * | 2019-12-10 | 2022-12-26 | 株式会社エアロネクスト | 長尺に延びる本体部を備えた飛行体 |
CN114815654B (zh) * | 2022-03-01 | 2023-02-24 | 北京理工大学 | 一种面向无人车控制的数字孪生系统及其搭建方法 |
US20230353866A1 (en) * | 2022-05-01 | 2023-11-02 | SZ DJI Technology Co., Ltd. | Gimbal, method and apparatus for controlling photographing apparatus |
WO2023238631A1 (ja) * | 2022-06-08 | 2023-12-14 | ソニーグループ株式会社 | 制御方法、ジンバル、飛翔体、ジンバル付き飛翔体及びプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100152953A1 (en) * | 2008-12-17 | 2010-06-17 | Honeywell International Inc. | Methods and systems for efficiently orienting an agile vehicle using a gyroscope array |
EP2341387A1 (en) * | 2009-12-09 | 2011-07-06 | Honeywell International Inc. | Non-contact data transfer from gimbal systems |
CN102176161A (zh) * | 2011-01-27 | 2011-09-07 | 华北电力大学 | 面向电力线巡检的飞行模拟系统 |
CN103426282A (zh) * | 2013-07-31 | 2013-12-04 | 深圳市大疆创新科技有限公司 | 遥控方法及终端 |
US20140327764A1 (en) * | 2013-05-02 | 2014-11-06 | Rosemount Aerospace Inc. | Integrated gimbal assembly |
CN204406748U (zh) * | 2014-12-24 | 2015-06-17 | 何军 | 一种用于无人机器操控的虚拟驾驶系统 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2782580B2 (ja) * | 1994-09-06 | 1998-08-06 | 防衛庁技術研究本部長 | 飛しょう体の誘導装置 |
JP3332015B2 (ja) * | 1999-07-08 | 2002-10-07 | 日本電気株式会社 | 追尾装置 |
US20010041326A1 (en) * | 2000-05-12 | 2001-11-15 | Zeier Bruce E. | Simulator for aircraft flight training |
US7642741B2 (en) | 2005-04-27 | 2010-01-05 | Sidman Adam D | Handheld platform stabilization system employing distributed rotation sensors |
WO2007033033A2 (en) * | 2005-09-12 | 2007-03-22 | Honeywell International Inc. | Apparatus and method for providing pointing capability for a fixed camera |
US7768514B2 (en) | 2006-12-19 | 2010-08-03 | International Business Machines Corporation | Simultaneous view and point navigation |
JP2008206670A (ja) * | 2007-02-26 | 2008-09-11 | Taya Engineering Kk | ラジコン模型の統合制御システム |
JP5295630B2 (ja) * | 2008-05-13 | 2013-09-18 | 株式会社東芝 | 飛しょう体の誘導装置及び飛しょう体の誘導装置の誘導信号算出方法 |
US8566071B2 (en) * | 2009-10-26 | 2013-10-22 | The United States Of America As Represented By The Secretary Of The Army | Calibration and synchronization of micro air vehicle autopilots |
US8897932B2 (en) | 2010-06-07 | 2014-11-25 | Toyota Jidosha Kabushiki Kaisha | Flight control support device |
CN102023644A (zh) | 2010-11-10 | 2011-04-20 | 新太科技股份有限公司 | 一种基于语音识别技术的云台控制的方法 |
US20120143482A1 (en) | 2010-12-02 | 2012-06-07 | Honeywell International Inc. | Electronically file and fly unmanned aerial vehicle |
CN102314179B (zh) | 2011-05-04 | 2013-02-06 | 杭州电子科技大学 | 基于手机及内置重力感应器的云台控制方法 |
US8538669B2 (en) | 2011-09-09 | 2013-09-17 | Honeywell International Inc. | Ground based system and methods for identifying incursions along the flight path of an in-flight aircraft |
CN102496312B (zh) | 2011-12-22 | 2014-10-15 | 北京东进航空科技股份有限公司 | 空中目标侵入限制空域的告警方法及装置 |
CN103267528A (zh) | 2013-05-07 | 2013-08-28 | 西北工业大学 | 禁飞区限制下的多无人机协同区域搜索方法 |
CN103458184B (zh) | 2013-08-25 | 2016-08-10 | 浙江大学 | 一种应用手机进行云台远程控制的方法 |
CA3161755A1 (en) * | 2014-01-10 | 2015-07-16 | Pictometry International Corp. | Unmanned aircraft structure evaluation system and method |
-
2015
- 2015-07-10 ES ES18208812T patent/ES2813923T3/es active Active
- 2015-07-10 WO PCT/CN2015/083788 patent/WO2017008207A1/en active Application Filing
- 2015-07-10 EP EP20171781.6A patent/EP3722902B1/en active Active
- 2015-07-10 CN CN201580081616.9A patent/CN107924638B/zh not_active Expired - Fee Related
- 2015-07-10 JP JP2016536650A patent/JP6228679B2/ja active Active
- 2015-07-10 EP EP18208812.0A patent/EP3476735B1/en active Active
- 2015-07-10 EP EP15874414.4A patent/EP3195292B1/en not_active Not-in-force
-
2016
- 2016-09-15 US US15/266,877 patent/US9858023B2/en active Active
-
2017
- 2017-12-24 US US15/853,818 patent/US10761798B2/en active Active
-
2020
- 2020-08-27 US US17/004,609 patent/US20200394009A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100152953A1 (en) * | 2008-12-17 | 2010-06-17 | Honeywell International Inc. | Methods and systems for efficiently orienting an agile vehicle using a gyroscope array |
EP2341387A1 (en) * | 2009-12-09 | 2011-07-06 | Honeywell International Inc. | Non-contact data transfer from gimbal systems |
CN102176161A (zh) * | 2011-01-27 | 2011-09-07 | 华北电力大学 | 面向电力线巡检的飞行模拟系统 |
US20140327764A1 (en) * | 2013-05-02 | 2014-11-06 | Rosemount Aerospace Inc. | Integrated gimbal assembly |
CN103426282A (zh) * | 2013-07-31 | 2013-12-04 | 深圳市大疆创新科技有限公司 | 遥控方法及终端 |
CN204406748U (zh) * | 2014-12-24 | 2015-06-17 | 何军 | 一种用于无人机器操控的虚拟驾驶系统 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109074087A (zh) * | 2017-12-25 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 偏航姿态控制方法、无人机、计算机可读存储介质 |
CN110300941A (zh) * | 2018-08-31 | 2019-10-01 | 深圳市大疆创新科技有限公司 | 一种云台的转动控制方法、装置及控制设备、移动平台 |
CN109584701A (zh) * | 2018-12-07 | 2019-04-05 | 中国科学院长春光学精密机械与物理研究所 | 一种面向教学的光电稳定云台及其测试方法 |
CN111816024A (zh) * | 2020-06-18 | 2020-10-23 | 四川沃洛佳科技有限公司 | 一种基于仿真平台的无人机模拟训练系统及其使用方法 |
WO2022247498A1 (zh) * | 2021-05-27 | 2022-12-01 | 北京三快在线科技有限公司 | 无人机监控 |
CN113715063A (zh) * | 2021-07-30 | 2021-11-30 | 上海大学 | 一种气囊驱动的三自由度仿生眼 |
CN113715063B (zh) * | 2021-07-30 | 2024-02-27 | 上海大学 | 一种气囊驱动的三自由度仿生眼 |
CN116164754A (zh) * | 2023-04-25 | 2023-05-26 | 中国电子科技集团公司第五十四研究所 | 一种基于无人机运动状态的云台虚拟化方法 |
CN116164754B (zh) * | 2023-04-25 | 2023-06-23 | 中国电子科技集团公司第五十四研究所 | 一种基于无人机运动状态的云台虚拟化方法 |
Also Published As
Publication number | Publication date |
---|---|
US9858023B2 (en) | 2018-01-02 |
ES2813923T3 (es) | 2021-03-25 |
EP3722902B1 (en) | 2021-09-15 |
EP3195292A1 (en) | 2017-07-26 |
EP3476735B1 (en) | 2020-06-03 |
US20180121149A1 (en) | 2018-05-03 |
JP2017524958A (ja) | 2017-08-31 |
US20170010611A1 (en) | 2017-01-12 |
EP3476735A1 (en) | 2019-05-01 |
CN107924638B (zh) | 2021-04-16 |
EP3195292A4 (en) | 2017-11-01 |
EP3195292B1 (en) | 2019-01-09 |
WO2017008207A1 (en) | 2017-01-19 |
JP6228679B2 (ja) | 2017-11-08 |
EP3722902A1 (en) | 2020-10-14 |
US10761798B2 (en) | 2020-09-01 |
US20200394009A1 (en) | 2020-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107924638A (zh) | 用于云台模拟的系统和方法 | |
CN108780325B (zh) | 用于调整无人飞行器轨迹的系统和方法 | |
US11233943B2 (en) | Multi-gimbal assembly | |
US20210116944A1 (en) | Systems and methods for uav path planning and control | |
CN106029501B (zh) | Uav全景成像 | |
CN108351653B (zh) | 用于uav飞行控制的系统和方法 | |
CN105980950B (zh) | 无人飞行器的速度控制 | |
KR102236339B1 (ko) | 이미징 기기로 캡처한 이미지를 제어하기 위한 시스템 및 방법 | |
CN108351649B (zh) | 用于控制可移动物体的方法和设备 | |
CN106716272B (zh) | 用于飞行模拟的系统和方法 | |
CN107168352B (zh) | 目标追踪系统及方法 | |
CN108351574A (zh) | 用于设置相机参数的系统、方法和装置 | |
CN106796761A (zh) | 用于支持模拟移动的系统和方法 | |
CN108139758A (zh) | 基于显著性特征的载运工具定位 | |
US20200221056A1 (en) | Systems and methods for processing and displaying image data based on attitude information | |
JP2021036452A (ja) | Uav軌道を調整するシステム及び方法 | |
JP2023083072A (ja) | 方法、システムおよびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210416 |