CN110692027A - 用于提供无人机应用的易用的释放和自动定位的系统和方法 - Google Patents
用于提供无人机应用的易用的释放和自动定位的系统和方法 Download PDFInfo
- Publication number
- CN110692027A CN110692027A CN201880036540.1A CN201880036540A CN110692027A CN 110692027 A CN110692027 A CN 110692027A CN 201880036540 A CN201880036540 A CN 201880036540A CN 110692027 A CN110692027 A CN 110692027A
- Authority
- CN
- China
- Prior art keywords
- aerial system
- user
- aerial
- video
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 176
- 230000008569 process Effects 0.000 claims abstract description 26
- 230000003287 optical effect Effects 0.000 claims description 125
- 238000012545 processing Methods 0.000 claims description 119
- 230000007246 mechanism Effects 0.000 claims description 99
- 230000004044 response Effects 0.000 claims description 59
- 230000009471 action Effects 0.000 claims description 38
- 230000006870 function Effects 0.000 claims description 32
- 230000003993 interaction Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 description 96
- 230000033001 locomotion Effects 0.000 description 77
- 239000013598 vector Substances 0.000 description 71
- 238000013519 translation Methods 0.000 description 53
- 238000001514 detection method Methods 0.000 description 51
- 238000003384 imaging method Methods 0.000 description 42
- 238000004891 communication Methods 0.000 description 39
- 238000005259 measurement Methods 0.000 description 37
- 230000005484 gravity Effects 0.000 description 32
- 230000001133 acceleration Effects 0.000 description 30
- 230000014509 gene expression Effects 0.000 description 27
- 230000001276 controlling effect Effects 0.000 description 26
- 230000000007 visual effect Effects 0.000 description 24
- 238000004422 calculation algorithm Methods 0.000 description 22
- 230000015654 memory Effects 0.000 description 20
- 238000011022 operating instruction Methods 0.000 description 19
- 238000004458 analytical method Methods 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000004091 panning Methods 0.000 description 11
- 239000011295 pitch Substances 0.000 description 11
- 239000000203 mixture Substances 0.000 description 10
- 230000008921 facial expression Effects 0.000 description 9
- 230000001413 cellular effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 230000004927 fusion Effects 0.000 description 7
- 238000012544 monitoring process Methods 0.000 description 7
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000014759 maintenance of location Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000011217 control strategy Methods 0.000 description 4
- 230000001934 delay Effects 0.000 description 4
- 230000010399 physical interaction Effects 0.000 description 4
- 238000000513 principal component analysis Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 4
- 230000006641 stabilisation Effects 0.000 description 4
- 230000000153 supplemental effect Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 239000000872 buffer Substances 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000003032 molecular docking Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 229920001621 AMOLED Polymers 0.000 description 2
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 239000013067 intermediate product Substances 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229920000642 polymer Polymers 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 210000000078 claw Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000001143 conditioned effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001141 propulsive effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 201000009482 yaws Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/06—Rate of change of altitude or depth
- G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
- G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
- G05D1/0661—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for take-off
- G05D1/0669—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for take-off specially adapted for vertical take-off
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/222—Remote-control arrangements operated by humans
- G05D1/223—Command input arrangements on the remote controller, e.g. joysticks or touch screens
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/228—Command input arrangements located on-board unmanned vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/652—Take-off
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/656—Interaction with payloads or external entities
- G05D1/689—Pointing payloads towards fixed or moving targets
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
- H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/60—UAVs characterised by the material
- B64U20/65—Composite materials
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U50/00—Propulsion; Power supply
- B64U50/10—Propulsion
- B64U50/19—Propulsion using electrically powered motors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U70/00—Launching, take-off or landing arrangements
- B64U70/90—Launching from or landing on platforms
- B64U70/92—Portable platforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Business, Economics & Management (AREA)
- Microelectronics & Electronic Packaging (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
Abstract
一种用于借由易用的释放与自动定位过程控制空中系统以执行所选择的操作的系统和方法。
Description
相关申请的交叉引用
本申请要求2017年7月25日提交的序列号为15/658,572的美国非临时专利申请的优先权，该美国非临时专利申请要求2017年6月5日提交的序列号为62/515,400的美国临时专利申请的优先权，本申请所要求优先权的公开通过引用全文并入本文。
技术领域
本发明大体上涉及空中系统领域，并且更具体地，涉及用于提供无人机易用的释放和自动定位的系统和方法。
背景技术
传统的用于操作无人机的用户界面不是用户友好的。当用户想要用装载有照相机的无人机拍照或摄像时，使用专用的远程控制器或者手机来无线控制及操作无人机。在捕获相片或视频前，用户需要花费很大的努力使无人机定位到期望的位置以及期望的照相机视角。用于中小型无人机的电池使用时间不长，通常在5-20分钟的范围内。定位无人机需要的时间越长，留给用户实际使用无人机捕获相片和视频的时间就越少。因此，具有直观的、易用的、以及可靠的无人机自拍交互是非常有益的，使得无人机能够尽可能快地定位到期望的位置，并且大部分的无人机照相机的飞行时间可被节省并且被用于无人机的最重要的功能：拍摄相片和视频。
本发明针对上面提到的一个或多个问题。
发明内容
在本发明的一个方面，提供了具有主体、提升机构、光学系统和处理系统的空中系统。所述提升机构耦接至主体。所述光学系统通过致动系统可控制地安装至主体。所述处理系统耦接至提升机构、光学系统以及致动系统，并且所述处理系统配置为：
提供用户界面以允许用户选择要执行的操作；
检测飞行事件；
控制空中系统以移动至由所选择的操作限定的指定的位置；
执行由所选择的操作限定的预定义的动作；
当预定义的动作已完成时，在取回模式下操作空中系统；
检测待机事件；以及
响应于检测到待机事件，在待机模式下操作空中系统。
在本发明的另一个方面，提供了一种用于控制空中系统的方法。
所述方法包括下列步骤：
提供用户界面；
允许用户选择要执行的操作；
检测飞行事件；
控制空中系统以移动至由所选择的操作限定的指定的位置；
执行由所选择的操作限定的预定义的动作；
当预定义的动作已完成时，在取回模式下操作空中系统；
检测待机事件；以及
响应于检测到待机事件，在待机模式下操作空中系统。
附图说明
图1是根据本发明的实施例的空中系统和用于控制该空中系统的系统的示意图。
图2是根据本发明的实施例的示例性空中系统的图。
图3是根据本发明的实施例的示例性光学系统的图。
图4是根据本发明的实施例的空中系统的第二示意图。
图5是根据本发明的实施例的用于控制空中系统的系统和空中系统的第三示意图。
图6是根据本发明的实施例的用于使用用户表达对空中系统进行无远程用户控制的方法的第一流程图。
图7是根据本发明的实施例的用于使用用户表达对空中系统进行无远程用户控制的方法的第二流程图。
图8是根据本发明的实施例的用于使用用户表达对空中系统进行无远程用户控制的方法的第三流程图。
图9是根据本发明的实施例的用于使用用户表达对空中系统进行无远程用户控制的方法的第四流程图。
图10是用于自动空中系统操作的方法的流程图。
图11是用于自动空中系统操作的方法的变型的流程图
图12和图13分别是检测指示紧急操作事件的方位传感器信号的改变以及基于所检测的改变自动操作提升机构的第一和第二具体示例。
图14是自动空中系统操作的第一变型的示意图，包括所检测的自由下落的传感器信号改变指示的具体示例以及响应于所检测的传感器信号改变的提升机构控制的具体示例。
图15是自动空中系统操作的第二变型的示意图，包括沿第二轴线施加的力的检测，以及还包括检测的自由下落的传感器信号改变指示的具体示例以及响应于所检测的传感器信号改变的提升机构控制的具体示例。
图16是自动空中系统操作的第三变型的示意图，其中，所述空中系统自动升离(lift off)支撑表面。
图17是自动空中系统操作的第四变型的示意图，其中，所述空中系统在移除支撑表面时自动悬停。
图18是检测待机事件并且在待机模式下操作空中系统的第一变型的示意图，包括所检测的意外的传感器信号改变的具体示例以及响应于所检测的待机事件的提升机构控制的具体示例。
图19是检测待机事件并且在待机模式下操作空中系统的第二变型的示意图，包括将在空中系统下方的张开的用户的手检测为待机事件。
图20是检测待机事件并且在待机模式下操作空中系统的第三变型的示意图，包括将对于空中系统的侧面处于“准备抓取”形式的用户的手检测为待机事件。
图21是根据本发明的实施例的用于基于向用户呈现的图像来控制空中系统的飞行的系统的流程图。
图22是控制客户端显示由空中系统所记录的视频的具体示例。
图23至图41是不同的用户输入和各自映射的空中系统动作的具体示例。
图42是补偿空中系统移动的具体示例。
图43是根据本发明的实施例的包括障碍检测和回避系统的空中系统的示意图。
图44是根据本发明的实施例的自主的摄影和/或摄像系统的框图。
图45是与图44的自主的摄影和/或摄像系统相关联的方法的流程图。
图46是根据本发明的实施例的用于提供无人机的易用的释放和自动定位的方法的流程图。
图47是根据本发明的实施例的具有位于空中系统主体上的用户界面的空中系统的图示性说明。
具体实施方式
下面对本发明的实施例的描述不意图将本发明限制为这些实施例，而是使得本领域技术人员能够进行并使用本发明。参考附图和在操作中，提供了用于控制空中系统12(例如，无人机)的系统10。该系统10包括具有控制客户端16的远程设备14。控制客户端16提供用户界面(见下面)，该用户界面允许用户18将指令发送到空中系统12以控制其操作。如在下面更深入地讨论的那样，空中系统12包括用于获得照片和/或视频的一个或多个照相机(见下面)，该照片和视频可以被发送到远程设备14和/或存储在空中系统12上的存储器中。
可选地，或附加地，空中系统12可以包括用于检测或感测由用户18执行的操作或动作(即，表达)的一个或多个传感器(见下面)，以便在没有与远程设备14的直接的或物理交互的情况下控制空中系统12的操作(见下面)。在无控制器的实施例中，从开始(释放并悬停)到结束(抓取并离开)的整个控制环，以及控制空中系统12的运动和事件的触发(例如，拍摄相片和视频)，在空中系统12上独自执行而不牵涉远程设备14。在一些这样的实施例或系统10中，可以不提供或包括远程设备14。
在本发明的进一步实施例中，空中系统12通过远程设备14上的控制客户端16或通过无人机或空中系统12的主体上的用户界面允许用户选择由空中系统12执行的动作。一旦选择动作后，无人机升空、移动到指定的位置，并执行必要的步骤来完成选定的动作。
在一些实施例中，远程设备14包括检测或感测由用户18执行的操作或动作的一个或多个传感器，以便在某些条件下(例如，当空中系统12距离用户18太远时)在不与远程设备14物理交互的情况下控制空中系统12的操作。
示例性空中系统12和控制系统10在图1至图5中示出。空中系统12的控制客户端16作用于接收来自空中系统12的数据并控制在远程设备14上的视觉显示，所述数据包括视频图像和/或视频。控制客户端16还可以接收操作指令并基于操作指令促进空中系统12远程控制。控制客户端16优选地被配置为在远程设备14上运行，但可替代地可以被配置为在空中系统12上运行或在任何其他合适的系统上运行。如上面讨论的，并且在下面更全面地讨论的，空中系统12可以在没有与远程设备14的直接的或物理的交互的情况下被独自控制。
控制客户端16可以是本机应用(例如，移动应用)、浏览器应用、操作系统应用或是任何其他合适的构造。
运行控制客户端16的远程设备14作用于显示(例如，由控制客户端16指示的)数据、接收用户输入、基于(例如，由控制客户端16指示的)用户输入计算操作指令、将操作指令发送到空中系统12、存储控制客户端信息(例如，相关联的空中系统标识符、安全密钥、用户账户信息、用户账户偏好等)或执行任何其他合适的功能。远程设备14可以是用户设备(例如，智能手机、平板、笔记本电脑等)、联网的服务器系统或是任何其他合适的远程计算系统。远程设备14可以包括一个或多个：输出装置、输入装置、通信系统、传感器、电源、处理系统(例如，CPU、存储器等)或任何其他合适的组件。输出装置可以包括：显示器(例如，LED显示器、OLED显示器、LCD等)、音频扬声器、灯(例如，LED)、触觉输出(例如，触觉像素(tixel)系统、振动发动机等)或任何其他合适的输出装置。输入装置可以包括：触摸屏(例如，电容式、电阻式等)、鼠标、键盘、运动传感器、麦克风、生物特征输入装置、照相机或任何其他合适的输入装置。通信系统可以包括无线连接，诸如支持以下各项的无线电：长程系统(例如，Wi-Fi、蜂窝、WLAN、WiMAX、微波、IR、射频等)、短程系统(例如，BLE、BLE长程、NFC、ZigBee、RF、音频、光学等)或任何其他合适的通信系统。传感器可以包括：方位传感器(例如，加速度计、陀螺仪等)、环境光传感器、温度传感器、压力传感器、光学传感器、声学传感器或任何其他合适的传感器。在一个变型中，远程设备14可以包括显示器(例如，包括触摸屏叠加显示器的触敏显示器)、一组无线电(例如，Wi-Fi、蜂窝、BLE等)和一组方位传感器。但是，远程设备14可以包括任何合适的组件集合。
空中系统12作用于在物理空间中飞行、捕获视频、将视频接近实时地传输到远程设备14，并基于从远程设备14接收的操作指令进行操作。
空中系统12可以附加地在将视频传输到远程设备14之前处理视频(例如，视频帧)和/或处理从机载音频传感器接收的音频；基于空中系统自己的操作指令(例如，自动地跟随物体)生成并自动进行操作；或执行任何其他合适的功能。空中系统12可以附加地作用于在物理空间内移动光学传感器的视场。例如，空中系统12可以控制宏观移动(例如，米级调整上的大视场改变)、微观移动(例如，毫米或厘米级调整上的小视场改变)或任何其他合适的移动。
如在下面更详细地讨论的，空中系统12可以基于来自机载传感器的传感器数据的机载处理来执行某些功能。这些功能可以包括但不限于：
-起飞和着陆；
-所有者识别；
-面部识别；
-语音识别；
-面部表情和手势识别；及
-基于所有者、面部、表情和手势识别和语音识别来控制例如空中系统的运动。
如在图2至图5中所示，空中系统12(例如，无人机)可以包括主体20、处理系统22、通信系统24、光学系统26和将光学系统26安装到主体20的致动机构28。空中系统12可以附加地或可替代地包括提升机构、传感器、电源系统、或任何其他合适的组件(见下面)。
空中系统12的主体20作用于机械地保护和/或保持空中系统组件。主体20可以限定内腔、可以是平台或具有任何合适的配置。主体20可以是封闭的、开放的(例如，桁架)或具有任何合适的构造。主体20可以由金属、塑料(例如，聚合物)、碳复合材料或任何其他合适的材料制成。主体20可以限定纵向轴线、横向轴线、侧向轴线、前端、后端(例如，沿着纵向轴线与前端相反)、顶部、底部(例如，沿着侧向轴线与顶部相反)或任何其他合适的参考。在一个变型中，在飞行的同时，主体20的侧向轴线可以基本上平行于重力向量(例如，垂直于地平面)并且主体的纵向轴线和横向轴线可以基本上垂直于重力向量(例如，平行于地平面)。但是，主体20可以以其他方式被配置。
空中系统12的处理系统22作用于控制空中系统操作。处理系统22可以：接收来自通信系统24的操作指令，将操作指令解译为机器指令，并基于机器指令(单独地或作为一组地)控制空中系统组件。处理系统22可以附加地或可替代地处理由照相机记录的图像，将图像(例如，实时地或接近实时地)传输到远程设备14或执行任何其他合适的功能。处理系统22可以包括一个或多个：处理器30(例如，CPU、GPU等)、存储器(例如，闪存、RAM等)或任何其他合适的处理组件。在一个变型中，处理系统22可以附加地包括在将图像传输到远程设备14之前自动处理图像(例如，对图像去扭曲、图像滤波、图像裁剪等)的专用硬件。处理系统22优选地被连接到空中系统12的主动组件并被安装到主体20，但是可以可替代地以其他方式与空中系统组件相关。
空中系统的通信系统24作用于从远程设备14发送和/或接收信息。通信系统24优选地被连接到处理系统22，使得通信系统24从处理系统22发送和/或接收数据，但是可替代地可以被连接到任何其他合适的组件。空中系统12可以包括一个或多个类型的一个或多个通信系统24。通信系统24可以包括无线连接，诸如支持以下各项的无线电：长程系统(例如，Wi-Fi、蜂窝、WLAN、WiMAX、微波、IR、射频等)、短程系统(例如，BLE、BLE长程、NFC、ZigBee、RF、音频、光学等)或任何其他合适的通信系统24。通信系统24优选地与远程设备14共享至少一个系统协议(例如，BLE、RF等)，但是可替代地可以经由中间通信系统(例如，协议转换系统)与远程设备14通信。但是，通信系统24可以以其他方式被配置。
空中系统12的光学系统26作用于记录接近空中系统12的物理空间的图像。光学系统26优选地经由致动机构28安装到主体20，但是能够可替代地被静态地安装到主体20、可移除地安装到主体20或以其他方式安装到主体20。光学系统26优选地安装到主体20的前端，但是可选地能够被安装到主体20的底部(例如，接近前部)、顶部、后端或任何其他合适的部分。光学系统26优选地连接到处理系统30，但是可替代地可以被连接到通信系统24或连接到任何其他合适的系统。光学系统26可以附加地包括在由照相机记录的图像传输到处理器或其他端点之前自动地处理由照相机记录的图像的专用图像处理硬件。空中系统12可以包括安装到相同或不同位置的、相同或不同类型的一个或多个光学系统26。在一个变型中，空中系统12包括安装到主体20的前端的第一光学系统26和安装到主体20的底部的第二光学系统26。第一光学系统26可以围绕枢轴支撑而致动，而第二光学系统26可以相对于主体20基本上静态地保持，其中相应的有源表面基本上平行于主体底部。第一光学传感器36可以是高清晰度的，而第二光学传感器36可以是低清晰度的。但是光学系统26可以以其他方式配置。
光学系统26可以包括一个或多个光学传感器36(见图5)。该一个或多个光学传感器36可以包括：单透镜照相机(例如，CCD照相机、CMOS照相机等)、立体照相机、高光谱照相机、多光谱照相机或任何其他合适的图像传感器。但是，光学系统26可以是任何其他合适的光学系统26。光学系统26可以限定接收光的一个或多个有源表面，但是可替代地可以包括任何其他合适的组件。例如，照相机的有源表面可以是照相机传感器(例如，CCD传感器、CMOS传感器等)的有源表面，优选地包括传感器像素的规则阵列。照相机传感器或其他有源表面优选地基本上是平面和矩形的(例如，具有第一传感器边缘、与第一传感器边缘相对的第二传感器边缘、和各自垂直于第一传感器边缘和第二传感器边缘并从第一传感器边缘延伸到第二传感器边缘的第三传感器边缘和第四传感器边缘)，但是可替代地可以具有任何合适的形状和/或拓扑结构。光学传感器36可以产生图像帧。图像帧优选地与有源表面的形状(例如，具有彼此相对的第一帧边缘和第二帧边缘的矩形等)对应，更优选地限定像素定位的规则阵列，每个像素定位与有源表面的传感器像素和/或由光学传感器36采样的图像的像素对应，但是可替代地可以具有任何合适的形状。图像帧优选地限定由光学传感器36采样的图像的各方面(例如，图像尺寸、分辨率、像素大小和/或形状等)。光学传感器36可选地可以包括变焦透镜、数字变焦、鱼眼透镜、滤波器、或者任何其他合适的主动或被动光学调节。光学调节的应用可以由控制器主动地控制，由用户18手动地控制(例如，其中用户手动设置该调节)，由远程设备14控制或以其他方式控制。在一个变型中，光学系统26可以包括封闭光学系统组件的其余部分的壳体，其中该壳体被安装到主体20。但是，光学系统26可以以其他方式配置。
空中系统12的致动机构28作用于将光学系统26可动地安装到主体20。致动机构28可以附加地作用于缓冲光学传感器振动(例如，机械地稳定所得到的图像)、适应空中系统翻滚、或执行任何其他合适的功能。致动机构28可以被主动控制(例如，由处理系统控制)、被动控制(例如，由一组重物、弹簧元件、磁性元件等控制)或以其他方式控制。致动机构28可以使光学系统26相对于主体围绕一个或多个轴旋转，将光学系统26相对于主体沿着一个或多个轴平移或以其他方式致动光学系统26。一个或多个光学传感器36可以沿着第一端、沿着光学传感器(例如，与有源表面相对的)后部、通过光学传感器主体被安装到支撑件，或沿着光学传感器36的任何其他合适的部分被安装到支撑件。
在一个变型中，致动机构28可以包括连接到单个枢轴支撑件(例如，万向节)的发动机(未示出)，其中该发动机基于从控制器接收的指令使该支撑件围绕旋转(或万向节)轴34枢转。该支撑件优选地被布置为使旋转轴基本上平行于主体20的横向轴线，但是可替代地可以被布置为使旋转轴处于相对于主体20的任何其他合适的方位。支撑件优选地被布置在由主体20限定的凹腔内，其中该腔还包封光学传感器36，但是可替代地可以沿着主体外部布置或布置在主体20的任何其他合适的部分处。光学传感器36优选地安装到支撑件，其中有源表面基本上平行于旋转轴(例如，包括基本上平行于旋转轴的横向轴线或平行于主体20的横向轴线的轴)，但是可替代地可以布置为使有源表面相对于旋转轴成任何合适的角度。
发动机优选地是电动发动机，但是可替代地可以是任何其他合适的发动机。可以使用的电动发动机的示例包括：直流发动机(例如，有刷发动机)、EC发动机(例如，无刷发动机)、感应发动机、同步发动机、磁发动机、或任何其它合适的电动发动机。发动机优选地安装到主体20(例如，主体内部)，电连接到处理系统22并由处理系统22控制，并电连接到电源或系统38并由电源或系统38供电。但是，发动机可以以其他方式连接。致动机构28优选地包括单个发动机支撑组，但是可替代地可以包括多个发动机支撑组，其中辅助发动机支撑组可以布置为与第一发动机支撑组正交(或与其成任何其他合适的角度相对布置)。
在第二变型中，致动机构28可以包括连接到光学传感器36的、偏离于光学传感器重心的一组枢转支撑件和重物，其中，致动机构28被动地稳定光学传感器36。
空中系统12的提升机构40作用于使空中系统能够飞行。该提升机构40优选地包括由发动机(未示出)驱动的一组螺旋桨叶片42，但是可替代地可以包括任何其他合适的推进机构。提升机构40优选地被安装到主体20并由处理系统22控制，但是可替代地可以以其他方式安装到空中系统12和/或被控制。空中系统12可以包括多个提升机构40。在一个示例中，空中系统12包括四个提升机构40(例如，两对提升机构40)，其中，提升机构40基本上均匀地分布在空中系统12的周围(例如，其中每对的提升机构40彼此相对地跨越主体20)。但是，提升机构40可以以其他方式配置。
空中系统的附加传感器44作用于记录指示空中系统操作、空中系统12周围的周围环境(例如，接近空中系统12的物理空间)或任何其他合适的参数的信号。传感器44优选地被安装到主体20并由处理系统22控制，但是可替代地可以被安装到任何其他合适的组件和/或以其他方式被控制。空中系统12可以包括一个或多个传感器36、44。可以使用的传感器的示例包括：方位传感器(例如，加速度计、陀螺仪等)、环境光传感器、温度传感器、压力传感器、光学传感器、声学传感器(例如，麦克风)、电压传感器、电流传感器或任何其他合适的传感器。
空中系统12的电源38作用于对空中系统12的有源组件供电。电源38优选地被安装到主体20，并(例如，直接地或间接地)电连接到空中系统12的全部有源组件，但是可以以其他方式布置。电源38可以是一次电池、二次电池(例如，可充电电池)、燃料电池、能量采集器(例如，太阳、风等)或是任何其他合适的电源。可以使用的二次电池的示例包括：锂化学物(例如，锂离子、锂离子聚合物等)、镍化学物(例如，NiCad、NiMH等)或具有任何其它合适化学性质的电池。
本文中描述的方法可以与一个或多个空中系统12一起使用，并且可选地可以与远程计算系统或与任何其他合适的系统一起使用。空中系统12作用于飞行，并且可以附加地作用于拍摄相片、交付负载和/或中继无线通信。空中系统12优选地是旋翼航空器(例如，四轴飞行器、直升机、滚翼飞行器(cyclocopter)等)，但是可替代地可以是固定翼航空器、浮空器或是任何其他合适的空中系统12。空中系统12可以包括提升机构40、电源38、传感器36、44、处理系统22、通信系统24、主体20和/或包括任何其他合适的组件。
空中系统的提升机构40作用于提供升力，并且优选地包括由一个或多个发动机驱动(单独地或共同地)的一组旋翼。每个旋翼优选地被配置为围绕对应的旋翼轴线旋转，限定正交于它的旋翼轴线的对应的旋翼平面，并且在其旋翼平面上扫出扫掠区域。发动机优选地配置为向旋翼提供足够的电力以使得空中系统能够飞行，并且更优选地可以在两种或多种模式下操作，所述两种或多种模式中的至少一种包括提供足够的电力用于飞行，并且所述两种或多种模式中的至少一种包括提供比用于飞行所需的电力少的电力(例如，提供零电力，提供最小飞行电力的10％等)。由发动机提供的电力优选地影响旋翼围绕它们的旋翼轴线旋转的角速度。在空中系统飞行期间，旋翼组优选地被配置为协作或单独生成(例如，通过围绕它们的旋翼轴线旋转)由空中系统1生成的总空气动力(可能排除在诸如以高空速飞行期间由主体20生成的拖曳力)中的几乎全部(例如，多于99％、多于95％、多于90％、多于75％)的空气动力。可替代地或附加地，空中系统12可以包括作用于生成用于空中系统飞行的力的任何其他合适的飞行组件，诸如喷气式引擎、火箭引擎、翼、太阳帆和/或任何其他合适的力生成组件。
在一个变型中，空中系统12包括四个旋翼，每个旋翼布置在空中系统主体的角落处。该四个旋翼优选地基本上均匀地分布在空中系统主体周围，并且每个旋翼平面优选地基本上平行于(例如，10度内)空中系统主体的横向平面(例如，包围纵向轴线和横向轴线)。旋翼优选地占据整个空中系统12的相对大的部分(例如，90％、80％、75％或空中系统覆盖区的大部分，或空中系统12的任何其他合适的比例)。例如，每个旋翼的直径的平方和可以大于空中系统12到该系统的主平面(例如，横向平面)上的投影的凸包的阈值量(例如，10％、50％、75％、90％、110％等)。但是，旋翼可以以其他方式布置。
空中系统的电源38作用于为空中系统12的有源组件(例如，提升机构的发动机、电源38等)供电。电源38可以被安装到主体20并连接到有源组件，或以其他方式布置。电源38可以是可充电电池、二次电池、一次电池、燃料电池或是任何其他合适的电源。
空中系统的传感器36、44作用于获取指示空中系统的周围环境和/或空中系统操作的信号。传感器36、44优选地被安装到主体20，但是可替代地可以被安装到任何其他合适的组件。传感器36、44优选地由电源38供电并由处理器控制，但是可以被连接到任何其他合适的组件并与任何其他合适的组件交互。传感器36、44可以包括一个或多个：照相机(例如，CCD、CMOS、多光谱、视觉范围、超光谱、立体照相机等)、方位传感器(例如，惯性测量传感器、加速度计、陀螺仪、高度计、磁力计等)、音频传感器(例如，换能器、麦克风等)、气压计、光传感器、温度传感器、电流传感器(例如，霍尔效应传感器)、空气流量计、电压表、触摸传感器(例如，电阻式，电容式等)、接近传感器、力传感器(例如，应变仪表，负载单元)、振动传感器、化学传感器、声纳传感器、位置传感器(例如，GPS、GNSS、三角测量等)或任何其它合适的传感器。在一个变型中，空中系统12包括沿着空中系统主体的第一端(例如，静态地或可旋转地)安装的第一照相机，其视场与主体的横向平面相交；沿着空中系统主体的底部安装的第二照相机，其视场基本上平行于横向平面；和一组方位传感器，诸如高度计和加速度计。但是，该系统可以包括任何其他合适数量的任何传感器类别。
空中系统的处理系统22作用于控制空中系统操作。处理系统22可以执行方法；使空中系统12在飞行期间稳定(例如，选择性地操作旋翼以使空中系统飞行中摆动最小化)；接收、解译远程控制指令并基于该远程控制指令操作空中系统12；或以其他方式控制空中系统操作。处理系统22优选地被配置为接收并解译由传感器36、44采样的测量结果，更优选地通过对由不同的传感器采样的测量结果进行组合(例如，组合照相机和加速度计数据)。空中系统12可以包括一个或多个处理系统，其中不同的处理器可以执行相同的功能(例如，起到多核系统的作用)或专门化。处理系统22可以包括一个或多个：处理器(例如，CPU、GPU、微处理器等)、存储器(例如，闪存、RAM等)或任何其他合适的组件。处理系统22优选地被安装到主体20，但是可替代地可以被安装到任何其他合适的组件。处理系统22优选地由电源38供电，但是可以以其他方式供电。处理系统22优选地连接到传感器36、44、通信系统24和提升机构40并控制它们，但是附加地或可替代地可以连接到任何其他合适的组件并与任何其他合适的组件交互。
空中系统的通信系统24作用于与一个或多个远程计算系统通信。通信系统24可以是长程通信模块、短程通信模块或任何其他合适的通信模块。通信系统24可以促进有线和/或无线通信。通信系统24的示例包括802.11x、Wi-Fi、Wi-Max、NFC、RFID、蓝牙、低功耗蓝牙、ZigBee、蜂窝电信(例如，2G、3G、4G、LTE等)、无线电(RF)、有线连接(例如，USB)或者任何其他合适的通信系统24或它们的组合。通信系统24优选地由电源38供电，但是可以以其他方式供电。通信系统24优选地连接到处理系统22，但是附加地或可替代地可以连接到任何其他合适的组件并与任何其他合适的组件交互。
空中系统的主体20作用于支撑空中系统组件。主体可以附加地作用于保护空中系统组件。主体20优选地基本上封装通信系统24、电源38和处理系统22，但是可以以其他方式配置。主体20可以包括平台、外壳或具有任何其他合适的配置。在一个变型中，主体20包括容纳通信系统24、电源38和处理系统22的主要部分、以及平行于旋翼旋转平面地延伸并沿着主要部分20的第一侧和第二侧布置的第一框架和第二框架(例如，壳体)。这些框架可以用作在旋转的旋翼和保持机构(例如，诸如用户的手的保持机构)之间的中间组件。该框架可以沿着主体20的单个侧(例如，沿着旋翼的底部、沿着旋翼的顶部)延伸、沿着主体20的第一侧和第二侧(例如，沿着旋翼的顶部和底部)延伸，封装旋翼(例如，沿着旋翼的全部侧延伸)或以其他方式配置。这些框架可以被静态地安装或可致动地安装到主体20。
框架可以包括将一个或多个旋翼流体连接到周围环境的一个或多个孔(例如，气流孔)，所述孔作用于使得周围环境和旋翼之间的空气和/或其他合适的流体能够流动(例如，使得旋翼能够生成使空中系统1在整个周围环境中移动的空气动力)。孔可以是细长的，或可以具有相对大的长度和宽度。孔可以是基本上相同的或可以彼此不同。孔优选地足够小以防止保持机构的组件(例如，手指)穿过孔。在旋翼附近的框架的几何透明度(例如，开口面积与总面积之比)优选地足够大以使得空中系统能够飞行，更优选地使得能够高性能机动飞行。例如，每个孔可以小于阈值大小(例如，在所有维度中小于阈值大小、窄于但显著长于阈值大小的细长槽等)。在具体的示例中，框架具有80–90％的几何透明度，并且每个孔(例如，圆形、诸如正六边形之类的多边形等)限定具有12–16mm直径的外接圆。但是，主体可以以其他方式配置。
主体20(和/或任何其他合适的空中系统组件)可以限定可以由保持机构(例如，人手、空中系统底座、爪形器具等)保持的保持区域。所述保持区域优选地围绕一个或多个旋翼的一部分，更优选地完全围绕所有旋翼，由此防止旋翼与保持机构或靠近空中系统12的其他物体之间的任何无意的交互。例如，保持区域到空中系统平面(例如，横平面、旋翼平面等)上的投影可以与一个或多个旋翼的扫掠区域(例如，旋翼的扫掠区域、旋翼组的总扫掠区域等)到同一空中系统平面上的投影(例如，部分地、完全地、大部分、至少90％等)重叠。
空中系统12可以附加地包括输入装置(例如，麦克风、照相机等)、输出装置(例如，显示器、扬声器、发光元件等)或任何其他合适的组件。
远程计算系统作用于接收辅助用户输入，并且可以附加地作用于自动生成用于一个或多个空中系统12的控制指令并将该控制指令发出到该一个或多个空中系统12。每个空中系统12可以由一个或多个远程计算系统控制。远程计算系统优选地通过客户端(例如，本机应用、浏览器应用等)控制空中系统12，但是可以以其他方式控制空中系统12。远程计算系统可以是用户设备、远程服务器系统、连接应用或是任何其他合适的系统。用户设备的示例包括平板电脑、智能手机、移动电话、笔记本电脑、手表、可穿戴设备(例如，眼镜)或任何其他合适的用户设备。用户设备可以包括电力存储设备(例如，电池)、处理系统(例如，CPU、GPU、存储器等)、用户输出装置(例如，显示器、扬声器、振动机构等)、用户输入装置(例如，键盘、触摸屏、麦克风等)、定位系统(例如，GPS系统)、传感器(例如，光学传感器(诸如光传感器和照相机)、方位传感器(诸如加速度计、陀螺仪和高度计)、以及音频传感器(诸如麦克风)等)、数据通信系统(例如，Wi-Fi模块、BLE、蜂窝模块等)或任何其他合适的组件。
参考图1-9并具体地参考图6-9，在本发明的一个方面中提供了系统10和用于无控制器的用户无人机交互的方法。通常，空中系统(或无人机)12需要分离的设备(例如，远程设备14)。远程设备14可以以不同类型的设备体现，包括但不限于地面站、远程控制器或移动电话等。在一些实施例中，空中系统12的控制可以由用户通过用户表达来完成而不使用远程设备14。用户表达可以包括但不限于由用户执行的不包括与远程设备14的物理交互的任何动作，包括思想(通过脑波测量)、面部表情(包括眼睛移动)、手势和/或语音。在这样的实施例中，用户指令直接经由光学传感器36和其他传感器44中的至少一些接收，并由机载处理系统22处理以控制空中系统12。
在一些实施例中，空中系统12可替代地可以经由远程设备14控制。
在至少一个实施例中，空中系统12可以在没有与远程设备14物理交互的情况下被控制，但是，远程设备14的显示器可以用于显示从空中系统12中继的图像和/或视频，其可以帮助用户18控制空中系统12。此外，例如当空中系统12与用户18相距太远时，与远程设备14相关联的传感器36、44(例如，一个或多个照相机和/或麦克风(未示出))可以将数据中继到空中系统12。从远程设备14中继到空中系统12的传感器数据以与来自机载传感器36、44的传感器数据使用用户表达控制空中系统12的相同的方式使用。
以这种方式，空中系统12可以(1)在不使用远程设备14的情况下或(2)在没有与远程设备14物理交互的情况下从开始到结束被完全地控制。在下面描述的实施例中，空中系统12的控制基于在各机载传感器36、44处接收的用户指令。应该注意，在下面的讨论中，机载传感器36、44的使用还可以包括在远程设备14上的对应或类似传感器的使用。
通常，用户18可以使用某些手势和/或语音控制来控制起飞、着陆、在飞行期间空中系统12的运动和其他特征，诸如相片和/或视频捕获的触发。如上面讨论的，空中系统12可以在不使用远程设备14的情况下或在没有远程设备14处理的情况下提供以下特征：
-起飞和着陆；
-所有者识别；
-面部识别；
-语音识别；
-面部表情和手势识别；及
-基于所有者、面部、表情和手势识别以及语音识别来控制例如空中系统的运动。
如在上面详细描述的，空中系统12包括光学系统26，该光学系统26包括一个或多个光学传感器36，诸如照相机。至少一个机载照相机被配置为用于实时视频流传输和计算机视觉分析。可选地，空中系统12可以具有用于多像素深度感测的至少一个深度传感器(或立体视觉对)。可选地，空中系统12可以具有用于语音识别和控制的至少一个机载麦克风。
通常，为了提供空中系统12的完全控制，提供了从空中会话的开始到结束的多个用户/无人机交互或活动。用户/无人机交互包括但不限于起飞和着陆、所有者识别、手势识别、面部表情识别和语音控制。
在本发明的一个方面中，空中系统12的起飞使用释放和悬停过程(见下面)来管理。
在空中系统12被释放以及悬停之后，必须对所有者或具体的用户进行识别。在本发明的一个方面中，只有来自所有者或具体的用户的命令或指令才被遵从。在本发明的另一方面中，来自至少一个照相机的视场内的任何用户的命令可以被遵从。
为了识别所有者，空中系统12一旦在空中，就可以缓慢地自动旋转360度以搜索它的所有者18。可替代地，空中系统12可以等待直到所有者18在视场中出现。这可以在默认设置中被设置。一旦所有者18被发现，则无人机系统12的示例性默认动作就用于自动地调节它自己的位置和方位以使所有者以优选的距离对准照相机视场的中心(通过偏航和/或在向前/向后方向的移动)。在一个优选的实施例中，在所有者18或任何人被识别为目标之后，空中系统12然后可以开始跟踪目标并扫描手势命令。
在本发明的一个方面中，所有者18可以根据视觉信息(例如从光学传感器36接收的数据)被识别。对于基于面部表情识别和手势识别技术的全部命令，面部识别是必要前提。通过将用户的面部预先注册到空中系统12(经由app或机载程序)，空中系统12可以将所有者与视频中的任何其他人区分开。典型的面部识别技术包括使用特征面部(Eigen face)的主成分分析(PCA)、使用费歇尔(Fisherface)算法的弹性束图匹配等。
在所有者或用户的面部被识别之后，所有者(或其他用户)的面部可以被跟踪并且该面部和它在捕获的图像中的邻近区被跟踪。来自所有者或其他用户的面部表情和/或手势的命令或指令可以被采用来控制空中系统12。但是，如上所述，在另一方面中，在照相机的视图中的任何用户可以控制空中系统12。
可替代地，或另外地，可以使用语音识别以识别语音是否来自所有者。用于处理和存储声纹(voice prints)的技术包括频率估计、隐马尔可夫模型、高斯混合模型、样式匹配算法、神经网络、矩阵表示、矢量量化和决策树。
手势识别也可以在空中系统12中起到重要作用。在无人机释放到空中之后，手势输入命令变成主要的用户界面工具。手势识别可以通过使用单个RGB照相机和/或多像素深度传感器(基于飞行时间的深度照相机、立体视觉对、具有结构化光图案的红外照相机等)来实现。现有技术的手势识别算法可以实现实时识别，其在最新的高端处理器上的计算运行时间处于100ms水平。
可以被分配或重新分配不同功能或事件的已识别手势可以包括但不限于拇指向上、拇指向下、张开手掌、握拳、胜利手势等。在具体的手势被识别之后，分配的事件被触发。
面部表情识别实施方式包含以下步骤：原始数据预处理/检测、特征提取、分类、后处理、输出结果。检测方法可以被分类为基于知识、基于特征、基于纹理、基于肤色、多个特征、模板匹配(局部二进制样式LBP)、活动形状模型、基于外观、和分布特征。典型的特征提取算法包括离散余弦变换(DCT)、Gabor滤波器、主成分分析(PCA)，独立成分分析(ICA)、线性判别分析(LDA)。并且现存的分类方法包括隐马尔科夫模型(HMM)，神经网络，支持向量机(SVM)，AdaBoost等。
讲话或语音识别可以用作用于命令输入的工具。讲话或语音识别技术可以包括但不限于隐马尔可夫模型(HMM)、长短期记忆(LSTM)回归神经网络(RNN)、时延神经网络(TDNNs)等。
具体参照图6，示出了根据本发明的一个实施例的用于提供空中系统12的运动的用户表达控制的方法M60。在第一步骤60S10中，在空中系统12起飞之后，空中系统12进入悬停状态(参见下文)。在第二步骤60S12中，处理系统22搜索并识别目标人，例如面部识别。应当注意的是目标人识别可以通过其他方法实现，所述其他方法包括但不限于RFID标签及其类似物的使用。目标人可以是所有者或在视场内的任何用户。
在第三步骤60S14中，跟踪目标(人)，并且由目标执行的手势或表情被检测及观察。例如，视觉信息和/或音频信息(例如，目标的面部和接近目标的面部的区域的相片或视频)可以被处理以检测预定义的用户表达。如上文所述，用户表达可以包括思想、面部表情、手势和/或语音。
在示出的实施例中，使用由目标手执行的用户手势。在第四步骤60S16中，如果检测到张开的手掌，则方法60前进到第五步骤60S18。否则，方法M60返回到第三步骤60S14。
在第五步骤60S18中，目标的手掌的位置相对于目标的面部而被跟踪。在第六步骤60S20中，如果手掌手势(或目标的张开的手掌)丢失，则方法M60返回到第三步骤60S14。在第七步骤60S22中，如果检测到移动，即手掌相对于目标的相对平移，则方法M60前进到第八步骤60S24。否则，方法M60返回到第五步骤60S28。
在第八步骤60S24中，空中系统12被指示根据在第七步骤60S22中检测的张开的手掌的相对平移或移动来移动。在第九步骤60S26中，如果手掌手势丢失，则方法M60前进到第十步骤60S28。否则，方法M60返回到第八步骤60S24。在第十步骤60S28中，空中系统12被指示停止移动并且方法M60返回到第三步骤60S14。
参照图7，示出了根据本发明的实施例的用于启动空中系统12的事件的方法M70。在示出的实施例中，空中系统事件可以响应于预定的或预定义的用户表达的检测而被触发。如上文所讨论的，用户表达可以包括思想、面部表情、手势和/或语音。在第一步骤70S12中，在空中系统12已起飞并且目标用户已被识别之后，空中系统12进入跟踪状态。在第二步骤70S14中，目标被跟踪并且处理系统22扫描预定的/预定义的用户表达，例如手势。在第三步骤70S16中，如果检测到预定的/预定义的表达(例如，手势)，则方法M70前进到第四步骤70S18。否则，方法70返回到第二步骤70S14。在第四步骤70S18中，对应于检测的预定义的或预定的表达(例如，手势)的事件被触发。示例性事件包括但不限于拍摄相片或快照、开始录制视频、开始(用户)自动跟随以及开始自动捕获例程。
参照图8，示出了根据本发明的实施例的用于终止空中系统12的运行事件的方法M80。在示出的实施例中，空中系统12事件可以响应于预定的或预定义的用户表达的检测而被终止。如上文所讨论的，用户表达可以包括思想、面部表情、手势和/或语音。在第一步骤80S12中，在运行事件已被触发或启动(参见上文和图7)之后，空中系统12进入事件或例程运行状态。在第二步骤80S14中，目标被跟踪并且处理系统22扫描预定的/预定义的用户表达，例如手势。在第三步骤80S16中，如果检测到预定的/预定义的终止或游览(touring)结束表达(例如，手势)，则方法M80前进到第四步骤80S18。否则，方法M80返回到第二步骤80S14。在第四步骤80S18中，对应于检测的预定义的或预定的表达(例如，手势)的事件被终止。
参照图9，提供了根据本发明的实施例的用于执行自动捕获事件的方法M90。方法M90允许用户或目标向空中系统12发信号并且触发事件，在该事件期间空中系统12移动自身并且将自身定位到相对于目标的允许空中系统12着陆和/或安全着陆的位置。例如，空中系统12可以将自身定位到允许用户18将他们的手定位在空中系统12之下的位置，并且在用户18终止表达时，空中系统12可以着陆和/或允许自身被用户18捕获。
在第一步骤90S10中，用户可以释放空中系统12，并且空中系统12起飞并且开始悬停。在第二步骤90S12中，空中系统12进入悬停空闲状态，在该悬停空闲状态期间空中系统12可以(基于默认设置)开始搜索目标或任何用户。
在第三步骤90S14中，目标(或所有者)或任何用户进入光学系统26中的一个的视场并且被识别。在第四步骤90S16中，已识别的目标(或所有者或任何用户)被跟踪并且已识别的目标的表情或手势被扫描和分析。在第五步骤90S18中，如果检测到对应于自动捕获触发的用户表达，则方法M90前进到第六步骤90S20。否则，方法M90返回到第四步骤90S16。
在第六步骤90S20中，启动自动捕获例程。在第七步骤90S22中，处理系统22自动控制空中系统12缓慢旋转以寻找面部。如果在第八步骤90S24中发现面部，则方法M90前进到第九步骤90S26。否则，方法M90返回到第七步骤90S22。
在第九步骤90S26中，处理系统22指示空中系统12相对于目标调整其位置。在第十步骤90S28中，如果目标的面部丢失，则方法M90返回到第七步骤90S22。否则，方法M90前进到第十一步骤90S30。
在第十一步骤90S30中，如果到达(相对于目标的)预期的位置，则方法M90前进到第十二步骤90S32。否则，方法M90返回到第九步骤90S26。
在第十二步骤90S32中，可以拍摄相片。在第十三步骤90S34中，如果检测到自动捕获结束或终止表达(例如，手势)，则方法M90前进到第十四步骤90S36。否则，方法M90返回到第七步骤90S22。
在第十四步骤90S36中，自动捕获例程终止。在第十五步骤90S38中，如果空中系统12已由用户18取回，则方法M90前进到第十六步骤90S40。否则，方法M90返回到第四步骤90S16。在第十六步骤90S40中，空中系统12已由用户18抓取并且可以被关闭。
在本发明的一个实施例中，在抓取回无人机之前，用户18可以使用手势控制/语音控制以命令无人机更靠近，从而使得它可由用户够得到。
如图10所示，用于自动空中系统操作的方法M100可以包括：100S12：在飞行模式下操作空中系统12，100S18：检测待机事件，以及100S20：在待机模式下操作空中系统12。方法M100可以附加地包括：100S10：检测飞行事件，100S14：接收控制指令和/或100S16：根据控制指令操作空中系统12。
所述方法作用于独立于控制指令接收地自动中断空中系统飞行。在第一变型中，空中系统自动检测到空中系统12在飞行期间已被制约，并且响应于空中系统制约的确定自动在待机模式下操作。在具体示例中，一旦空中系统12检测到用户已抓取飞行中或空中的空中系统，则它减慢或停止提升机构40(例如，如图11所示)。在第二变型中，空中系统自动识别着陆点并且自动操作以在着陆点上着陆。在第一具体示例中，空中系统(例如，使用具有指向下方的视场的照相机和视觉分析方法)自动检测用户的手在空中系统12之下并且逐渐减慢螺旋桨速度以将空中系统12着陆在用户的手上。在第二具体示例中，空中系统自动检测空中系统12前方的着陆点，自动朝着着陆点飞行，并且自动控制提升机构40以着陆在着陆点上。然而，所述方法可以以其他方式中断空中系统飞行。
所述方法可以附加地作用于独立于控制指令接收地自动使空中系统12飞行。在第一变型中，当空中系统12(例如，从用户的手)被释放时，空中系统自动(例如，原地)悬停。在第二变型中，空中系统响应于空中系统12沿着施力向量被扔出或推出而自动沿着施力向量飞行、停止和悬停。在第三变型中，空中系统12可以自动从用户的手起飞。然而，所述方法可以以其他方式使空中系统12飞行。
所述方法与常规系统相比可以带来若干益处。第一，通过自动进入空中系统待机模式、响应于空中系统释放自动飞行和/或在用户的手或用户指定的着陆点上自动着陆，该方法使得能够进行与空中系统12的更直观的用户互动。第二，通过独立于外部控制指令接收的自动操作，所述方法使用户不必控制空中系统飞行的那些方面。这可以使用户能够控制辅助系统(例如，照相机系统)、最小化多任务处理或以其他方式降低空中系统飞行所需要的用户互动。然而，所述方法可以带来任何其他合适的益处组合。
检测飞行事件100S10作用于检测需要空中系统飞行或以其他方式与空中系统飞行相关联的紧急操作事件110S10。所述紧急操作事件110S10可以是自由下落(例如，空中系统沿着与重力向量平行的第一轴线的运动)、紧急自由下落、空中系统在预定方位上的布置(例如，在诸如0.5s之类的预定时间量内从垂直于重力向量预定范围内的具有主要空中系统平面的布置)、在半空中的空中系统12的手动支撑(例如，基于加速度模式、旋转模式、振动模式、温度模式等)，或者可以是任何其他合适的紧急操作事件。100S10优选地包括检测传感器信号中与紧急操作相关联的改变。该改变优选地由处理系统22基于从机载传感器36、44(例如，方位传感器)接收的信号检测，但是可替代地可以由远程计算系统检测(例如，其中传感器信号被传输到远程计算系统)或者由任何其他合适的系统检测。预定的改变可以由制造商设置、从在远程计算系统上运行的客户端接收、从用户18接收或以其他方式确定。
这种改变可以以预定频率确定、每次接收到新的方位传感器信号时确定或者在任何其他合适的时间确定。预定的改变可以是信号改变、参数改变(例如加速度改变的量、速度改变的量等)、改变的速率(例如，加速率的改变的速度)或者可以是任何其他合适的改变。
指示紧急操作的改变可以从用户18接收、从客户端接收、(例如，基于标记的加速度计模式的训练学习集合)自动学习或以其他方式确定。如果实际改变基本匹配指示紧急操作的预定改变、被分类为指示紧急操作的改变、基本匹配指示紧急操作的样式参数值或者可以以其他方式被检测，则实际改变可以被认为是指示紧急操作的改变。
可以对方位传感器信号进行对预定义的改变的周期性监视，其中监视信号可以包括暂时高速缓存一组先前的方位传感器信号、确定在被高速缓存的方位传感器信号和新的方位传感器信号之间的改变。然而，方位传感器信号可以以其他方式被监视。在(图12示出的)一个实施例中，预定的改变可以是加速度(例如，固有加速度)或加速度分量(例如，沿着与重力向量相关联的轴线)变为基本等于零(例如，小于0.1g、小于0.3g、小于空中系统12中观察到的典型加速度的阈值比例(诸如10％或30％)等)、朝着零降低、超出阈值比率朝着零降低、或者展现出任何其他合适的绝对改变、改变的样式或指示自由下落的其他改变。与重力向量相关联的轴线可以是与重力向量平行的轴线、预定的空中系统轴线和/或方位传感器轴线(例如，与空中系统的横向平面垂直的中心轴线)或者可以是任何其他合适的轴线。在具体示例中，检测飞行事件100S10包括在安装到空中系统主体的加速度计处检测固有加速度基本等于零。
在该实施例的第一变型中，轴线可以是与空中系统12的底部(例如，空中系统壳体的底部)垂直的轴线。在第二变型中，空中系统12可以自动识别平行于重力向量的轴线。这可以包括识别(例如，在预定的时间段内)测量到大致与重力加速度的大小相同或者大于重力加速度的大小的测量的加速度的轴线。在该变型中，当确定预定的改变已发生时，所述方法可以附加地包括分析来自其他轴线的传感器测量结果以确定空中系统12是否确实是在自由下落中(例如，其中来自其他轴线的测量结果小于重力加速度大小)还是仅仅被旋转(例如，其中来自一个或多个其他轴线的测量结果大于或等于重力加速度大小)。
附加地或可替代地，在该变型中，所述方法可以包括使加速度测量结果与不同的方位信息(例如，来自诸如陀螺仪或照相机之类的一个或多个传感器的测量结果)关联。所述方法可以可选地选择性地忽略或不考虑对于某些轴线(例如，空中系统12的纵向轴线)的测量结果。
然而，所述轴线可以以其他方式确定，或者可以不使用单个轴线(例如，作为替代依赖于总的大小)。
在(图13示出的)第二实施例中，针对预定的改变，可以对高度计信号进行周期性监视。预定的改变可以是预定的高度下降、预定的高度改变速率或者可以是任何其他合适的改变。
在第三实施例中，针对空中系统12正被支撑在基本水平的方位上(例如，垂直于空中系统12的底部的轴线在离重力向量阈值角度(诸如1°、5°、10°或15°)内)的指示而可以对加速度计和/或陀螺仪信号进行周期性监视。在一个示例中，当空间传感器发送信号指示空中系统12以被基本水平地支撑了大于阈值时间(例如，100ms、350ms、1s、2s、5s等)、而空中系统12在待机状态中并且声呐和光学传感器正在采样用于飞行控制的有效数据时，检测到飞行事件100S10。然而，指示紧急操作的改变可以以其他方式确定。
100S12在飞行模式下操作空中系统12作用于使空中系统12飞行。100S12优选地包括在飞行模式下操作提升机构40，但是可以附加地或可替代地包括在飞行模式下操作任何其他合适的空中系统组件。空中系统12优选地由处理系统22自动操作，但是可以可替代地由远程计算系统或者由任何其他合适的系统自动操作。优选地，响应于检测到飞行事件100S10地，空中系统12自动地操作在飞行模式100S12下，但是可以附加地或可替代地在飞行事件被检测100S10以后经过了预定的持续时间之后、在空中系统高度已改变超出预定的高度改变(例如，如从高度计确定的)之后或者在任何其他合适的时间处被操作。空中系统12优选地根据一组操作参数被操作，其中操作参数可以是预定的、被选择的(例如，基于在改变检测的时间处或者在改变检测前的传感器测量结果组合；基于传感器测量结果样式或组合的分类等)，或者以其他方式被确定。操作参数可以包括：向提升机构40提供的电力(例如，电压、电流等)、提升机构40速度或输出、定时、目标传感器测量结果或任何其他合适的操作参数。
空中系统12可以使用来自如下组件的信号在飞行模式下操作：前向照相机、朝向下的照相机、方位传感器、激光系统(例如，测距仪、LIDAR(激光雷达))、雷达、立体照相机系统、飞行时间或任何其他合适的光学系统、声学系统、测距系统或其他系统。空中系统12可以使用RRT、SLAM、动力学、光流法、机器学习、基于规则的算法或任何其他合适的方法来处理信号。在具体示例中，路径移动模式包括用前向照相机采样一系列图像，并且使用这一系列图像和在空中系统12上机载运行的定位方法(例如，SLAM)来自动确定空中系统在三维空间内的物理位置。在第二具体示例中，路径移动模式包括用朝向下的照相机采样一系列的图像(例如，以60fps或以任何其他合适的频率采样)，基于所采样的图像(例如，使用光流法)自动检测空中系统12和地面之间的明显移动，这可以辅助确定空中系统位置或动力学特性(例如，速度、加速度)，以及基于所检测的明显移动来自动校正空中系统平衡或位置。在第三具体示例中，使用第一具体示例确定的空中系统位置和使用第二具体示例确定的空中系统动力学特性可以被供应到飞行控制算法中以使空中系统12悬停、飞行或以其他方式控制空中系统12。
飞行模式优选地包括在空中的空中系统的位置(例如，垂直位置、横向位置等)被基本维持的悬停模式，但是可以可替代地是任何其他合适的飞行模式。飞行模式优选地包括维持空中系统方位以使与空中系统12的横向平面正交的中心轴线基本平行于重力向量(例如，在20°内、在10°内、在3°内、在1°内等)。然而，中心轴线可以以其他方式维持。飞行模式优选地包括在提升机构40处生成与重力施加在空中系统12上的力相等并且与其相反的力(例如，为了悬停)，但是可以可替代地包括生成大于或小于重力的垂直力(例如，为了增加或降低高度和/或为了阻止垂直移动并且使空中系统12进入悬停状态中)。飞行模式可以附加地或可替代地包括生成非垂直的力和/或力矩(例如，为了改变空中系统俯仰或滚动、以引起或阻止横向移动等)。例如，飞行模式可以包括检测方位、位置和/或速度改变，确定该改变是因为风和/或诸如碰撞之类的另外的外部扰动(例如，将该改变分类为风和/或碰撞事件、确定风扰动的概率、确定扰动是抓取事件的概率等)，以及操作提升机构40以校正该改变并且返回至原始的或期望的位置、方位和/或速度。
所述飞行模式可以附加地或可选地包括路径移动模式(例如，以直线飞行、沿预定路径飞行等)、程序模式(例如，沿基于飞行程序动态确定的路径飞行，基于面部和/或身体跟踪飞行，诸如跟随或围绕人或者将人的面部维持在照相机视场内等)和/或任何其他合适的模式。飞行模式可以可选地包括使用安装(或以其他方式机械地耦接)到主体20的空中系统照相机捕获图像(例如，存储单个图像、流传输视频等)。
所述飞行模式可以附加地或可选地包括成像模式，其中空中系统自动识别成像目标(例如，人、面部、对象等)并且控制它的飞行以自动跟随成像目标穿过物理空间。在一个变型中，空中系统12可以对(例如，来自前向照相机的)已采样的图像运行对象识别和/或跟踪方法、面部识别和/或跟踪方法、身体识别和/或跟踪方法、和/或任何其他合适的方法以识别和跟踪成像目标。在具体示例中，空中系统12可以(例如，通过关于中心轴线旋转、通过来回移动照相机、通过使用360°照相机等)对关于自身的基本360°区域自动成像，自动从图像识别成像目标，以及关于物理空间自动跟随(例如，自动识别的或手动选择的)成像目标。然而，成像模式可以以其他方式被执行。然而，飞行模式可以包括操作模式的任何其他合适的集合。
可以通过独立地控制每个旋翼的角速度和/或传递到每个旋翼的电力来在飞行模式下操作空中系统12。然而，旋翼可以作为组或者以任何其他合适的方式被控制。100S12优选地包括在一组旋翼处生成空气动力，该空气动力基本等于由空中系统12生成的总空气动力，更优选地还基本等于由空中系统12施加的净力(例如，其中空中系统12不包括被配置为生成显著的空气动力、或被配置为以其他方式对周围环境施加诸如推进力之类的显著的力的任何其他组件)。
在一个变型中，在飞行模式下操作空中系统12可以包括将每个旋翼的旋翼角速度从待机旋翼速度(例如，在该待机旋翼速度下，旋翼组生成小于飞行空气动力的待机空气动力，诸如基本上为零的力或飞行空气动力的一小部分)加速到飞行旋翼速度(例如，在该飞行旋翼速度下，旋翼组生成飞行空气动力)。在该变型中，飞行旋翼速度优选地是悬停旋翼速度，在悬停旋翼速度下，空中系统悬停；可替代地，该速度可以是任何其他合适的旋转速度。飞行速度可以被(例如，由制造商)预设、从客户端接收、(例如，基于信号改变的速率)自动确定或以其他方式确定。待机旋翼速度可以是低速度(例如，悬停速度的一部分)、基本上是零的角速度(例如，其中旋翼不旋转)或者具有任何其他合适的速度。待机旋翼速度可以被(例如，由制造商)预设、从客户端接收或者以其他方式确定。旋翼速度可以从待机旋翼速度立即转变为飞行旋翼速度、基于方位传感器信号改变的速率来转变、以预定的速率转变或者以任何其他合适的方式转变。
在第一示例中，旋转速度首先被增加到大于悬停速度的速度，然后被降低到悬停速度，以使得在检测到自由下落之后空中系统中断自由下落并且悬停。这可以作用于防止当支撑表面被突然移除时(在图17中示出)空中系统12自由下落。在第二示例中，旋转速度可以关于加速度改变的速率成比例。在具体示例中，当加速度改变超过与自由下落相关联的加速度改变(例如，当空中系统被向下扔)时，旋转速度可以大于悬停速度。这可以作用于使得空中系统12能够较快恢复和/或恢复(例如，在检测到改变之前或检测到改变时测量的)初始高度。在第二具体示例中，旋转速度可以与加速度改变的量成比例地增加。在操作中，这使得当用户18逐渐释放空中系统12时，旋翼逐渐加速(如图14所示)。在第三具体示例中，旋翼速度可以以预定速率增加。在操作中，这使得旋翼逐渐加速，从而将空中系统缓慢地升离诸如用户的手的支撑表面(如图16所示)。在该具体示例中，方法可以附加地包括当支撑表面被突然移除(例如，如从方位传感器信号的突然改变中确定的那样)时，切换到第一示例。旋转速度可以可选地被限制以防止或最小化尾流效应。然而，响应于改变的检测可以以其他方式操作提升机构。
所述方法可以可选地包括监视与第二轴线相关联的传感器信号以及基于对于第二轴线的传感器信号来确定提升机构操作参数(用于响应于紧急操作检测的提升机构操作)。这可以作用于选择使得空中系统在停住和悬停之前能够沿着第二轴线通过某一距离的提升机构操作参数。第二轴线优选地不同于与重力向量基本平行的轴线(例如，垂直于与重力向量基本平行的轴线、相对于轴线处于非零角度等)，但是可替代地可以是相同的。轴线可以关于空中系统12是固定的或者可以动态转换(例如，可能基于由加速度计、陀螺仪、照相机和/或任何其他合适的传感器采样的测量结果来试图关于重力和/或周围环境确定轴线)。在确定提升机构操作参数中考虑的用于第二轴线的传感器信号可以是与用于第一轴线的传感器信号同时、在检测到紧急操作改变之前、在检测到紧急操作改变之后(例如，响应于改变检测)或者在任何其他合适的时间处获取的传感器信号。所述距离可以被预先确定、基于时间确定(例如，在释放后空中系统12可以沿着第二轴线通过达1s)、基于所施加的力的量确定或者以任何其他合适的方式确定。
在图15示出的一个变型中，第二轴线可以平行于主体的纵向轴线(例如，与照相机视场相交)。响应于(例如，在改变检测的时间窗内)检测到沿着第二轴线的力的施加，空中系统12可以自动确定用于抵消所施加的力的提升机构操作指令。这可以作用于允许空中系统12在中断进一步穿行之前沿着第二轴线行进预定的距离。力的施加和/或所施加的力的大小可以从监视第二轴线的方位传感器(例如，用于第二轴线的加速度计)确定、从沿着垂直于第二轴线的空中系统表面布置的力传感器确定或者以其他方式确定。要被抵消的所施加的力可以是在满足预定条件的时间处在第二轴线上的瞬时力、在紧急操作事件检测的时间窗内测量的所施加的力(例如，最大力、力的最小量等)、与紧急操作事件检测同时测量的所施加的力或者可以是在任何其他合适的时间处测量的任何其他合适的力。在一个示例中，提升机构操作指令可以包括紧跟在紧急操作事件检测之后使旋翼加速以使空中系统悬停，允许空中系统12在紧急操作事件检测之后的预定时间段内使用所施加的力来滑行，在满足了预定的条件之后控制提升机构以中断沿着第二轴线(或任何轴线)的进一步穿行，以及控制提升机构40以使空中系统12悬停(例如，控制提升机构40以在悬停速度下操作)。在第二示例中，提升机构操作指令可以包括确定由于所施加的力得到的沿着第二轴线的空中系统速度或加速度，紧跟在紧急操作事件检测之后使旋翼加速以维持沿着第二轴线的空中系统速度或加速度直至满足了预定的条件，在满足预定的条件时控制提升机构40以中断沿着第二轴线(或任何轴线)的进一步穿行，以及控制提升机构40以使空中系统12悬停(例如，控制提升机构40以在悬停速度下操作)。所述预定的条件可以是紧急操作事件检测(例如，其中紧跟在紧急操作事件检测之后实施指令)、在紧急操作事件检测之后的阈值时间段内、在紧急操作事件检测之后满足预定的条件以后(例如，在穿行了预定的距离以后、在经过了预定的时间量以后等)或者在任何其他合适的时间处。在一个示例中，预定的条件可以基于所施加的力的大小(例如，加速度大小等)而选择。所施加的力的大小可以是沿着第二轴线施加的力的大小、施加到系统的力的总大小(例如，小于由重力施加的力)或者可以以其他方式确定。
在第一具体示例中，指令运行延迟可以与所施加的力的量成比例，以使得在当空中系统释放时施加越大的力时，空中系统在停住之前沿着第二轴线的进一步空中系统穿行进一步飞行得更远。在第二具体示例中，指令运行延迟可以与所施加的力的量成反比，以使得当空中系统释放时施加越大的力时，空中系统在停住之前飞行的距离更短。然而，空中系统12可以基于对于第二轴线的传感器信号以其他方式被操作。
所述方法可以可选地包括监视与空中系统高度相关联的传感器信号以及基于高度确定提升机构操作参数。在一个变型中，这可以作用于选择提升机构操作参数以回到初始空中系统高度(例如，在恢复之前补偿由于自由下落产生的任何高度损失)。高度可以基于由高度计采样的信号来确定，和/或相对高度可以基于图像分析、测距(例如，使用垂直取向的测距仪来确定到地面、地板和/或天花板的距离)来确定。在确定提升机构操作参数中考虑的高度计信号(和/或其他高度数据)可以是与对于第一轴线的传感器信号同时、在检测到紧急操作改变之前、在检测到紧急操作改变之后(例如，响应于改变检测)或者在任何其他合适的时间处获取的高度计信号。例如，所述方法可以包括确定在从紧急操作事件检测起的预定时间窗内(例如，在紧急操作事件检测之前，基于在紧急操作事件检测之前记录的高度计测量结果)的初始空中系统高度，紧跟在紧急操作事件检测之后使旋翼加速以使空中系统悬停，以及在空中系统12被稳定之后增加旋翼速度直至空中系统到达初始空中系统高度。然而，高度计信号(和/或其他高度数据)可以以任何其他合适的方式使用。
接收控制指令100S14可以作用于使得用户18能够扩充和/或重写自动空中系统操作。控制指令优选地在空中系统飞行期间接收，但是可以附加地或可替代地在飞行之前和/或在任何其他合适的时间处接收。处理系统22优选地接收控制指令，但是任何其他合适的系统可以接收控制指令。控制指令优选地从与空中系统12相关联的用户、用户设备、远程控制器和/或(例如，运行在用户设备上的)客户端接收，但是可以可替代地从与空中系统12相关联的位置(例如，从在该位置处的设备)、(例如，解释手或身体信号的)机载在空中系统12上的传感器和/或从任何其他合适的系统接收。用户18可以由空中系统12(例如，通过光学识别，诸如面部或身体识别)识别、可以在空中系统12附近(例如，在空中系统传感器的范围内)、可以以其他方式与空中系统12相关联或者可以是任何合适的用户18。用户设备和/或客户端可以(例如，通过蓝牙连接、在空中系统启动时动态配对、在制造设施处配对等)与空中系统12配对，具有用于空中系统12的互补的安全密钥对，与和空中系统12相同的用户账户相关联，或者以其他方式与空中系统12相关联。控制指令可以由用户18生成、由用户设备或客户端(例如，响应于用户输入接收)生成、由在与空中系统12相关联的位置处的设备生成、基于控制指令发送者的特性(例如，位置外观特性、周围环境音频特性等)确定、由空中系统12生成、和/或以任何其他合适的方式生成或确定。
在一个变型中，控制指令可以包括着陆指令。在第一实施例中，100S14包括确定着陆区域(例如，自动识别着陆区域)。这可以完全或部分由处理系统22、远程计算系统或任何其他合适的系统执行。着陆区域可以基于空中系统传感器测量结果自动确定、从控制指令发送者接收、由用户指定(例如，在客户端处)或者以其他方式确定。
在该实施例的第一变型中，保持机构(例如，人手、对接站、捕获设备等)被确定为基于保持机构的位置、类型和/或形态得着陆区域。该变型优选地包括(例如，使用图像识别技术、分类技术、回归技术、基于规则的技术、样式匹配技术等)光学检测保持机构位置、类型和/或形态，但是可以附加地或可替代地包括以任何其他合适的方式确定位置、类型和/或形态。
例如，保持机构可以是人手。在第一具体示例中，着陆区域是使用来自朝向下的照相机的图像检测的张开的手(例如，如图19所示)。在第二具体示例中，着陆区域是处于“准备抓取”形态的手(例如，如图20所示)。在第三具体示例中，着陆区域是做出召唤手势的手。
该变型可以包括：(例如，使用视觉分析技术、图像分析技术等)周期性分析由(例如，沿着空中系统的顶部、侧面和/或底部布置的)空中系统照相机针对处于预定形态类型(例如，张开的手、“准备抓取”的手等)的保持机构捕获的诸如图像之类的传感器数据，以及响应于指示预定形态类型的参数的检测来将保持机构识别为着陆区域。
在第一示例中，所述方法可以包括：采样一组红外图像，识别图像内具有大于阈值的红外特征的区域，以及(例如，使用样式匹配、确定性方法、分类、回归、概率等)确定所识别的区域是手。例如，当区域周界基本匹配用于手的参考样式时，所识别的区域可以被确定为手。在第二示例中，方法可以包括：采样一组视觉范围图像，将图像背景从前景分割出来，以及(使用上文所讨论的方法)确定前景区域是手。然而，人手可以以其他方式被识别。
该变型可以可选地包括：从(例如，由朝向下的照相机记录的)图像识别用户手以及响应于(例如，使用分类技术、回归技术、诸如指纹之类的生物特征数据等)将手识别为与空中系统12相关联的特定用户的手来将手识别为着陆区域。例如，提取的生物特征数据可以与可以被存储在空中系统12上、在用户设备中或在远程数据库中的生物特征进行比较，其中如果生物特征数据匹配度不超过阈值的百分比，则用户可以被拒绝，而如果生物特征数据匹配度超过阈值的百分比，则用户可以被接受。该实施例可以可选地包括当所检测的手与和空中系统相关联的用户不相关联时，忽略从手接收的命令(例如，将手识别为非着陆区域)。
在第二变型中，着陆区域可以是(例如，基于由前向或朝向下的照相机记录的图像的视觉和/或图像处理而识别的、由着陆区域附近的信标识别的、由从用户设备接收的指令规定的等)接近空中系统12的基本平的(例如，垂直于重力向量的)表面。在第三变型中，着陆区域可以是预定的对接区域(例如，由光学样式、信标信号、预定的地理位置识别的或者以其他方式识别的基地)。然而，着陆区域可以是任何其他合适的着陆区域和/或可以以其他方式确定。
在第二实施例中，着陆指令包括时间和/或时间段。例如，着陆指令可以包括着陆时间、(例如，从飞行事件检测时间、从稳定时间、从着陆指令接收时间等测量的)期望的飞行持续时间和/或任何其他合适的定时信息。
附加地或可选地，控制指令可以包括飞行指令(例如，速度、高度、航向、飞行样式、目标目的地、碰撞避免标准等)、传感器指令(例如，开始视频流传输、缩放照相等)和/或任何其他合适的指令。
根据控制指令操作空中系统12 100S16作用于执行控制指令。100S16优选地响应于接收控制指令100S14而自动执行，但是可以附加地或可替代地在接收控制指令100S14之后的任何合适的时间处执行。处理系统22优选地基于控制指令操作提升机构40和/或其他空中系统模块，但是附加地或可替代地，任何其他合适的系统可以操作空中系统12。在第一变型中，控制指令重写自动飞行指令。在第二变型中，控制指令由自动飞行指令扩充(例如，其中处理器基于根据传感器数据和接收的控制指令确定的自动飞行指令生成第三组飞行指令)。在第三变型中，在已到达预定的飞行状态之后，运行控制指令。在第三变型的一个示例中，在空中系统12已稳定(例如，已基本中断穿行和/或正在悬停)之后，运行控制指令。然而，控制指令可以在任何合适的时间处以任何合适的方式运行。在执行100S16之后，空中系统12可以恢复在前一个模式(例如，紧接执行100S16之前的操作模式，诸如悬停模式)下操作、可以开始在不同的飞行模式下操作、可以进入待机模式和/或可以在任何其他合适的模式下操作。
在第一实施例中，控制指令包括飞行指令，并且100S16可以包括根据飞行指令操作。例如，响应于接收增加高度并且向左摇镜头(pan left)的命令，100S16可以包括自动操作提升机构40以遵循这些指令，并且然后在新的位置中恢复空中系统悬停。在第二示例中，响应于接收增加旋翼速度的命令，100S16可以包括相应地增加旋翼速度。
在第二实施例中，控制指令是包括着陆区域的着陆指令，并且100S16可以包括自动生成到着陆区域的飞行路径，生成提升机构操作指令以遵循生成的飞行路径，以及运行指令。这可以作用于自动使提升机构40着陆。飞行路径可以在基于空中系统12和(例如，如基于由前向或朝向下的照相机记录的图像的视觉和/或图像处理确定的)着陆区域之间的中间物理体积而生成，可以是预定的飞行路径，或者以其他方式确定。在一个示例中，确定飞行路径和/或提升机构操作指令包括：(例如，基于LIDAR、视场内的参考对象或点的相对大小等)确定空中系统和着陆区域之间的距离，以及基于瞬时旋翼速度、待机旋翼速度和距离确定旋翼减速速率。在第二示例中，确定飞行路径和/或提升机构操作指令包括跟踪着陆区域(例如，以跟踪朝着陆区域的飞行进程、以跟踪移动的着陆区域的当前位置等)，以及自动控制空中系统12以在着陆区域上着陆。然而，提升机构操作指令可以以其他方式被生成。
在着陆区域是张开的手的第一具体示例中，100S16包括响应于检测到张开的手而自动控制空中系统12以在张开的手上着陆(例如，诸如通过降低旋翼速度来操作提升机构40以缓慢将空中系统12降低到张开的手上)。在着陆区域是“准备抓取”的手的第二具体示例中，100S16包括响应于检测到手(例如，紧跟在检测到手之后、在检测到手之后某一时间段、在检测到待机事件100S18和/或在待机模式下操作100S20之前等)自动控制空中系统12以飞近手(例如，在手够得到的范围内、与手发生接触、在手的阈值距离(诸如1英寸、3英寸或1英尺)内等)。然而，可以以任何合适的方式根据控制指令操作空中系统12 100S16。
检测待机事件100S18作用于指示空中系统12应当开始待机过程。待机事件(例如，飞行停止事件)优选地在空中系统12正在飞行模式(例如，悬停模式、着陆模式等)下操作时被检测，但是可以附加地或可替代地在空中系统12正在任何其他合适的模式下和/或在任何其他合适的时间处操作时被检测。待机事件优选地由(例如，空中系统的)处理系统22检测，但是可以可替代地由远程计算系统、用户设备或者由任何其他合适的系统自动检测。
检测待机事件100S18优选地包括检测抓取指示(例如，空中系统已由诸如人手之类的保持机构捕获或抓住的指示)和/或保持指示(例如，空中系统12与用户18进行长期接触的指示、空中系统12在对接站处对接的指示等)，并且可以附加地或可替代地包括检测着陆指示(例如，空中系统已着陆和/或由着陆区域支撑的指示)、接近指示(例如，用户接近、着陆区域接近等)和/或任何其他合适的待机指示。待机事件优选地基于由传感器采样的数据来检测，更优选地基于由机载空中系统传感器(例如，惯性测量单元、照相机、高度计、GPS、温度传感器等)采样的数据来检测。例如，待机事件可以基于空中系统的以下值的值和/或值的改变而被检测：方位(例如，关于重力的方位、方位改变和/或改变率等)、高度(例如，高度改变和/或改变率；基于高度计读数、图像处理等确定)、温度(例如，增加的空中系统温度、空中系统12的各区域之间的温度差等)、和/或力(例如，空中系统压力)。然而，待机事件可以附加地或可替代地基于(例如，来自诸如用户设备的客户端之类的远程控制的)传输和/或任何其他合适的信息而被检测。
可以使用分类、回归、样式匹配、启发法、神经网络和/或任何其他合适的技术来检测待机事件。监视和分析数据以检测待机事件优选地包括在待机事件(例如，抓取事件等)和其他事件(例如，风事件、碰撞事件等)之间进行区分。例如，所述方法可以包括当在飞行模式下操作时监视空中系统传感器数据，检测第一异常事件并且将它分类为风事件(例如，由于风产生的飞行扰动)，然后检测第二异常事件并且将它分类为抓取事件。
在第一变型中，检测待机事件100S18包括检测意外的空间传感器信号改变。意外的空间传感器信号改变可以指示用户抓取飞行中或半空中的空中系统，或者指示任何其他合适的事件。意外的空间传感器信号改变可以是与另一空间传感器信号(例如，来自空间传感器的之前的信号、来自不同空间传感器的之前的或并发的信号等)相关的改变、与预期的空间传感器信号(例如，对应于目标或期望的空中系统方位、速度和/或其他空间参数，基于提升机构控制等)相关的改变和/或任何其他合适的空间传感器信号改变。在该变型的第一实施例中，检测意外的空间传感器信号改变包括检测与基于自动生成的和/或远程接收的控制指令确定的预期的空间传感器信号不同的空间传感器信号改变(例如，陀螺仪信号改变、加速度计改变、IMU改变、高度计改变等)。在该实施例的第一示例中，传感器融合模型(例如，包括扩展的卡尔曼(Kalman)滤波器的模型、神经网络模型、回归模型、分类模型等)可以用于基于传感器信号检测待机事件。在该变型的第二实施例中，检测意外的空间传感器信号改变包括检测在预定阈值之上的空间传感器信号改变(例如，IMU改变)。空间传感器信号可以指示沿着轴线的加速度、沿着轴线的速度、角度改变(例如，偏航、俯仰、滚动等)，或者指示任何其他合适的空中系统运动和/或位置。在(图18示出的)该实施例的第一示例中，当(例如，如从加速度计和/或陀螺仪信号确定的那样)空中系统俯仰超出改变的阈值速率或阈值角度改变时，检测到意外的方位传感器信号改变。在该实施例的第二示例中，在预定阈值之下的第一意外空间传感器信号改变不被识别为待机事件，而是被识别为风扰动事件，并且提升机构被控制以校正风扰动。在该第二示例中，第二意外空间传感器信号改变在预定阈值之上，并且被识别为待机事件。在该实施例的第三示例中，基于在预定的阈值之上的意外空间传感器信号改变和补充信号(例如，温度以阈值量超出周围环境温度、对空中系统主体的压力超出阈值力等)的组合来检测待机事件100S18。在该实施例的第四示例中，当空间传感器信号改变的样式基本匹配与待机事件相关联的预定样式和/或基本不匹配与其他飞行事件(例如，风扰动)相关联的预定样式时，检测到待机事件100S18。然而可以以其他方式检测待机事件。
在第二变型中，检测待机事件100S18包括确定空中系统12已维持在离重力向量和/或预期的方位向量的阈值角度范围内(例如，从水平方位和/或从预期的空中系统方位倾斜大于35°、45°、60°等)达预定的时间段(例如，大于100ms、350ms、1s、2s等)。例如，当空中系统12(例如，空中系统的主平面)已从水平方位和/或从目标空中系统方位倾斜大于45°达大于1秒的时间时，可以检测待机事件。然而，可以以其他方式检测待机事件。。
在第三变型中，检测待机事件100S18包括检测接近于空中系统12的用户和/或保持机构(例如，指示用户抓取半空中的空中系统等)。用户和/或保持机构接近可以使用空中系统的接近传感器、触摸传感器、温度传感器(例如，温度的增加)、通信模块(例如，当空中系统和用户设备之间建立短程连接时)、开关而被检测，或者以其他方式检测。例如，100S18可以包括检测机械地耦接到壳体的开关的致动。开关可以是按钮(例如，对于保持机构来说方便地定位的按钮，诸如当空中系统12由人手抓住时在顶部或底部壳体表面上、接近外壳边界或者在指尖下)、可以由保持机构的导电元件电连接的主体外部的电触点、和/或任何其他合适的开关。
在第四变型中，检测待机事件100S18包括从远程控制(例如，用户设备)接收指令(例如，待机指令)。然而，可以以任何其他合适的方式检测待机事件100S18。
在待机模式下操作空中系统12 100S20作用于暂停空中系统飞行控制。空中系统12优选地响应于检测待机事件100S18(例如，紧接在检测待机事件100S18之后、在检测待机事件100S18之后预定的时间段、在检测待机事件100S18之后并且满足附加标准等)自动在待机模式下操作100S20。100S20优选地由空中系统处理器执行，但是可以附加地或可替代地由其他空中系统组件、远程计算系统、用户设备和/或任何其他合适的设备来执行。
210S22优选地包括将由提升机构40生成的空气动力降低到小于空中系统飞行所需要的力的力(例如，降低到力为零；降低到所需要的力的某一比例，诸如1％、5％、10％、50％、75％、1–10％、5–25％等；降低到刚好小于所需要的力等)。在提升机构40包括一组旋翼的变型中，旋翼可以被停止或不供电(例如，被控制以零或最小的角速度旋转、由驱动它们的发动机提供零或最小的电力等)，可以以比在飞行模式下更小的角速度(例如，飞行模式角速度的某一比例(诸如1％、5％、10％、50％、75％、1–10％、5–25％)或飞行所需要的最小角速度，等)旋转，可以以其他方式变化以合作地生成比在飞行模式下更小的空气动力(例如，旋翼叶片角度减小)，和/或可以以任何其他合适的方式控制。例如，操作一组旋翼中的每个旋翼以合作地生成比飞行模式空气动力更小的空气动力可以包括将提供到每个旋翼的电力降低到小于空中系统飞行所需要的电力阈值(例如，所需要的电力的某一比例，诸如1％、5％、10％、50％、75％、1–10％、5–25％等)。附加地或可替代地，由提升机构40生成的空气动力可以被降低，但是可以不小于空中系统飞行所需要的力、可以维持不降低或者可以以任何其他合适的方式改变。
在本发明的另一方面，参照图21至图42，可以在远程设备14上呈现辅助用户18控制空中系统12的图像。在下面的讨论中，可以经由直接输入到远程设备14上的或到远程设备14中的用户输入来控制空中系统12。然而，系统10也可以允许使用用户表达(例如，思想、面部表情、手势和/或语音命令)进行用户控制。
如图21所示，用于空中系统控制的方法包括：选择成像元素的第一区域210S12，显示来自第一区域的图像210S14，接收用户输入210S16，改变空中系统的位置210S18，选择第二成像元素的第二区域210S20，以及显示来自第二区域的图像210S22。
在操作中，如图22所示，空中系统作用于在空中系统飞行期间接近实时地捕获视频并且向远程设备流传输视频。远程设备上的控制客户端16作用于接收视频，在设备输出上显示视频，接收指示来自设备输入的空中系统操作指令的命令，以及接近实时地向空中系统12发送操作指令。在一个变型中，操作指令可以叠加在视频上地在设备输入处被接收，以使得用户通过移动视频的视场(FOV)来控制空中系统12。空中系统12可以接收操作指令并且基于操作指令自动操作。在上面的变型中，空中系统12可以自动操作以使得因此产生的光学传感器的视场以规定的方式由用户18在远程设备14处移动。
在具体示例中，用户可以直接与客户端上的视频或图像交互(例如，滑动、缩放等)，其中用户交互被自动转换为以物理方式实现期望的效果的空中系统移动(例如，分别将帧沿着滑动向量水平移动、朝着对象或远离对象移动以拉近或拉远等进行转换)。在该具体示例中，所述系统和方法可以创建WYSIWYG(所见即所得)类型的交互。
所述用于远程空中系统控制的系统和方法与常规系统相比可以带来若干益处。
第一，在一些变型中，空中系统操作指令在由控制客户端16显示的视频上被接收。这允许用户18通过视觉输出(例如，通过控制照相机对准的物体)控制无人机，类似于“所见即所得”体验。发明人已发现该交互可以比(例如，具有控制空中系统操作的不同方面的一个或多个操纵杆的)常规控制范式更直观，这是由于用户(在视频上的)输入和(通过数字编辑和/或空中系统移动创建的)视频的响应之间的直接链接。通过允许用户以这种间接的方式控制空中系统(例如，无人机)，与常规系统相比所述系统可以简化远程空中系统控制。
第二，在一些变型(优选地空中系统操作指令在由控制客户端16显示的视频上接收的变型，但是附加地或可替代地操作指令以其他方式接收的变型)中，控制客户端16可以在设备输出上仅显示视频的裁剪的部分，并且裁剪区域可以基于操作指令和/或空中系统状态而变化。这可以允许视觉输出的稳定和/或响应性(例如，使用自动视频稳定程序或方法等)。例如，在等待空中系统加速时，裁剪区域可以移动以模拟空中系统运动，并且可以被旋转以校正空中系统滚动。发明人已发现视觉输出的这些修改可以提供更直观的并且较少令人沮丧的用户体验，这是由于观看视觉输出的容易性以及空中系统对由用户18提供的操作指令的明显快速的响应。
第三，在一些变型中，所述系统可以通过用空中系统移动代替光学传感器致动来最小化空中系统质量和/或体积。例如，作为将三轴万向节系统用作光学传感器致动机构的替代，所述系统可以包括单轴万向节系统，其中关于剩余两个轴的光学传感器致动可以通过移动空中系统来完成。在具体示例中，光学系统可以围绕单个旋转轴线(例如，x轴)旋转，以使得光学系统仅能够相对于空中系统俯仰；空中系统通过关于空中系统轴线旋转来替代光学系统(例如，分别关于z轴或y轴)偏航或滚动。空中系统12可以附加地或可替代地(例如，可能与光学缩放的致动配合地通过飞近或退离视频对象地)作用于代替光学系统的变焦透镜或补充光学系统的变焦透镜。通过用空中系统动作(例如，缩放、旋转等)代替光学传感器组件功能，所述系统使得被代替的组件能够从系统移除，这可以降低整体系统质量和/或体积。
然而，所述系统和方法可以以其他方式配置，并且带来任何其他合适的益处集合。控制客户端16可以定义显示帧(例如，指定远程设备输出的区域以显示从空中系统12流传输的视频的数字结构)、输入帧(例如，指定接收输入的远程设备输入的区域的数字结构)或任何其他合适的用户界面结构。显示帧和输入帧优选地重叠，更优选地完全重叠(例如，基本等同的区域)，但是可以可替代地是分开的并且不同的、邻近的、连续的，具有不同尺寸，或以其他方式相关。控制客户端16可以附加地包括作用于将在输入帧处接收的输入转换为空中系统操作指令的操作指令模块。操作指令模块可以是将输入的预定集合映射为操作指令的预定集合的静态模块；动态识别输入并将输入映射为操作指令的动态模块；或者可以是任何其他合适的模块。操作指令模块可以基于输入计算操作指令、基于输入选择操作指令或者以其他方式确定操作指令。然而，控制客户端16可以包括组件和/或子模块的任何其他合适的集合。
运行控制客户端16的远程设备14作用于显示(例如，如由控制客户端16指示的)数据、接收用户输入、基于(例如，如由控制客户端16指示的)用户输入计算操作指令、向空中系统12发送操作指令、存储控制客户端信息(例如，相关联的空中系统识别符、安全密钥、用户账户信息、用户账户偏好等)、或者执行任何其他合适的功能。远程设备14可以是用户设备(例如，智能手机、平板计算机、笔记本电脑等)、联网的服务器系统或者可以是任何其他合适的远程计算系统。远程设备14可以包括以下组件中的一个或多个：输出装置、输入装置、通信系统、传感器、电源、处理系统(例如，CPU、存储器等)或任何其他合适的组件。输出装置可以包括：显示器(例如，LED显示器、OLED显示器、LCD等)、音频扬声器、灯(例如，LED)、触觉输出装置(例如，触觉像素系统、振动发动机等)或任何其他合适的输出装置。输入装置可以包括：触摸屏(例如，电容式、电阻式等)、鼠标、键盘、运动传感器、麦克风、生物特征输入装置、照相机或任何其他合适的输入装置。通信系统可以包括无线连接，诸如支持以下系统的无线电：长程系统(例如，WiFi、蜂窝、WLAN、WiMAX、微波、IR、射频等长程系统)、短程系统(例如，BLE、BLE长程、NFC、Zigbee、RF、音频、光学等短程系统)或任何其他合适的通信系统。传感器可以包括：方位传感器(例如，加速度计、陀螺仪等)、环境光传感器、温度传感器、压力传感器、光学传感器、声学传感器或任何其他合适的传感器。在一个变型中，远程设备14可以包括显示器(例如，包括触摸屏叠加显示器的触敏显示器)、一组无线电(例如，WiFi、蜂窝、BLE等)和一组方位传感器。然而，远程设备14可以包括任何合适的组件集合。
如图21所示，用于空中系统控制的方法M210包括：选择成像元素的第一区域210S12，显示来自第一区域的图像210S14，接收用户输入210S16，改变空中系统的位置210S18，选择第二成像元素的第二区域210S20，以及显示来自第二区域的图像210S22。所述方法作用于允许用户通过用户设备以直观的方式远程控制空中系统12。所述方法的过程优选地顺序执行，但是可以可替代地并行或以任何其他合适的顺序执行。方法(或其部分)的多个实例可以对于相同的用户设备-空中系统对并发地或连续地执行。每个客户端(例如，用户设备)优选地在任何给定时间连接到单个空中系统12，但是可以可替代地并发地连接到和/或控制多个空中系统。
选择成像元素的第一区域210S12可以作用于确定与空中系统12相关联的初始或默认成像元素区域。成像元素可以是光学传感器(例如，照相机有源区域的全部或子集)、由光学传感器采样的图像帧、图像、图像组或视频，或者可以是任何其他合适的图像相关或成像相关元素。成像元素优选地与空中系统12(例如，空中系统的光学传感器、空中系统照相机的图像帧、由空中系统照相机捕获的图像等)相关联，但是可以附加地或可替代地与任何其他合适的系统相关联。相应地，成像元素的第一区域可以是光学传感器(例如，照相机有源区域的全部或子集)的区域，图像帧、图像、图像组或视频的区域(例如，每个图像或视频帧的一组像素位置)、或者任何其他合适的图像相关或成像相关元素的区域。第一区域可以是默认区域，或者可以基于空中系统参数(例如，诸如方位、速度和/或位置的飞行参数；光学传感器状态等)选择、由用户选择(例如，预先选择、在用户设备处实时选择等)、基于图像处理(例如，对象识别、图像分割等)选择、和/或以任何其他合适的方式选择。第一区域优选地由空中系统12(例如，在向远程设备传输图像之前)自动选择，但是可以可替代地由远程设备(例如，基于从空中系统12接收的辅助传感器测量结果)、服务器系统选择、或者由任何其他合适的计算系统选择。区域优选地接近实时地(例如，在接收到图像帧之前、紧接在接收到图像帧之后或者在接收到图像帧之后的短持续时间内)选择，但是可以可替代地在任何其他合适的时间处选择。
所述区域优选地包括(例如，包含、限定)毗邻区中的像素的规则阵列(例如，区中的每个像素、区中的每隔一个像素、区中的每隔一行的每第三个像素等)，但是可以可替代地包括多个非毗邻区域、不规则的像素布置和/或可以是任何其他合适的区域。例如，所述区域可以限定矩形(例如，是矩形的、基本是矩形的、除了从矩形移除的小的切除物和/或添加到矩形上的扩展物之外是矩形的等)。
所述区域可以由成像元素边缘中的一个或多个一部分限定(例如，占据传感器、图像帧、图像等的整个区；和成像元素边缘中的一个或多个相邻；在两个水平边缘之间延伸并且位于两个竖直边缘之间；等)，可以接触一个或多个边缘(例如，在成像元素边缘内内切、用一个区域角接触一个成像元素边缘等)，或者可以严格在成像元素边缘的内部(例如，占据中心区；占据接近但是与一个或多个边缘接触的区；等)。所述区域可以在成像元素内(例如，关于成像元素的一个或多个对称线)对称地或非对称地布置。所述区域可以占据成像元素的整个区，或者可以占据整个区的任何合适的比例(例如，90％、75％、10％、至少50％、40–90％等)。所述区域可以包括关于成像元素的方位(例如，矩形区域边缘和成像元素边缘之间的角度、与圆形区域相关联的方位等)。然而，所述区域可以可替代地具有关于成像元素的任何其他合适的布置、形状和/或尺寸。在方法的执行期间选择的其他区域(例如，在210S20中选择的第二区域)可以具有与第一区域类似的性质、不同于第一区域的性质和/或任何其他合适的性质。
在一个实施例中，所述区域可以被自动选择以使视频稳定(图26中示出的具体示例)。在第一示例中，所述区域方位可以基于空中系统方位(例如，空中系统主体方位、照相机方位等；相对于重力向量的方位、方位改变或改变率等)选择，这可以使照相机能够倾斜补偿。方位可以基于空中系统传感器读数(例如，惯性测量单元读数，诸如加速度计和/或陀螺仪读数，其优选地与视频捕获同时记录)、基于图像分析(例如，视频的帧的分析、由空中系统照相机捕获的其他图像的分析、空中系统的捕获的图像的分析等)、基于用户输入(例如，图像旋转请求)确定和/或以任何其他合适的方式确定。例如，所述区域方位可以基于空中系统滚动角、偏航角、俯仰角、平移速度、相对旋翼速度确定，或基于任何其他合适的空中系统飞行参数确定。在倾斜补偿的具体示例中，传感器的宽面的边缘(例如，有源表面边缘)和重力向量在宽面上的投影之间的滚动角被确定。在该第一具体示例中，所述区域方位和/或相对于另一选择的区域的区域方位的改变基本在大小上等于滚动角(例如，在滚动角的1°内、在滚动角的5°内、在滚动角的10°内等)并且在方向上与滚动角相反。然而，所述区域方位可以基于滚动角以其他方式确定。所述区域可以被选择以不管空中系统是否被旋转，都维持对应于区域的图像的恒定尺寸(例如，比例尺(scale)、分辨率等)，使得补偿的图像的尺寸与未补偿的图像的尺寸无法分辨，但是可以可替代地可以产生不同的图像尺寸或者以其他方式被选择。
所述方法可以包括从空中系统12的照相机接收视频，诸如包括来自第一区域的图像的视频。视频可以由空中系统12的处理器、由远程计算系统(例如，用户设备、远程服务器等)和/或由任何其他合适的系统接收。视频帧可以仅包括来自第一区域的像素(例如，被裁剪为第一区域)，包括来自第一区域内和第一区域外二者的像素或者包括来自图像帧的任何合适的位置的像素。尽管视频通常包括每秒许多帧，但是本领域技术人员将理解视频可以是由照相机捕获的图像的任何系列。
显示来自第一区域的图像210S14作用于向用户显示与空中系统飞行有关的信息。所述方法优选地包括向用户设备发送由空中系统12(例如，空中系统的照相机)记录的图像(例如，视频帧)。这可以作用于向用户设备流传输来自空中系统12的视频流。空中系统12优选地通过无线连接(例如，BLE连接、WiFi连接、模拟RF连接等)直接向用户设备发送图像，但是可以可替代地间接地向用户设备(例如，经由远程计算系统)发送图像或者以其他方式向用户设备发送图像。图像(例如，图像帧)可以被加上时间戳、与诸如方位传感器测量结果(例如，同时记录的传感器测量结果、在阈值时间段内记录的传感器测量结果等)之类的传感器测量结果相关联或者与任何其他合适的信息相关联。
210S14优选地包括在诸如用户设备的显示区(图6中示出的示例)的显示区中显示一个或多个图像多个图像。显示区可以是完整的显示器(例如用户设备的显示屏)、显示器的一部分，可以跨越多个显示器的全部或部分，或者可以是任何其他合适的显示区。显示器优选地是触敏显示器，更优选地具有与显示区完全叠加的输入区。在示例中，所述方法包括接收由第一传感器区域采样的图像，其中该图像包括接近第一传感器边缘采样的第一图像区域和接近与第一传感器边缘相对的第二传感器边缘采样的第二图像区域。在该示例中，210S14包括控制(例如，用户设备的)触敏显示器以在触敏显示器的显示区的整体内显示第一图像。此外，在该示例中，显示区包括第一显示器边缘和与第一显示器边缘相对的第二显示器边缘，第一图像区域接近第一显示器边缘显示，而第二图像区域接近第二显示器边缘显示(例如，如图25所示)。
所述图像或多个图像优选地实时或接近实时地(例如，在图像捕获的时间间隔内，诸如1ms、10ms、20ms、50ms、1s等；其中发送、处理和显示图像在图像捕获之后以最小延迟执行)显示(例如，视频播放)。附加地或可替代地，一个或多个图像可以在延迟间隔(例如，预定的延迟、基于空中系统操作状态的延迟等)之后或者在任何合适的时间段之后显示。视频帧优选地顺序地并且在对应于捕获帧速率的时间量内被显示，但是可替代地可以以任何合适的顺序以及在任何合适的时间段内显示。例如，单个图像可以在扩展的时间段(例如，在整个方法执行期间、1分钟、10-60s、1-30分钟等)内显示。图像优选地在整个方法执行期间(例如，在整个方法执行期间连续地、在整个方法执行期间每隔一段时间等)发送和显示，但是可以附加地或可替代地在特定间隔期间、在单个时间处和/或在任何其他合适的时间处发送和/或显示。
接收用户输入210S16作用于允许用户18控制空中系统12。用户输入优选地包括触摸输入(例如，拖曳输入、轻敲输入、停顿(hold)输入等)，更优选地由触敏显示器接收。用户输入优选地在由用户设备显示的视频上接收，其作用于允许用户与视频交互，其中空中系统12被自动控制以实现由用户输入指示的期望的视频移动。用户输入优选地由控制客户端16接收，更优选地在控制客户端16的输入区(例如，输入帧、经由用户设备的输入设备)处接收，但是可以可替代地由任何其他合适的输入设备接收。输入区优选地叠加在显示视频的客户端和/或用户设备的显示区上并且基本包围所述显示视频的客户端和/或用户设备的显示区的整体(例如，其中输入区与显示区尺寸相同或者比显示区大；其中输入区与显示区的90％或更多重叠等)，以使得用户输入可以在显示区的任何部分处接收。可替代地，输入区可以小于显示区的子集重叠、大于显示区的一些或全部重叠、与显示区分开、与显示区邻近、限定(例如，与显示区分开或者重叠的)控制空中系统控制的不同方面的虚拟操纵杆或者以其他方式限定。
用户输入优选地在图像或视频显示期间接收。相应地，用户输入(例如，拖曳输入)可以与显示来自在显示区中的第一区域的图像同时在显示区内接收。在210S14包括控制用户设备的触敏显示器以显示视频的第一区域的一个示例中，210S16包括接收来自触敏显示器的包括平移向量(例如，从开始点到结束点、从开始点到中间停顿点、从第一停顿点到第二停顿点、从第一极值到第二极值等)的拖曳输入。在该示例中，(例如，在210S12中选择的)视频的第一区域在整个时间间隔期间显示，并且拖曳输入优选地在时间间隔期间接收。平移向量可以限定平行于触敏显示器的水平边缘的水平分量、平行于触敏显示器的竖直边缘(和/或垂直于水平边缘)的竖直分量、和/或沿着任何合适的轴线对齐的任何其他分量(例如；沿着输入平面的轴线，诸如对角轴线；与输入表面成角度的轴线等)。
附加地或可替代地，用户输入可以包括用户设备操纵(例如，倾斜、平移、旋转等)、机械控制输入(例如，操纵杆、按钮、开关、滑动器等)、音频输入(例如，语音命令、拍手输入、音频位置输入等)、光学输入(例如，光信号、由图像识别辨别的输入、眼睛跟踪输入等)、精神输入(例如，基于EEG信号)和/或任何其他合适的输入，并且可以在任何合适的时间处以任何合适的方式被接收。前述输入可以由用户设备传感器、监控用户设备的外部传感器确定或者由任何其他合适的系统确定。
改变空中系统的位置210S18作用于影响空中系统控制。改变位置210S18优选地基于用户输入，并且可以包括基于用户输入生成用于调整照相机角度的用于空中系统12的操作指令，其作用于将期望的视频移动解释为用于空中系统12的控制指令以实现期望的视频移动(例如，视点、视角的改变等)。
所述操作指令优选地由控制客户端16(例如，由运行控制客户端16的用户设备)生成，但是可以可替代地由空中系统12(例如，其中用户输入和/或控制指令中间产物被发送到空中系统12)、远程计算系统(例如，其中用户输入和/或控制指令中间产物被发送到空中系统12)或任何其他合适的计算系统生成。所述操作指令可以是目标空中系统操作参数(例如，向右5度、向上2米等)、空中系统控制指令(例如，用于空中系统组件的电压等)或者可以是任何其他合适的指令集合。在第一变型中，用户设备：将用户输入转换为控制指令并且向空中系统12发送控制指令，其中空中系统基于控制指令操作。在第二变型中，用户设备将用户输入转换为目标操作参数并且向空中系统12发送目标操作参数，其中空中系统将目标操作参数转换为控制指令并且基于控制指令自动操作。在第三变型中，用户设备向空中系统12发送用户输入，其中空中系统将用户输入转换为控制指令并且基于控制指令自动操作。然而，操作指令可以以其他方式生成。
生成操作指令可以包括基于用户输入参数和空中系统动作之间的一组预定关系来解释用户输入。用户输入参数可以包括：并发的、离散的输入(例如，触摸)的数量；每个连续输入的持续时间；每个连续输入的距离；每个输入的位置(例如，每个触摸的触摸坐标、开始坐标、结束坐标等)；或者任何其他合适的参数。空中系统动作可以包括：致动光学系统，使空中系统12(例如，关于与光学系统相交的侧向空中系统轴线、关于中心侧向轴线、关于平行于空中系统侧向轴线并且与目标物体相交的轴线等)偏航，使空中系统12(例如，关于纵向轴线、关于与照相机传感器正交的轴线)滚动，使空中系统12(例如，关于横向轴线)俯仰，使空中系统竖直平移(例如，相对于地平面调整空中系统高度)，使空中系统水平平移(例如，调整空中系统12和目标对象之间的横向关系，使空中系统移近目标对象或者远离目标对象移动等)，或者以其他方式致动空中系统12。用户输入可以包括触摸输入、远程设备操纵(例如，倾斜、平移等)或任何其他合适的输入。在具体示例中，单个并发触摸(例如，单个手指拖曳等)被映射为空中系统和/或光学系统旋转，而多个并发触摸(例如，多个手指拖曳、捏等)被映射为空中系统平移。
基于用户输入生成的操作指令优选地独立于用户输入在其中被接收的显示区的区域(例如，以使得在显示区内的不同位置处接收到的类似的用户输入具有类似的效果)。在第一拖曳输入在触敏显示器的显示区的第一区域处接收并且限定平行于触敏显示器的水平边缘的第一水平分量的一个示例中，210S18包括基于第一水平分量关于偏航轴线在第一方向上旋转空中系统12。在该示例中，所述方法还可以包括接收来自触敏显示器的第二拖曳输入(例如，其中触敏显示器在与显示区的第一区域不重叠的显示区的第二区域处接收第二拖曳输入)，其中第二拖曳输入包括与第一拖曳输入的平移向量同方向的第二平移向量，第二平移向量限定与水平分量同方向的第二水平分量。在该示例中，所述方法还可以包括基于第二水平分量再次关于偏航轴线在第一方向上旋转空中系统12。然而，用户输入在其中被接收的显示区的区域可以可替代地影响基于该用户输入生成的操作指令(例如，“偏航”区域中的拖曳输入可以控制空中系统偏航，而“平移”区域中的类似的拖曳输入可以控制空中系统平移)。
空中系统动作的持续时间、距离、速度和/或加速度(例如，旋转速度、平移速度等)可以与以下因素相关：连续用户输入的暂时持续时间、连续用户输入的距离或长度、用户输入位置改变的速度和/或加速度或者任何其他合适的用户输入参数。空中系统动作的持续时间、距离、速度和/或加速度可以：与用户输入参数成比例、与用户输入参数成反比、是用户输入参数的单调函数(例如，随用户输入参数单调或严格单调增加,随用户输入参数单调或严格单调减少)或者以其他方式相关。例如，210S18可以包括基于旋转参数的值旋转空中系统12，其中该值是用户输入的某一方面(例如，拖曳向量的分量，诸如竖直或水平分量)的大小的单调递增函数。在具体示例中，旋转参数是空中系统旋转速度。映射为用户输入参数的空中系统参数改变的值可以：是恒定的、与该空中系统参数值或不同空中系统参数值(例如，与远程设备的距离)成比例缩放、与空中系统参数值相反地缩放或者以其他方式相关。在一个示例中，同一线性用户输入在空中系统离开远程设备超过阈值距离时可以被映射为第一平移距离，而在空中系统12离开远程设备在阈值距离内时被映射为第二平移距离，其中第一平移距离大于第二平移距离。
在第一变型中，用户输入指示视场旋转(例如，向左转、向右转、向上转、向下转)，其中旋转输入被映射到光学系统和空中系统旋转动作的混合。空中系统12优选地在与旋转输入弧形方向相反的方向上平移，但是可以可替代地在相同方向上平移。
第一变型的第一实施例包括基于水平分量使空中系统关于偏航轴线旋转(图7-8中示出的具体示例)。在该实施例中，将视场向左旋转(例如，将照相机视场向左移动；将视频视角向左移动；向左改变水平视角但是不改变竖直视角等)的用户输入被映射为使空中系统关于偏航轴线逆时针偏航(例如，正偏航；如从相对于重力向量、空中系统顶部、照相机顶部等的上方观看的逆时针)的控制指令，和/或将视场向右旋转(例如，将照相机视场向右移动；将视频视角向右移动；向右改变水平视角但是不改变竖直视角等)的用户输入被映射为使空中系统关于偏航轴线(例如，相同的或不同的偏航轴线)顺时针偏航(例如，负偏航；如从相对于重力向量、空中系统顶部、照相机顶部等的上方观看的顺时针)的控制指令。偏航轴线可以与控制系统相交或者可以在空中系统12的外部。当偏航轴线在空中系统12的外部时，生成控制指令的系统可以自动地：确定距空中系统12的目标对象距离，基于目标对象距离确定相对于空中系统12的偏航轴线位置，以及基于偏航轴线位置确定控制指令(例如，相应地变换或转变控制指令)。可替代地，距空中系统12的偏航轴线距离可以是基本恒定的，其中不管距空中系统12的目标对象距离是多少，空中系统都沿着相同的弧角偏航。然而，向左和/或向右旋转用户输入可以以其他方式映射。
向左旋转用户输入可以包括：向显示区和/或输入区的右侧(例如，朝着显示器的右竖直边缘)的单个触摸停顿(例如，暂时连续的信号)和拖曳(例如，一系列暂时连续的信号，每个(或者其中基本所有、其中大多数等)暂时连续的信号还沿着与最后的信号相比的x轴的正向等)；向显示区和/或输入区的左侧的触摸、停顿和拖曳；在显示区和/或输入区的左侧的单个触摸停顿；在显示区和/或输入区的左侧的一系列连贯的轻敲；在显示区的右侧的一系列连贯的轻敲；(例如，如由用户设备方位传感器确定的)用户设备逆时针滚动；或者包括具有任何其他合适的参数集合的任何其他合适的输入样式。例如，向左旋转用户输入可以包括限定指向右的水平分量的平移向量，并且作为响应，空中系统12可以如从(例如，相对于重力向量等的)上方观看的那样逆时针关于偏航轴线旋转。向右旋转用户输入可以包括：向显示区和/或输入区的左侧(例如，朝着显示器的左竖直边缘)的单个触摸停顿和拖曳(例如，一系列暂时连续的信号，每个(或者其中基本所有、其中大多数等)暂时连续的信号还沿着与最后的信号等相比的x轴的负向；向显示区和/或输入区的右侧的触摸、停顿和拖曳；在显示区和/或输入区的右侧的单个触摸停顿；在显示区和/或输入区的右侧的一系列连贯的轻敲；在显示区的左侧的一系列连贯的轻敲；(例如，如由用户设备方位传感器确定的)用户设备顺时针滚动；或者包括具有任何其他合适的参数集合的任何其他合适的输入样式。例如，向右旋转用户输入可以包括限定指向左的水平分量的平移向量，并且作为响应，空中系统12可以如从(例如，相对于重力向量等的)上方观看的那样顺时针关于偏航轴线旋转。
在第一变型的第二实施例(图9-10示出的具体示例)中，空中系统12包括将光学传感器36可旋转地安装到主体20的万向节系统(例如，单轴线万向节系统)。例如，光学传感器36(例如，照相机)可以是围绕万向节轴线可旋转的，其中万向节轴线基本(例如，在1°内、在5°内、在10°内等)垂直于偏航轴线和/或滚动轴线，和/或基本(例如，在1°内、在5°内、在10°内等)平行于光学传感器有源表面(例如，照相机传感器)。光学系统角度位置和/或万向节位置可以基于以下因素确定：用户输入、期望的场景改变、空中系统俯仰角(例如，其中光学系统角度位置可以被动态改变以抵消由于空中系统俯仰产生的所采样场景中的改变)或者以其他方式确定。在一个示例中，用于向上旋转视场(例如，向上移动照相机视场；向上移动视频视角；向上改变竖直视角而不改变水平视角等)的用户输入被映射为使光学传感器关于万向节轴线向上俯仰的控制指令，和/或用于向下旋转视场(例如，向下移动照相机视场；向下移动视频视角；向下改变竖直视角而不改变水平视角等)的用户输入被映射为使光学传感器关于万向节轴线向下俯仰的控制指令。
向上旋转用户输入可以包括：向显示区和/或输入区的底部(例如，朝着显示器的下水平边缘)的单个触摸停顿和拖曳(例如，一系列暂时连续的信号，每个(或者其中基本所有、其中大多数等)暂定连续的信号还沿着与最后的信号相比y轴的负向等)；向显示区和/或输入区的顶部的触摸、停顿和拖曳；在显示区和/或输入区的顶部的单个触摸停顿；在显示区和/或输入区的顶部的一系列连贯的轻敲；在显示区的底部的一系列连贯的轻敲；(例如，如由用户设备方位传感器确定的)用户设备向前俯仰；或者包括具有任何其他合适的参数集合的任何其他合适的输入样式。例如，向上旋转用户输入可以包括限定指向下的(例如，垂直于显示器的水平边缘的)竖直分量的平移向量，并且作为响应，照相机可以基于竖直分量关于万向节轴线向上旋转。
向下旋转用户输入可以包括：向显示区和/或输入区的顶部(例如，朝着显示器的上方水平边缘)的单个触摸停顿和拖曳(例如，一系列暂时连续的信号，每个(或者其中基本所有、其中大多数等)暂时连续的信号还沿着与最后的信号相比y轴的正向等)；向显示区和/或输入区的底部的触摸、停顿和拖曳；在显示区和/或输入区的底部的单个触摸停顿；在显示区和/或输入区的底部的一系列连贯的轻敲；在显示区的顶部的一系列连贯的轻敲；(例如，如由用户设备方位传感器确定的)用户设备朝着用户向后俯仰；或者包括具有任何其他合适的参数集合的任何其他合适的输入样式。例如，向下旋转用户输入可以包括限定指向上的(例如，垂直于显示器的水平边缘的)竖直分量的平移向量，并且作为响应，照相机可以基于竖直分量关于万向节轴线向下旋转。
在第一变型的第三实施例中，向上旋转视场(例如，向上移动照相机视场；向上移动视频视角；向上改变竖直视角而不改变水平视角等)的用户输入被映射为使光学系统关于旋转轴线向上俯仰的控制指令，和/或向下旋转视场(例如，向下移动照相机视场；向下移动视频视角；向下改变竖直视角而不改变水平视角等)的用户输入被映射为使光学系统关于旋转轴线向下俯仰的控制指令。可替代地，向上旋转用户输入可以映射为使空中系统关于俯仰轴线(例如，横向轴线、平行于横向轴线的轴线等)向上俯仰，或者可以以其他方式映射，和/或向下旋转用户输入可以映射为使空中系统关于俯仰轴线(例如，横向轴线、平行于横向轴线的轴线等)向下俯仰，或者可以以其他方式映射。向上和/或向下旋转用户输入可以与第二实施例中的相同，和/或可以是任何其他合适的输入。
在第一变型的第四实施例中，用于关于与视场正交的轴线旋转视场的用户输入可以被映射为使空中系统关于滚动轴线(例如，纵向轴线、平行于纵向轴线的轴线等)滚动的控制指令、使图像的裁剪区域旋转的控制指令或者可以以其他方式映射。滚动旋转用户输入可以包括：沿着基本弧形路径的双触摸停顿和拖曳；沿着基本弧形路径的单个触摸停顿和拖曳；(例如，如由用户设备方位传感器确定的)用户设备偏航；或者具有任何其他合适的参数集合的任何其他合适的输入样式。空中系统优选地在弧形路径的角度方向上滚动，但是可以可替代地在相反方向上滚动。
在第二变型中，用户输入指示视场平移(例如，向左移动、向右移动、向上移动、向下移动)，其中平移输入映射为空中系统平移动作。空中系统优选地在与平移输入轴线相同的方向上平移，但是可以可替代地在相反方向上平移。平移用户输入可以不同于旋转用户输入，但是可以可替代地是基本相似的。在后一种变型的一个示例中，同一输入可以映射为视场旋转动作直至达到输入阈值，在该点处输入被映射为视场平移动作。在具体示例中，在显示器的左侧的连续单个触摸停顿可以向左旋转视场多达180°旋转，在该点处输入被重映射为向左的空中系统平移。然而，平移输入可以以其他方式与旋转输入相关。
在第二变型的第一实施例中，用于水平平移视场(例如，横向平移照相机视场；横向平移视频视角；平移水平视角而不改变竖直视角等)的用户输入可以映射为：沿着横向平移轴线(例如，与主体20的中心横向轴线平行或重合；垂直于重力向量并且平行于光学传感器有源表面；基本(诸如在1°、5°或10°内)平行于和/或垂直于这些或其他参考等)(例如，沿着x轴)平移空中系统12、沿着横向平移轴线平移光学系统、或者任何其他合适的空中系统动作的控制指令。然而，横向平移用户输入可以以其他方式映射。横向平移用户输入可以包括：在显示区和/或输入区上(例如，朝着显示器的竖直边缘)的双触摸停顿和线性横向拖曳；在显示区和/或输入区的一侧的单个触摸停顿；在显示区和/或输入区的一侧的一系列连贯的轻敲；用户设备滚动；或者包括具有任何其他合适的参数集合的任何其他合适的输入样式。例如，横向平移用户输入可以包括限定平行于显示器的水平边缘的水平分量的平移向量，并且作为响应，空中系统可以基于水平分量在基本平行于(例如，在1°、5°、10°内等)光学传感器的宽面(例如，照相机传感器有源表面)的方向上平移。在第一具体示例中(例如，如图11和图21所示)，水平分量指向右并且空中系统向左平移。在第二具体示例中(例如，如图12和图22所示)，水平分量指向左并且空中系统向右平移。然而，平移方向可以被颠倒，或者输入可以映射到任何其他合适的平移。
在第二变型的第二实施例(图13、图14、图17和图18示出的具体示例)中，用于竖直平移视场(例如，竖直平移照相机视场；竖直平移视频视角；平移竖直视角而不改变水平视角等)的用户输入可以被映射为：沿着竖直平移轴线(例如，与主体的中心垂直轴平行或重合，与空中系统偏航轴线平行或重合，平行于重力向量，基本(诸如在1°、5°或10°内)平行于和/或垂直于这些或其他参考，等等)(例如，沿着y轴)平移空中系统、沿着竖直平移轴线平移光学系统、或者任何其他合适的空中系统动作的控制指令。然而，竖直平移用户输入可以以其他方式映射。竖直平移用户输入可以包括：在显示区和/或输入区上(例如，沿着显示器和/或输入区的y轴)的双触摸停顿和线性纵向拖曳；在显示区和/或输入区的一端(例如，顶端、底端)的单个触摸停顿；在显示区和/或输入区的一端的一系列连贯的轻敲；用户设备俯仰；或者包括具有任何其他合适的参数集合的任何其他合适的输入样式。
在第三变型中，用户输入指示图像缩放调整，其中图像缩放用户输入映射为空中系统平移动作。空中系统优选地响应于拉远用户输入离开目标对象地移动(例如，离开当前在视场内的对象；逆着照相机的有源面的正交向量等)，并且响应于拉近用户输入移动靠近目标对象(例如，朝着当前在视场内的对象；沿着照相机的活动面的正交向量等)；图15和图16示出具体示例。附加地或可替代地，用户输入可以映射为光学系统缩放和空中系统平移的混合。在一个示例中，响应于拉近用户输入的接收，空中系统朝着目标对象移动多达离开目标对象的阈值距离。在到达阈值距离并且接收指示拉近的进一步输入时，输入可以自动重映射为(例如，通过数字缩放)拉近照相机。当接收到拉远用户输入时，照相机拉远直至实现最大照相机焦距，在该点处用户输入重映射为空中系统平移(例如，离开目标对象的平移)。阈值距离可以是预先确定的、由用户18设置(例如，输入到控制客户端16中)、或者以其他方式确定。图像缩放用户输入可以包括：指示拉近的收捏移动(例如，朝着彼此的双触摸移动)；指示拉远的张开移动(例如，离开彼此的双触摸移动)；滑动移动(例如，指示拉近的向上滑动；指示拉远的向下滑动等)；或者任何其他合适的用户输入。
在第四变型中，用户输入指示图像缩放调整，其中图像缩放用户输入被映射为空中系统平移动作。空中系统优选地响应于拉远用户输入离开目标对象(例如，离开当前在视场内的对象；逆着照相机的活动面的法线向量等)移动，并且响应于拉近用户输入靠近目标对象(例如，朝着当前在视场内的对象；沿着照相机的有效面的法线向量等)移动；图19和图20示出的具体示例。附加地或可替代地，用户输入可以被映射为光学系统缩放和空中系统平移的混合。在一个示例中，响应于拉近用户输入的接收，空中系统朝着目标对象移动多达离开目标对象的阈值距离。在到达阈值距离并且接收指示拉近的进一步输入时，输入可以被自动重映射为(例如，通过数字缩放)拉近照相机。当接收到拉远用户输入，照相机拉远直至实现最大照相机焦距，在该点处用户输入被重映射为空中系统平移(例如，离开目标对象的平移)。阈值距离可以是预先确定的、由用户设置(例如，输入到控制客户端16中)、或者以其他方式被确定。图像缩放用户输入可以包括：指示拉远的捏移动(例如，朝着彼此的双触摸移动)；指示拉近的张开移动(例如，离开彼此的双触摸移动)；滑动移动(例如，指示拉远的向上滑动；指示拉近的向下滑动等)；或者任何其他合适的用户输入。
210S18可以包括将用户输入映射为多个空中系统移动(例如，如图23和图24所示)。例如，基于对应于多个方向分量(例如，诸如水平分量和竖直分量的正交分量)的用户输入，空中系统12可以执行对应于每个方向分量的移动。在第一具体示例中，指向上和向右的单手指对角线拖曳输入映射为正的空中系统偏航和围绕万向节轴线的向下照相机旋转二者。在第二具体示例中，指向下和向右的双手指对角线拖曳输入映射为向上和向左的空中系统平移。然而，用户输入可以以其他方式被映射为多个方向命令。在具体示例中，朝左张开移动(例如，其中两个手指接触点都向左移动同时离开彼此移动，其中手指接触点之间的中点向左移动等)被映射为向右和朝着目标对象二者的空中系统平移。
空中系统可以并发地、在重叠的时间处、依顺序、在交替的步骤中(例如，执行偏航移动的第一步骤，然后执行海拔增加移动的第一步骤，然后执行偏航移动的第二步骤，以及然后执行海拔增加移动的第二步骤)、或者以任何其他合适的时序来执行移动。附加地或可替代地，用户输入可以映射为单个空中系统移动(例如，水平为主的用户输入仅映射为水平空中系统移动，诸如偏航或水平平移；竖直为主的用户输入仅映射为竖直空中系统移动，诸如空中系统或照相机俯仰或竖直平移)，或者可以以任何其他合适的方式被解释。
附加地或可替代地，用户输入中的一些或全部可以基于对(例如，用户设备)位置、方位和/或移动的远程控制来确定。在第一具体示例中，向前倾斜用户设备可以被映射为拉近和/或朝着目标对象平移空中系统12，和/或向后倾斜用户设备可以被映射为拉远和/或离开目标对象平移空中系统。在第二具体示例中，向左倾斜用户设备可以被映射为空中系统向左平移，和/或向右倾斜用户设备可以被映射为空中系统向右平移。在第三具体示例中，向左平移用户设备可以被映射为空中系统经历正偏航，和/或向右平移用户设备可以被映射为空中系统经历负偏航。然而，任何合适的用户输入可以映射为任何合适的空中系统移动。
选择第二成像元素区域的第二区域210S20可以作用于补偿空中系统操作。第二成像元素区域优选地是在210S12中使用的同一成像元素区域(例如，相同视频的两个区域、相同照相机传感器的两个区域等)，但是可替代地可以是暂时在第一成像元素区域之前(例如，超过阈值持续时间或在阈值持续时间内)的、暂时在第一成像元素区域之后(例如，超过阈值持续时间或在阈值持续时间内)的、空间上邻近第一成像元素区域或者与第一成像元素区域叠加(例如，与成像元素区域同时记录或在任何其他合适的时间处记录)的、与在同一或不同空中系统12上的第二光学传感器相关联(例如，属于第二光学传感器或由第二光学传感器捕获)的成像元素区域，或者可以是任何其他合适的图像相关或成像相关元素。第二区域优选地由与在210S12中选择第一区域的系统相同的系统来选择，但是附加地或可替代地可以由任何其他合适的计算系统选择。类似于第一区域，第二区域优选地接近实时地(例如，在接收到图像帧之前、紧跟在接收到图像帧之后、或者接收到图像帧之后的短持续时间内)选择，但是可以可替代地在任何其他合适的时间处选择。选择第二区域210S20优选地与改变空中系统的位置210S18同时发生，但是可以附加地或可替代地在210S18之前、在210S18之后或者在任何其他合适的时间处选择。第二区域优选地限定与第一区域(例如，毗邻区中的像素的规则阵列，诸如限定矩形的区)相似的区(或多个区)，但是可以可替代地包括多个非毗邻区、不规则像素布置，和/或可以是任何其他合适的区域。类似于第一区域，第二区域可以相对于它从其被选择的成像元素具有任何合适的布置、形状和/或尺寸。第一区域和第二区域可以具有相同或不同的尺寸、可以具有相同或不同的方位、以及可以在与彼此相同的位置中、重叠(例如，共享像素)、是毗邻的、或者是完全分开的。尽管210S20指代为第二区域，但是本领域技术人员将理解该区域可以是任何合适的区域(例如，第三区域、第四区域等)。
210S20优选地包括补偿空中系统响应滞后。例如，空中系统响应滞后(例如，在用户输入之后)可能是因为操作指令生成延迟、信号传输延迟、螺旋桨加速时间、空中系统加速时间(例如，以开始空中系统移动、以停住或减慢空中系统移动等)、由于飞行空气动力导致的延迟或者由于任何其他合适的影响导致的延迟。补偿空中系统响应滞后可以包括确定与用户输入相关联的平移向量以及选择第二区域，以使得第二区域从第一区域沿着平移向量移位。平移向量可以是显示器向量(例如，从显示器上接收的拖曳输入的开始点到结束点或者结束点到开始点的向量、沿着显示器轴线对齐的向量等)、空中系统向量(例如，沿着或者相反于与用户输入相关联的空中系统运动的向量、沿着空中系统或光学传感器轴线对齐的向量、沿着与由光学传感器所采样的图像上的拖曳输入相关联的光学传感器有源表面的向量等)，或者可以是相对于任何其他合适的系统组件限定的任何其他合适的向量。
在一个变型中，第一区域和第二区域配合地限定从第一区域的中心到第二区域的中心的平移向量。变型可以附加地或可替代地包括在与(例如，210S18中的)平移向量基本相反(例如，在1°、5°、10°内等)的方向上移动照相机。在变型的第一实施例中，照相机传感器包括第一传感器边缘和与第一传感器边缘相对的第二传感器边缘，并且第一区域和第二区域是照相机传感器的区域。在该实施例中，平移向量限定垂直于第一传感器边缘的水平分量，以及210S18包括以相对于水平分量的钝角(例如，基本上成直角，诸如在1°、5°、10°内等)或直角在飞行方向上平移空中系统。在该实施例的一个示例中，飞行方向基本垂直于(例如，在1°、5°、10°内等)重力向量并且基本平行于(例如，在1°、5°、10°内等)照相机传感器的宽面(例如，有源表面)。
具体示例还包括：接收由照相机传感器的第一区域(第一传感器区域)采样的第一图像，第一图像包括由接近第一传感器边缘采样的第一图像区域和由接近第二传感器边缘采样的第二图像区域；在触敏显示器的显示区的整体内显示第一图像，显示区包括第一显示边缘和与第一显示边缘相对的第二显示边缘，第一图像区域接近第一显示边缘显示并且第二图像区域接近第二显示边缘显示；在第一图像(例如，在拖曳输入期间的某点处显示的第一图像、贯穿整个拖曳输入期间显示的第一图像等)的显示的同时，接收来自触敏显示器的拖曳输入，拖曳输入在显示区内接收，拖曳输入包括朝着第二显示边缘(例如，并且离开第一显示边缘)延伸的拖曳向量；以及基于拖曳输入选择照相机传感器的第二区域(第二传感器区域)，其中第一区域的中心比第二区域的中心更接近第二传感器边缘(例如，并且更远离第一传感器边缘)。
在补偿空中系统响应滞后的示例中，其中视频从空中系统照相机接收(例如，其中所述区域从视频选择、从采样视频的照相机传感器选择等)，210S12可以包括裁剪掉(视频的)每个图像帧的一个或多个边缘；以及响应于指示第一方向上的空中系统移动的用户输入的接收210S16，210S20可以包括裁剪掉第一图像边缘的较少部分，并且裁剪掉第二图像边缘的较多部分。这可以作用于给出视频帧运动的外观直至空中系统赶上(例如，执行)规定的动作。在一个示例中，每个视频帧被裁剪以仅示出帧的中心。响应于向左平移空中系统的横向用户输入的接收，每个后续的视频帧可以被裁剪以示出中心的左侧的帧区域。在(例如，如从空中系统加速度计或陀螺仪确定的)空中系统平移时，后续的视频帧可以被裁剪以再次仅示出帧中心。选择的区域可以被逐渐调整(例如，对于每若干视频帧(诸如要在预期的延迟时间段期间显示的所有视频帧)中的每个视频帧移动递增的量)、突然调整、基于用户输入速度调整(例如，跟踪拖曳输入，诸如移动图像帧区域以将它的位置维持在用于拖曳输入的手指下方)、或者以任何其他合适的速率调整。
补偿空中系统响应滞后可以附加地或可替代地包括从第二区域选择恢复(例如，重新定位区域选择的中心、将显示的区域移回第一区域等)。恢复类型、方向、速度、加速度或其他恢复参数可以是预先确定的、基于空中系统参数(例如，飞行速度、角度位置、目标位置等)自动确定或者以其他方式确定。在一个变型中，在选择在第一方向上从第一区域移位的第二区域之后，所述方法可以包括选择在第二方向上从第二区域移位的第三区域，其中第一和第二方向配合地形成钝角或直角(例如，反平行的；彼此相反；基本彼此相反，诸如在1°、5°、10°内等；具有彼此相反的垂直和/或水平分量等)。例如，第三区域的中心可以在第一区域和第二区域的中心之间，可以与第一区域的中心基本重合(例如，其中第三区域基本与第一区域重合，其中第三区域相对于第一区域旋转等)，可以跨第一区域的中心与第二区域的中心相对，或者可以具有相对于其他区域的任何其他合适的位置。如果这些中心在阈值距离(例如，5、10或50像素；1、2或10mm等)内或者在与区域相关联的尺寸(例如，区域或区域从中选择的成像元素的长度或宽度)的阈值比例(例如，1％、5％、10％等)内，则这些中心可以被认为基本重合。
在该变型的第一实施例中，所述区域选择在空中系统移动期间被恢复(例如，在整个移动期间逐渐恢复)。例如，所述方法可以附加地包括，在基于用户输入关于偏航轴线旋转空中系统的同时，接收第三视频；选择第三视频的第三区域，其中第三区域在第一和第二区域之间(例如，不与任一区域重叠，与一个或两个区域重叠)；以及(例如，在触敏显示器处)显示第三视频的第三区域。该示例还可以包括(例如，仍然在空中系统旋转期间、在空中系统旋转之后、在显示第三视频的第三区域之后等)选择第四视频的第一区域，其中第四视频的第一区域在与第一视频的第一区域相同的位置中，以及(例如，在触敏显示器处)显示第四视频的第一区域。在具体示例中，在显示第二视频的第二区域之后，选择和显示后续的中间区域以朝着第一区域(例如，中心区域)往回逐渐移动区域选择。
在该变型的第二实施例中，所述区域选择在空中系统移动的改变(例如，返回悬停、移动方向改变等)期间或者在暂时靠近(例如，在1、2或10s内等)空中系统移动的改变时被恢复。这可以作用于补偿与空中系统移动改变相关联的滞后(例如，响应于停止命令的滞后、加速度滞后等)。例如，在选择相对于第一区域在第一方向上旋转的第二区域并且开始(例如，在基本平行于照相机传感器有源平面的方向上)平移空中系统之后，所述方法可以附加地包括：接收来自照相机的第三视频；选择第三视频的第三区域(例如，其中第三区域的中心与第一区域的中心基本重合，其中第三区域在与第一方向相反的方向上相对于第一区域旋转)；以及(例如，在触敏显示器处)显示第三视频的第三区域。在第一具体示例中，在大多数空中系统移动期间，靠近第二区域的区域被选择和显示，以及靠近空中系统移动末尾时，更靠近第一区域的区域被选择以补偿空中系统减速时间。在第二具体示例中，中间区域被选择和显示以在空中系统移动期间朝着第一区域往回逐渐移动区域选择，以及靠近空中系统移动末尾时，选择超过第一区域的区域以补偿空中系统减速时间(在这之后，可以选择和显示进一步的中间区域以再次朝着第一区域往回逐渐移动区域选择)。然而，空中系统响应滞后可以以其他方式补偿。
210S20可以附加地或可替代地包括(例如，如210S12中描述的)补偿空中系统旋转，补偿空中系统旋转可以在空中系统旋转或平移时发生。这作用于使因此产生的图像稳定，该图像否则将看上去随着空中系统12一起旋转。例如，空中系统12可以在横向旋转或水平平移时滚动。在第二示例中，空中系统12在向前或向后移动时将俯仰。补偿空中系统旋转优选地包括选择第二区域的方位。例如，第二区域可以相对于第一区域(例如，以基本(诸如在1°、5°或10°内)等于空中系统滚动角的量)旋转。在具体示例中，第二照相机传感器区域相对于第一照相机传感器区域在第一方向上围绕滚动轴线旋转，滚动轴线正交于照相机传感器的宽面(例如，有源表面)，以及空中系统平移移动包括将空中系统在与第一方向相反的第二方向上围绕滚动轴线旋转。在该具体示例中，第二区域优选地在从第二区域捕获图像期间(例如，在210S22中要被显示的)是基本竖直的(例如，第二区域的边缘与重力向量基本(诸如，在1°、5°或10°内)对齐)。
在210S20的第一变型中，第二区域基于用户输入而选择，优选地与基于用户输入改变空中系统的位置同时发生。在第一示例中，用户输入是包括平移向量(例如，从开始点到结束点的向量；与拖曳输入相关联的向量的分量，诸如水平或竖直分量等)的拖曳输入，并且第二区域相对于第一区域沿着平移向量平移。在第二示例中，用户输入是在触敏显示器的显示区内接收的拖曳输入，显示区包括第一显示边缘和与第一显示边缘相对的第二显示边缘(例如，由该第一显示边缘和第二显示边缘包围)。在该示例中，拖曳输入包括离开第一显示边缘朝着第二显示边缘延伸的拖曳向量(例如，从开始点到结束点的向量)。此外，在该示例中，由第一传感器区域采样的图像在显示区的整体内显示(例如，与接收拖曳输入同时)，其中图像包括接近第一传感器边缘采样的第一图像区域和接近与第一传感器边缘相对的第二传感器边缘采样的第二图像区域，第一图像区域接近第一显示边缘显示，而第二图像区域接近第二显示边缘显示。在该示例中，第二区域基于拖曳输入选择以使得与第二区域的中心相比第一区域的中心更接近第二传感器边缘。
在该变型的第一实施例中，响应于用户输入而横向移动(例如，向左旋转、向左平移、向右旋转、向右平移)视场，第二区域相对于第一区域横向移位。在(例如，如图25示出的)区域从照相机传感器选择的该实施例的第一具体示例中，响应于用于向左移动视场的用户输入，第二区域被选择为如面朝照相机(例如，照相机视场内的视点)观看的第一区域的左侧。在该实施例的第二具体示例中，响应于用于向右移动视场的用户输入，第二照相机传感器区域被选择为如面朝照相机观看的第一照相机传感器区域的右侧。在区域从视频、图像或图像帧选择的该实施例的第三具体示例中，响应于用于向左移动视场的用户输入，第二区域被选择为在第一区域的左侧。在区域从视频、图像或图像帧选择的该实施例的第四具体示例中，响应于用于向右移动视场的用户输入，第二区域被选择为在第一区域的右侧。
在该变型的第二实施例中，响应于用于垂直移动(例如，向上旋转、向上平移、向下旋转、向下平移)视场的用户输入，第二区域相对于第一区域竖直移位。在区域从视频、图像或图像帧选择的该实施例的第一具体示例中，响应于用于向上移动视场用户输入，第二区域被选择为在第一区域的上方。在区域从视频、图像或图像帧选择的该实施例的第二具体示例中，响应于用于向下移动视场的用户输入，第二区域被选择为在第一区域的下方。在区域从照相机传感器选择并且照相机传感器上形成的图像相对于形成图像的对象被翻转(例如，由于照相机光学器件)的该实施例的第三具体示例中，响应于用于向上移动视场的用户输入，第二区域被选择为在第一区域的下方。在区域从照相机传感器选择并且照相机传感器上形成的图像相对于形成图像的对象被翻转(例如，由于照相机光学器件)的该实施例的第四具体示例中，响应于用于向下移动视场的用户输入，第二区域被选择为在第一区域的上方。
在210S20的第二变型中，基于空中系统位置改变选择第二区域。这可以作用于使视频流稳定。位置改变可以是有意改变(例如，空中系统滚动或俯仰以使得能够进行横向平移)、无意改变(例如，由于风或空中系统碰撞的移动)或任何其他合适的位置改变。然而，第二区域可以附加地或可替代地以任何其他合适的方式、基于任何其他合适的标准、在任何其他合适的时间处选择。
第二区域优选地由控制系统12选择。在一个示例中，接收第一视频和第二视频以及选择第一区域和第二区域由空中系统12上机载的处理器执行。附加地或可替代地，第二区域可以在诸如用户设备之类的远程计算系统处或者在任何其他合适的系统处选择。
显示来自第二区域的图像210S22可以作用于对补偿后的图像进行流传输。图像可以如210S14中所描述的或者以任何其他合适的方式显示。例如，图像帧的不同像素位置子集可以被选择为第一区域和第二区域(例如，其中第一区域和第二区域的对应像素分别在210S14和210S22期间在触敏显示器处显示)。
来自第二区域的图像优选地与210S18同时显示。图像可以在空中系统运动的开始处、在空中系统运动期间、在空中系统运动的结束处和/或在空中系统运动的整体期间显示。在一个示例中，第二视频的第二区域与基于拖曳输入改变空中系统位置同时显示。附加地或可替代地，图像可以在210S18之前、在210S18之后和/或在任何其他合适的时间处显示。在一个示例中，来自第二区域的图像和来自第一区域的图像是同一图像的子图像。然而，来自第二区域的图像可以以其他方式显示。
所述方法可以可选地包括(例如，主动的或被动的)使用附接到光学系统的、自动使图像(例如，相对于重力向量)稳定的万向节系统来补偿空中系统旋转。在一个示例中，万向节系统可以是多轴线的(例如，3轴线的)，其中每个万向节(例如，滚动、俯仰和偏航)包括解析器。解析器接收(例如，指示陀螺仪从零偏离的)陀螺仪输出，根据每个万向节角执行自动矩阵变换，以及向连接到每个万向节的各自的驱动发动机传递所需要的力矩。然而，空中系统旋转可以以其他方式补偿。
除了提升机构之外的空中系统组件优选地继续在待机模式下操作，但是可以可替代地被关闭(例如，断电)、在待机状态下操作或者以其他方式操作。例如，传感器和处理器可以继续检测和分析空中系统操作参数和/或确定空中系统操作状态(例如，空间状态、飞行状态、电力状态等)，并且通信系统可以继续(例如，向用户设备、远程计算系统等)传输来自空中系统的数据(例如，视频流、传感器数据、空中系统状态等)。继续检测和分析空中系统状态可以使得系统能够在在待机模式下操作100S20的同时检测飞行事件100S10。例如，当空中系统在被抓取和保持(例如，并且作为响应进入待机模式)之后被释放时，这使得能够重复方法(例如，重新进入飞行模式等)。附加地，当事件被不正确地识别为待机事件时，这可以使得飞行模式能够恢复。在风扰动或与物体的碰撞被错误识别为抓取事件的具体示例中，空中系统可以进入待机模式并且开始自由下落(因为它实际没有被保持机构支撑)。在该具体示例中，随后可以检测到自由下落，并且响应于自由下落检测，空中系统12可以恢复在飞行模式下操作100S12。可替代地，在待机模式下操作空中系统12 100S20可以包括关闭和/或降低其他空中系统组件中的任何或全部组件的电力消耗、以任何合适的方式在任何合适的电力消耗级别处操作空中系统组件，和/或100S20可以以任何其他合适的方式执行。
参考图43，在本发明的另一方面，空中系统12可以包括障碍物检测和回避系统50。在一个实施例中，障碍物检测和回避系统50包括超广角透镜照相机对52A、52B。如下文将更充分地描述的，照相机对52A、52B被同轴地装备在机身顶部的中央和机身底部的中央处(参见下文)。
与常规系统相比，该方法和/或系统可以带来若干优点。首先，由照相机记录的图像被实时地或近实时地机载地处理。这允许机器人利用由照相机记录的图像来导航。
照相机对52A、52B一般地安装到或静态地固定到主体20的外壳。存储器54和视觉处理器56连接到照相机对52A、52B。系统作用于采样监视区域的图像以用于进行实时或近实时的诸如深度分析的图像处理。系统可以附加地或可替代地生成三维视频、生成监视区域的地图或者执行任何其他合适的功能。
外壳作用于以预定的配置来保持照相机对52A、52B。系统优选地包括保持照相机对52A、52B的单个外壳，但是系统可替代地包括多个外壳件或任何其他合适数量的外壳件。
照相机对52A、52B作用于采样环绕系统12的周围环境的信号。照相机对52A、52B被布置为每个照相机的相应视锥(view cone)与另一个照相机的视锥重叠(参见下文)。
每个照相机52A、52B可以是CCD照相机、CMOS照相机或任何其他合适类型的照相机。照相机可以在可见光光谱、IR光谱或任何其他合适的光谱中是灵敏的。照相机可以是超光谱的、多光谱的或可以捕获任何合适的频带子集。照相机可以具有固定的焦距、可调节焦距或任何其他合适的焦距。然而，照相机可以具有任何其他合适的参数值集合。多个照相机可以是相同的或不同的。
每个照相机优选地与相对于参考点的已知位置相关联(例如，在外壳上、多个照相机中的一个照相机上、在主机机器人上等)，但是可以与估计的、计算的或未知的位置相关联。照相机对52A、52B优选地被静态地安装到外壳(例如，外壳中的通孔)，但是可以可替代地(例如，通过连接件(joint))可致动地安装到外壳。照相机可以被安装到外壳面、边缘、顶点或安装到任何其他合适的外壳特征。照相机可以与外壳特征对准，沿着外壳特征居中或以其他方式相对于外壳特征布置。照相机可以被布置为具有垂直于外壳半径或表面切线的有源表面、平行于外壳面的有源表面或以其他方式布置。相邻的照相机有源表面可以彼此平行、彼此成非零角度、位于同一平面上、相对于参考平面成角度或以其他方式布置。相邻的照相机优选地具有6.35cm的基线(例如，照相机间或轴向距离、相应透镜之间的距离等)，但是可以更分开或更靠近在一起。
照相机52A、52B可以连接到同一视觉处理系统和存储器，但是可以被连接到不同的视觉处理系统和/或存储器。优选地以同一时钟对照相机采样，但是各照相机可以被连接到不同的时钟(例如，其中时钟可以同步或以其他方式相关)。照相机优选地由同一处理系统控制，但是可以由不同的处理系统控制。照相机优选地由同一电源(例如，可充电电池、太阳能板阵列等；主机机器人电源、分开的电源等)供电，但是可以由不同的电源供电或以其他方式供电。
障碍物检测和回避系统50还可以包括发射器58，发射器58作用于照射由照相机52A、52B监视的物理区域。系统50可以包括用于照相机52A、52B中的一个或多个照相机的一个发射器58、用于照相机52A、52B中的一个或多个照相机的多个发射器58或以任何其他合适的配置的任何合适数量的发射器58。一个或多个发射器58可以发射调制的光、结构光(例如，具有已知的样式的光)、准直光、散射光或具有任何其他合适的性质的光。所发射的光可以包括在可见范围、UV范围、IR范围内或在任何其他合适的范围内的波长。发射器位置(例如，相对于给定照相机)优选地是已知的，但是可以可替代地被估计、计算或以其他方式确定。
在第二变型中，障碍物检测和回避系统50作为非接触有源三维扫描仪操作。该非接触系统是飞行时间传感器，该飞行时间传感器包括照相机和发射器，其中照相机记录来自监视区域中的障碍物的(对由发射器发射的信号的)反射并且基于反射的信号来确定系统50和障碍物之间的距离。照相机和发射器优选地被安装在彼此的预定距离(例如，数毫米)内，但是可以以其他方式安装。发射的光可以是散射的、结构的、调制的或具有任何其他合适的参数。在第二变型中，非接触系统是三角测量系统，该三角测量系统也包括照相机和发射器。发射器优选地超出照相机的阈值距离(例如超出照相机数毫米)安装并且定向为相对于照相机有源表面成非平行的角度(例如安装到外壳的顶点)，但是可以以其他方式安装。发射的光可以是准直的、调制的或具有任何其他合适的参数。但是，系统50可以定义任何其他合适的非接触有源系统。然而，照相机对可以形成任何其他合适的光学测距系统。
系统50的存储器54作用于存储照相机测量结果。存储器可以附加地作用于存储以下各项：设置；地图(例如校准地图、像素地图)；照相机位置或索引；发射器位置或索引；或任何其他合适的信息的集合。系统50可以包括一个或多个存储器段。存储器优选地是非易失性的(例如闪存、SSD、eMMC等)，但是可替代地是易失性的(例如RAM)。在一个变型中，照相机52A、52B写入同一缓冲器，其中每个照相机被分配给该缓冲器的不同部分。在第二变型中，照相机52A、52B写入同一存储器或不同存储器中的不同的缓冲器。然而，照相机52A、52B可以写入任何其他合适的存储器。存储器54优选地是可有系统的全部处理系统(例如视觉处理器、应用处理器)访问的，但是可替代地是可有处理系统的子集(例如单个视觉处理器等)访问的。
系统50的视觉处理系统56用来确定物理点与系统的距离。视觉处理系统56优选地确定来自像素的子集的每个像素的像素深度，但是可以附加地或可替代地确定对象深度或者确定物理点或其集合(例如对象)的任何其他合适的参数。视觉处理系统56优选地处理来自照相机52A、52B的传感器流。
视觉处理系统56可以按预定的频率(例如30FPS)处理每个传感器流，但是可以按可变频率或按任何其他合适的频率处理传感器流。预定的频率可以从应用处理系统60接收、从存储装置取出、基于照相机获取(camera score)或分类(例如前、侧、后等)自动确定、基于可用的计算资源(例如可用内核、电池电量剩余等)确定、或以其他方式确定。在一个变型中，视觉处理系统56按同一频率处理多个传感器流。在第二变型中，视觉处理系统56按不同频率处理多个传感器流，其中频率基于被分配给每个传感器流(和/或源照相机)的分类来确定，其中该分类基于源照相机相对于主机机器人的行进向量的方向来分配。
系统50的应用处理系统60用来确定用于传感器流的时分复用参数。应用处理系统60可以附加地或可替代地执行对象检测、分类、跟踪(例如光学流)或使用传感器流的任何其他合适的处理。应用处理系统60可以附加地或可替代地基于传感器流(例如基于视觉处理器输出)来生成控制指令。例如，可以使用传感器流来执行(例如使用SLAM、RRT等的)导航或视觉量距(odometry)过程，其中基于导航输出来控制系统和/或主机机器人。
应用处理系统60可以附加地或可替代地接收控制命令并且基于该命令来操作系统12和/或主机机器人。应用处理系统60可以附加地或可替代地接收外部传感器信息并且基于命令来选择性地操作系统和/或主机机器人。应用处理系统60可以附加地或可替代地基于(例如使用传感器融合的)传感器测量结果来确定机器人系统运动学特性(例如位置、方向、速度、加速度)。在一个示例中，应用处理系统60可以使用来自加速度计和陀螺仪的测量结果来确定系统和/或主机机器人的穿行向量(例如系统的行进方向)。应用处理系统60可以可选地基于机器人系统运动学特性来自动生成控制指令。例如，应用处理系统60可以基于来自照相机52A、52B的图像来确定系统(在物理空间中)的位置，其中(距方位传感器的)相对位置以及(从图像确定的)实际位置和速度可以被馈送到飞行控制模块。在这个示例中，来自面向下方的照相机子集的图像可以用于(例如使用光学流)确定系统平移，其中系统平移可以被进一步馈送到飞行控制模块。在具体示例中，飞行控制模块可以综合这些信号以维持机器人位置(例如使无人机悬停)。
应用处理系统60可以包括一个或多个应用处理器。应用处理器可以是CPU、GPU、微处理器或任何其他合适的处理系统。应用处理系统60可以是视觉处理系统56的一部分、或与视觉处理系统56分开、或与视觉处理系统56不同。应用处理系统60可以由一个或多个接口桥连接到视觉处理系统56。接口桥可以是高吞吐量和/或高带宽的连接，并且可以使用MIPI协议(例如，2输入1输出照相机聚合器桥——扩展数量的照相机可以连接到视觉处理器)、LVDS协议、DisplayPort协议、HDMI协议或任何其他合适的协议。可替代地或附加地，接口桥可以是低吞吐量和/或低带宽的连接，并且可以使用SPI协议、UART协议、I2C协议、SDIO协议或任何其他合适的协议。
所述系统可以可选地包括图像信号处理单元(ISP)62，图像信号处理单元62用来在将照相机信号传递到视觉处理系统和/或应用处理系统之前预处理照相机信号(例如图像)。图像信号处理单元62可以处理来自所有照相机的信号、来自照相机子集的信号或来自任何其他合适的源的信号。图像信号处理单元可以自动白平衡、校正场阴影、纠正透镜畸变(例如鱼眼矫正)、裁剪、选择像素子集、应用Bayer变换、去马赛克、应用降噪、锐化图像或以其他方式处理照相机信号。例如，图像信号处理单元62可以从相应的流的图像中选择与两个照相机之间的重叠物理区域相关联的像素(例如裁剪每个图像以仅包括与立体照相机对的照相机之间共享的重叠区域相关联的像素)。图像信号处理单元62可以是具有多核处理器架构的片上系统、是ASIC、具有ARM架构、是视觉处理系统的一部分、是应用处理系统的一部分或是任何其他合适的处理系统。
所述系统可以可选地包括传感器64，传感器64用来对指示系统操作的信号采样。传感器输出可以用于确定系统运动学特性、处理图像(例如以用于图像稳定化)或以其他方式使用。传感器64可以是视觉处理系统56、应用处理系统60或任何其他合适的处理系统的外围设备。传感器64优选地静态安装到外壳，但是可以可替代地安装到主机机器人或安装到任何其他合适的系统。传感器64可以包括：方位传感器(例如IMU、陀螺仪、加速度计、高度计、磁力计)、声学传感器(例如麦克风、感测器)、光学传感器(例如照相机、环境光传感器)、触摸传感器(例如力传感器、电容式触摸传感器、电阻式触摸传感器)、位置传感器(例如GPS系统、信标系统、三边测量系统)或任何其他合适的传感器集合。
所述系统可以可选地包括输入装置(例如键盘、触摸屏、麦克风等)、输出装置(例如扬声器、光、屏幕、振动机构等)、通信系统(例如WiFi模块、BLE、蜂窝模块等)、电力存储装置(例如电池)或任何其他合适的组件。
所述系统优选地与主机机器人一起使用，该主机机器人用来在物理空间内穿行。主机机器人可以附加地或可替代地接收远程控制指令并且根据远程控制指令操作。主机机器人可以附加地生成远程内容或执行任何其他合适的功能。主机机器人可以包括一个或多个：通信模块、动力机构、传感器、内容生成机构、处理系统、复位机构或任何其他合适的组件集合。主机机器人可以是无人机、车辆、机器人、安全照相机或者可以是任何其他合适的远程可控制系统。动力机构可以包括传动系统、旋翼、喷射器、踏板、旋转连接件或任何其它合适的动力机构。应用处理系统优选地是主机机器人处理系统，但是可以可替代地连接到主机机器人处理系统或以其他方式与主机机器人处理系统相关。在具体的示例中，主机机器人包括具有WiFi模块、照相机和应用处理系统的空中系统(例如无人机)。系统可以安装到(例如，如在典型操作期间基于重力向量确定的)主机机器人的顶部、主机机器人的底部、主机机器人的前部、在主机机器人内的中心或以其他方式安装到主机机器人。系统可以与主机机器人整体形成、可移除地耦接到主机机器人或以其他方式附接到主机机器人。一个或多个系统可以与一个或多个主机机器人一起使用。
在本发明的另一方面，(子)系统和方法M220可以用来向空中系统12提供自主摄影和/或录像。自主摄影和/或录像系统70可以至少部分地由处理系统22、光学系统26、致动系统28和提升机构32来实现。
如下文将以更多细节讨论的，自主摄影和/或录像系统70配置为建立期望的飞行轨迹、检测目标以及利用提升机构根据相对于目标的期望的飞行轨迹来控制空中系统12的飞行。自主摄影和/或录像系统70还配置为控制照相机捕获照片和/或视频。
此外，自主摄影和/或录像系统70可以可操作以(1)在没有用户和任何设备之间的任何交互的情况下利用照片中的目标自动修改照相机角度和飞行轨迹；(2)在没有用户和任何设备之间的任何交互的情况下自动拍照或记录视频；以及(3)自动从原始相片/视频素材中选择好的相片和/或视频片段候选以用于进一步的用户编辑或自动编辑步骤。
参考图44，在一个实施例中，自主摄影和/或录像系统70包括自动检测和跟踪模块72、自动拍摄模块74、自动选择模块76以及自动编辑和分享模块76。如上所述，模块72、74、76、78可以部分地由软件实施的视觉算法和硬件的组合(例如，处理系统22)实施。从用户的角度，模块72、74、76、78可以提供完全自主的体验。可替代地，模块72、74、76、78中的一个或多个可以用于提供允许用户更容易地利用空中系统12拍相片或录视频的(不那么完全自主的)模式。
在空中系统12已经启动之后，自动检测和跟踪模块72发起目标检测过程。目标检测过程将检测诸如人或其他物品或对象(参见上文)的目标。
在目标已经被检测/定位之后，自动检测和跟踪模块72利用致动系统28来修改光学系统26的光学传感器或照相机36中的一个的角度并且基于所选择的飞行轨迹来修改空中系统12的飞行轨迹。
一个或多个光学传感器36充当用于自动检测和跟踪模块72的视觉传感器。自动检测和跟踪模块72可以利用自动检测和跟踪算法来检测和定位来自光学系统26的视频馈送的目标以及利用自定位融合算法来集成来自各个传感器44的定位数据。通过组合来自自定位传感器融合算法以及目标检测和跟踪算法的信息，可以获得目标对于空中系统12的相对位置和速度。
在一个实施例中，目标检测和跟踪算法可以包括以下技术中的一个或多个技术：
(a)基于跟踪器的技术：TLD-跟踪器、KCF-跟踪器、Struck-跟踪器、基于CNN的跟踪器等。
(b)基于检测器的技术：面部检测算法(比如Haar+Adaboost)、面部识别算法(比如EigenFace)、人类身体检测算法(比如HOG+SVM或DPM)、基于CNN的对象检测算法等。
为了甚至更可靠的性能，可以将附加的一个或多个传感器附接到目标。例如，GPS传感器和惯性测量单元(IMU)可以包括在附接到目标的跟踪器设备中。然后，传感器的信息可以经由诸如Wi-Fi或Bluetooth之类的无线方法传输到主空中系统12。同步的传感器信息可以用作附加的补充观察数据以用于更好地辅助基于视觉的目标检测和跟踪算法。数据可以以基于滤波器的方式使用(诸如将数据转储到EKF系统中)，或者以补充的方式使用(诸如将它用作先验信息以用于提供基于视觉的跟踪器的更好的跟踪准确度)。
在一个实施例中，自定位融合算法可以包括进行加速度计、陀螺仪、磁力计、气压计、光流传感器、GPS、接近传感器、声呐/雷达、基于TOF的测距仪等的传感器滤波和融合的扩展的卡尔曼滤波器(EKF)；
相同的或附加的一个或多个视觉传感器提供视觉量距能力。视觉传感器优选地具有对于空中系统的主体的已知的并且固定的相对姿态。还可以提供可移除视觉传感器(只要它对于主体的相对姿态可以被准确监视和及时更新)。额外的惯性传感器测量结果是优选的，但不是必需的。如果没有来自惯性测量单元(IMU)的同步读数，则可以应用诸如视觉SLAM和SVO之类的技术。如果我们确实使用附加的惯性测量单元信息，则可以应用VIO和VIN。
一旦已经建立了(1)通过使用自定位传感器融合技术的空中系统自定位信息、(2)一个或多个万向节角度以及(3)来自视觉传感器的二维目标位置，则可以导出目标的绝对位置和速度以及目标相对于空中系统的位置和速度的在线估计。
然后，系统可以应用恰当的控制策略以在设计的轨迹中飞行同时瞄准目标。可以应用若干不同的控制策略：
(a)空中系统12可以仅从后面跟随目标，并且保持固定的距离(无限期地或在有限的时间量内)；
(b)空中系统12可以在前面引导目标同时瞄准目标，并且保持固定的距离(无限期地或在有限的时间量内)；
(c)空中系统12可以用恒定的/变化的速度在固定的距离处围绕目标运动(无限期地或在有限的时间量内)；
(d)空中系统12可以在有限的时间量内用恒定的/变化的速度移动得更接近某个照相机瞄准角或进一步离开某个照相机瞄准角；
(e)在光学系统26瞄准目标的同时，空中系统12可以在有限的时间量内用恒定的/变化的速度按(世界坐标系中的或目标坐标中的)某个方向移动；
(f)空中系统12可以固定某些自由度并且仅使用它的自由度中的一些自由度来跟踪和瞄准目标，例如，它可以停留在空中的某个三维位置处，并且仅通过控制它自己的偏航角和它的照相机万向节的轴来跟踪和瞄准目标；
(g)一条轨迹和/或一系列控制命令可以由专业的摄影师来执行并且被记录为预定义轨迹的候选。可以保存每个时间戳处的数据，诸如照相机角度、目标对于空中系统的相对距离和速度、场景中的目标的位置、空中系统的绝对位置和速度等，然后可以应用在线轨迹规划算法来生成控制命令以复制相同的轨迹；
(h)以预定义的顺序或者以伪随机顺序的任何上面的控制策略(或同一原则下的其他控制策略)的按序组合。
在一个实施例中，这些策略中的一个或多个策略可以呈现给用户并且选择为期望的飞行轨迹。
在目标被识别之后，自动拍摄模块74将控制光学系统26以自动开始获得照片和/或视频，即“自动拍摄”。在自动拍摄时，空中系统12或无人机将在设计的飞行轨迹上飞行，并且照相机角度自动改变以将目标维持在照片和/或视频内。自动拍摄将基于若干机制：自动光条件优化、面部移动分析、表情分析、行为分析、姿态分析、条件分析、组成分析和对象分析。从拍视频的角度，空中系统12或无人机还可以在低和高、近和远、左和右、前和后和侧的宽范围内自动移动以使得视频更生动。可以基于预定的参数和/或基于传感器输入的变化的条件来动态确定指定的飞行轨迹。换句话说，无人机或空中系统12可以穿行轨迹以模拟或模仿以类似于专业摄影师或摄像师的方式对照相机的操作。另外，用户可以从预先设计的路线或预定义的路线中选择一个或多个轨迹。
此外，在本发明的另一方面，自动拍摄模块74具有一个或多个模式。例如，在一个实施例中，自动拍摄模块74可以具有以下模式：
-模式1：拍一系列快照；
-模式2：拍连续的视频；或
-模式3：拍连续的视频，同时拍一系列快照。
模式可以由用户选择和/或可以与所选择的飞行轨迹相关联(参见下文)。
自动选择模块76基于预定的参数集合从获得的(或捕获的)照片和/或视频中选择照片和/或视频(段)。所选择的照片和/或视频可以被保留和/或保存或者可替代地被标记为“选择的”。预定的参数集合可以包括但不限于：模糊度、曝光和/或构图(composition)。例如，模糊度检测器可以利用高斯拉普拉斯(Laplacian of Gaussian)滤波器或拉普拉斯滤波器的变型或其他合适的滤波器。
振动检测器的一个示例可以对给定的数据部分利用惯性测量单元或IMU(加速度计、陀螺仪等)数据，选择移动窗口时间间隔、计算该移动窗口内的方差/标准差并且将它与预定义的阈值进行比较。
较低频的振动滤波器(即，视频稳定性滤波器)可以通过检查主目标在视野中的二维轨迹或者通过检查传感器检测的照相机角度踪迹来实现。稳定的视频可以将目标较好地保持在视野中和/或保持更稳定的照相机角度。
对于照片，基于预定参数来选择和/或不选择照片。对于视频，可以基于预定参数来选择和/或不选择视频段。另外，自动选择模块76可以基于预定参数从给定的视频段中选择子段并且根据预定参数来裁剪(并且保存)一个或多个子段。
在本发明的一个方面，可以实施自动选择模块76。该模块可以在无人机上或者在智能电话上工作。它能够从较长的原始视频素材中自动选择相片或截短的视频片段(例如，3秒/6秒/10秒的视频片段)。下面是用于评价一段镜头/视频片段的一些规则：模糊度、视频稳定性、曝光、构图等。技术点如下：
过度曝光/曝光不足检测器：计算感兴趣的区域处的曝光值，并且检查这些值是否在较低的阈值以下(曝光不足)/是否在较高的阈值以上(过度曝光)。
构图：对于每个相片和视频片段候选，可以执行目标对象检测或取出记录的目标对象检测结果。然后这些结果可以被分析以确定相片构图是否是“好的”或“可接受的”，换句话说，目标是否在在相片/视频帧的好的位置处。直接的规则可以是如果检测目标的边界框的中心不在视野的某个优选的区域内，则它被认为是不好的候选。还可以应用利用深度学习的更复杂的方法来检查它是否为好的相片构图，诸如：收集和分析若干好的或可接受的相片以及若干不好的和不可接受的相片。所收集的相片用于训练神经网络以学习规则。最终，已训练的网络可以被部署在设备(无人机或电话)上以帮助选择好的或可接受的相片。
自动编辑和分享模块78基于预定的编辑参数来修改(即，编辑)选择的照片和/或选择的视频(段或子段)。参数可以由用户(例如，使用模板)来修改。在本发明的另一方面，自动编辑和分享模块与其他用户、设备、社交网络或媒体分享服务分享选择和/或编辑的相片和/或视频段。在本发明的又一方面，自动编辑和分享模块78允许用户手动编辑照片和/或视频。
参考图45，示出了根据本发明的实施例的用于操作空中系统12的方法M220。在第一步骤220S10中，建立期望的飞行轨迹。一般，飞行轨迹可以由用户从预定义的飞行轨迹中选择(参见上文)。在第二步骤220S12中，检测目标。控制无人机相对于目标的飞行(步骤220S14)并且根据期望的飞行轨迹来调整光学系统26的照相机角度(步骤220S16)，例如以将目标保持在画面中、在画面中的期望的位置中和/或沿画面内的路线。
在第五步骤220S18中，当使无人机控制在期望的飞行轨迹上时，自动捕获照片和/或视频。
在第六步骤220S20中，如果飞行轨迹已经完成，则方法M220结束。否则，控制返回到第三步骤和第五步骤。
参考图46，提供了一种用于控制空中系统12的方法M230。方法M230允许用户从可能的操作列表中选择一种操作并启动飞行事件。基于所选择的期望的操作和飞行事件，方法M230使空中系统12进入飞行模式，使空中系统12移动到指定位置并执行一个或多个预定义动作。一旦完成预定义的动作后，空中系统12可以被放置在取回模式。一旦取回后，空中系统12可以检测待机事件，并在待机模式下操作或放置。
在第一步骤230S10，向用户提供一组预定义的操作。通常，预定义操作可以包括一个模式和至少一个目标。模式可以包括但不限于:(1)拍摄快照，(2)拍摄一系列快照，(3)连同或不连同快照地拍摄一个视频，和(4)连同或不连同一个或多个快照地拍摄一个或多个视频。也可以利用更复杂的操作，例如，在拍摄一个或多个快照和/或视频时自动跟踪目标。每个动作可以立即执行或在时间延迟后执行。视频可以是固定长度的，或可以在预定事件之后终止。在满足预定条件后，例如，人/人脸检测/识别或直到照相机聚焦到目标上，可以拍摄快照和/或视频。目标可以是用户，另一个(或目标)人，或物体或位置。目标人、对象或位置可以是在与飞行事件方向相关方向上的对象(见下文)，或可以用RFID或类似标签标记(见上文)的对象。
在一个实施例中，将预定义的操作集通过用户界面呈现给用户。用户界面可以位于远程设备14上或空中系统12或无人机的主体20上。通常，预定义的操作是预先设定的，但一些操作，例如具有一个以上的目标的更复杂的操作和/或具有一个以上动作的模式，可以由用户定义。
如果用户界面位于空中系统12的主体20上，用户界面可以包括显示屏，该显示屏具有用于浏览一组预定义操作和/或选择一组预定义的操作中的一个操作的又一个按钮。可替代地，触摸屏设备可以用于浏览和/或选择一组预定义操作中的一个操作。在完成操作后，可以在显示屏上预览捕获一个或多个快照和/或一个或多个视频。
参考图47，显示了一个示例性用户界面80。用户界面80嵌入在用户屏幕模块82中，该用户屏幕模块包括显示屏84和一个或多个按钮86。在图示实施例中，屏幕模块82(包括按钮86)装备在空中系统12的主体20上。物理屏幕模块82可以设计和放置在主体20的顶部，底部或侧表面。显示屏84可以是一个LED阵列显示，TFT(薄膜二极管)显示，OLED(有机发光二极管)显示，AMOLED(有源矩阵有机发光二极管)显示，电容式触摸屏，或任何其他屏幕显示。如图所示，显示屏84可以显示可用的操作和当前所选择的无人机操作。在所示出的实施例中，该按钮包括一个向上和向下的按钮86A、86B用于浏览可用的操作。电源按钮86C也可以作为一个选择或功能按钮。
连接系统应用处理器和显示器的接口可以是MIPI显示串行接口(DSI)，显示并行接口(DPI)等，或其他合适的接口。可以利用一个或多个按钮来选择和/或确认飞行模式选择。
屏幕模块82可以包括触摸屏设备。按钮86可以通过实施在触摸屏设备上的类似按钮或功能来取代或补充。可以应用类似单击、多次点击、长按等的事件以解释不同的指令。
在另一实施例中，屏幕也可以由扬声器取代或补充，使得模式选择和确认可以以交互式音频方式实现。在另一实施例中，显示器可以由一个或多个单色或多色LED取代。LED盖的不同组合代表不同的模式选择和/或状态。
回到图46，在第二步骤230S12，检测到飞行事件。飞行事件的检测为空中系统12提供了启动所选择操作的指示。示例性飞行活动包括但不限于：(1)从用户手中释放空中系统12，(2)空中系统12被移动，例如，沿力向量被扔出或抛出，(3)空中系统12已升高到预定阈值以上或(4)其他合适的事件。从图10的特定的步骤100S10开始，上文解释了其他示例和进一步的细节。
在第三步骤230S14中，一旦检测到飞行事件，空中系统12进入飞行模式操作(见上文，特别地在图10的步骤100S12和以下描述)。
在第四步骤230S16中，空中系统12操以作移动到指定的位置。例如，指定的位置可以与用户、目标用户、对象或位置相关。更复杂的操作可以有多个(一个或多个)目标用户、一个或多个对象和/或一个或多个位置。指定的位置还根据飞行事件确定。例如，飞行事件可以有一个相关联的力矢量，即，朝该向量投掷无人机。当检测到飞行事件并且随后操作在飞行模式下时，空中系统12可以利用自定位算法来估计空中系统的12的轨迹。
在一个实施例中，指定的位置可以根据飞行事件确定。例如，不同的初始释放和悬停速度可以解释为不同的距离飞行命令。更快的初始速度(硬投掷)可以解释为“远离目标”的命令。也可以通过使用得到的估计轨迹信息确定飞行方向。当空中系统12前进至指定的位置，它随后会通过调整其偏航方向和照相机万向节控件(如适用)，自动朝着用户或目标定向。
在一个实施例中，使用来自机载惯性测量单元(IMU)的信息来估计空中系统的速度和位置，例如，通过整合来自三轴加速度计的测量结果。在一个小的时间段内(例如0.5到1秒)所获得的轨迹信息随后用于解释来自用户的位置指令。
在另一实施例中，搭载基于视觉的定位系统以估计空中系统的轨迹。该基于视觉的定位系统的传感器可以包括但不限于：一个单视相机系统，具有一个或多个惯性测量装置的单视相机系统，立体视觉照相系统，带有一个或多个惯性测量装置的立体视觉摄像机系统等。光流分类算法、实时定位与建图(SLAM)和视觉里程计(VO)可用于估计空中系统的位置和轨迹。在一个优选实施例中，使用视觉惯性定位系统。该系统包括一个广角全局快门照相机，惯性测量装置(IMU)、用于执行VIO算法的处理器。优选地，惯性测量装置和一个或多个照相机刚性地安装在空中系统的机身上。相机可以向下、向前或45度角安装向下安装。详细的视觉惯性测距算法可以被称为国家最先进的技术，诸如VIO和VIN等。
在另一个实施例中，空中系统12首先将其自身稳定在空中，并且然后通过指定的路线飞到指定的位置(见上述内容)。
在第五步骤230S18中，执行所选择的操作的一个或多个预定动作(见上述内容)。需要注意的是，所述一个或多个动作中的一个或多个可以在第四步骤230S16之前发生，例如，在空中系统达到指定位置前(例如，空中系统12朝着指定位置移动时)可以拍摄快照和/或视频。
在第六步骤230S20，在操作完成后(例如完成所有动作、超时或用户中断)，启动取回过程或模式(见上述内容)。在一个实施例中，空中系统12自动悬停并向下移动到用户可达到的便于抓回的高度。在另一个实施例中，空中系统12利用历史轨迹信息或以在线方式利用视觉信息重新计算所需的轨迹，检测空中系统12和用户之间的相对位置，然后飞回至用户。
一旦取回过程完成后，在第七步骤230S22检测待机事件，然后在第八步骤230S24，空中系统12处于待机模式。
上述方法M230参考图46讨论，提供一种方法，使得用户更容易地使无人机到达期望的位置，并且提供了在空中系统12上使用按钮/屏幕/触摸屏的更简单、更直接的用户交互。由于用户选择所需的操作、空中系统12处理剩余的操作，缩短了无人机定位到期望的位置并执行预定义的动作所需的时间，且无需手动用户控制。
尽管为了简明而省略，但是优选的实施例包括各种系统组件和各种方法过程的每种组合和排列，其中方法过程可以以任何合适的顺序顺序地或并发地执行。
如本领域技术人员将从之前的详细描述以及从附图和权利要求中认识到的，在不脱离以下权利要求中限定的本发明的范围的情况下，可以对本发明的优选实施例进行修改和改变。
Claims (28)
1.一种空中系统，所述空中系统包括：
主体；
耦接至主体的提升机构；
通过致动系统能够控制地安装至主体的光学系统；和
耦接至所述提升机构、所述光学系统和所述致动系统的处理系统，所述处理系统配置为：
提供用户界面以允许用户选择要执行的操作；
检测飞行事件；
控制空中系统以移动至由所选择的操作定义的指定的位置；
执行由所选择的操作定义的预定义的动作；
当所述预定义的动作已完成时，在取回模式下操作所述空中系统；
检测待机事件；并且
响应于检测所述待机事件，在待机模式下操作所述空中系统。
2.如权利要求1所述的空中系统，其中所述用户界面是使用下列各项中的一个或多个实施的：显示在显示器上的菜单、触摸屏设备和/或一个或多个按钮。
3.如权利要求2所述的空中系统，其中所述用户界面安装在所述主体上。
4.如权利要求2所述的空中系统，其中所述用户界面在远程设备上提供，所述远程设备配置为将所述用户界面上的与用户输入相关的数据发送到所述处理系统。
5.如权利要求1所述的空中系统，控制所述空中系统以移动至指定的位置的所述处理系统进一步配置为建立期望的飞行轨迹、检测目标并且控制所述空中系统根据相对于目标的期望的轨迹使用所述提升机构的飞行。
6.如权利要求5所述的空中系统，其中所述期望的飞行轨迹是在所选择的操作中定义的。
7.如权利要求6所述的空中系统，其中所述期望的飞行轨迹是相对于目标的位置定义的。
8.如权利要求5所述的空中系统，其中所述处理系统配置为检测初始释放速度并且根据所检测的初始释放速度响应地建立距离行进命令。
9.如权利要求5所述的空中系统，其中所述处理系统配置为检测初始轨迹并且响应地建立要行进的方向。
10.如权利要求5所述的空中系统，其中所述处理系统配置为检测初始释放速度以及根据所检测的初始释放速度响应地建立距离行进命令，并且所述处理系统配置为检测初始轨迹以及响应地建立要行进的方向。
11.如权利要求10所述的空中系统，其中所述处理系统配置为根据距离行进命令和初始轨迹，建立空中系统相对于目标的期望的位置。
12.如权利要求11所述的空中系统，其中所述处理系统进一步配置为控制所述空中系统以行进至所述期望的位置并且将所述空中系统朝向目标定向。
13.如权利要求1所述的空中系统，其中所述预定义的动作包括下列各项中的至少一个：(1)在没有用户与任何设备之间的任何交互的情况下，利用照片中的目标自动修改照相机角度和飞行轨迹；(2)在没有用户与任何设备之间的任何交互的情况下，自动拍摄相片或记录视频；以及(3)从原始相片/视频素材中自动选择好的相片和/或视频剪辑候选以用于进一步的用户编辑或自动编辑过程。
14.如权利要求13所述的空中系统，其中执行自动拍摄相片或记录视频的步骤的所述处理系统能够执行下列各项中的一个或多个：(1)拍摄快照，(2)拍摄一系列快照，(3)连同或不连同一个或多个快照地拍摄一个视频，以及(4)连同或不连同一个或多个快照地拍摄一个或多个视频。
15.一种用于控制空中系统的方法，所述方法包括：
提供用户界面；
允许用户选择要执行的操作；
检测飞行事件；
控制空中系统以移动至由所选择的操作定义的指定的位置；
执行由所选择的操作定义的预定义的动作；
当所述预定义的动作已完成时，在取回模式下操作所述空中系统；
检测待机事件；以及
响应于检测所述待机事件在待机模式下操作所述空中系统。
16.如权利要求15所述的方法，其中所述用户界面是使用下列各项中的一个或多个实施的：显示在显示器上的菜单、触摸屏设备和/或一个或多个按钮。
17.如权利要求16所述的方法，其中在所述主体上安装所述用户界面。
18.如权利要求16所述的方法，其中在远程设备上提供所述用户界面，所述方法包括与在将用户界面上的用户输入相关的数据从所述远程设备发送到所述处理系统的步骤。
19.如权利要求15所述的方法，控制所述空中系统以移动至指定的位置的步骤包括建立期望的飞行轨迹、检测目标并且控制所述空中系统根据相对于目标的期望的轨迹使用所述提升机构的飞行的步骤。
20.如权利要求19所述的方法，其中在所选择的操作中定义所述期望的飞行轨迹。
21.如权利要求20所述的方法，其中相对于目标的位置定义所述期望的飞行轨迹。
22.如权利要求19所述的方法，所述方法包括检测初始释放速度以及根据所检测的初始释放速度响应地建立距离行进命令的步骤。
23.如权利要求19所述的方法，所述方法包括检测初始轨迹以及响应地建立要行进的方向的步骤。
24.如权利要求19所述的方法，所述方法包括检测初始释放速度以及根据所检测的初始释放速度响应地建立距离行进命令的步骤，和检测初始轨迹以及响应地建立要行进的方向的步骤。
25.如权利要求24所述的方法，所述方法包括根据距离行进命令和初始轨迹建立空中系统相对于目标的期望的位置的步骤。
26.如权利要求25所述的方法，所述方法包括控制所述空中系统以行进至所述期望的位置以及将所述空中系统朝向目标定向的步骤。
27.如权利要求15所述的方法，其中所述预定义的动作包括下列各项中的至少一个：(1)在没有用户与任何设备之间的任何交互的情况下，利用照片中的目标自动修改照相机角度和飞行轨迹；(2)在没有用户与任何设备之间的任何交互的情况下，自动拍摄相片或记录视频；以及(3)从原始相片/视频素材中自动选择相片或视频剪辑的好的候选用于进一步的用户编辑或自动编辑过程。
28.如权利要求27所述的方法，其中自动拍摄相片或记录视频的步骤包括下列各项中的一个或多个：(1)拍摄快照，(2)拍摄一系列快照，(3)连同或不连同一个或多个快照地拍摄一个视频，以及(4)连同或不连同一个或多个快照地拍摄一个或多个视频。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762515400P | 2017-06-05 | 2017-06-05 | |
| US62/515,400 | 2017-06-05 | ||
| US15/658,572 US10168704B2 (en) | 2017-06-05 | 2017-07-25 | System and method for providing easy-to-use release and auto-positioning for drone applications |
| US15/658,572 | 2017-07-25 | ||
| PCT/IB2018/053947 WO2018224933A1 (en) | 2017-06-05 | 2018-06-01 | System and method for providing easy-to-use release and auto-positioning for drone applications |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110692027A true CN110692027A (zh) | 2020-01-14 |
| CN110692027B CN110692027B (zh) | 2022-11-22 |
Family
ID=64458275
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880036540.1A Active CN110692027B (zh) | 2017-06-05 | 2018-06-01 | 用于提供无人机应用的易用的释放和自动定位的系统和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (3) | US10168704B2 (zh) |
| CN (1) | CN110692027B (zh) |
| WO (1) | WO2018224933A1 (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112131121A (zh) * | 2020-09-27 | 2020-12-25 | 腾讯科技（深圳）有限公司 | 用户界面的模糊检测方法、装置、电子设备和存储介质 |
| CN112562052A (zh) * | 2020-12-03 | 2021-03-26 | 广东工业大学 | 一种面向近岸水域的实时定位与建图方法 |
| WO2022141369A1 (en) * | 2020-12-31 | 2022-07-07 | SZ DJI Technology Co., Ltd. | Systems and methods for supporting automatic video capture and video editing |
| CN114884525A (zh) * | 2022-07-08 | 2022-08-09 | 航大防务(海南)科技有限公司 | 一种用于ads-b航空系统的定位方法 |
| TWI818447B (zh) * | 2022-02-24 | 2023-10-11 | 英屬維爾京群島商飛思捷投資股份有限公司 | 具自動飛行功能的無人機 |
Families Citing this family (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6408832B2 (ja) * | 2014-08-27 | 2018-10-17 | ルネサスエレクトロニクス株式会社 | 制御システム、中継装置、及び制御方法 |
| JP6650738B2 (ja) * | 2015-11-28 | 2020-02-19 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法及びプログラム |
| JP6988146B2 (ja) * | 2016-05-25 | 2022-01-05 | ソニーグループ株式会社 | 演算処理装置及び演算処理方法 |
| US20180186472A1 (en) * | 2016-12-30 | 2018-07-05 | Airmada Technology Inc. | Method and apparatus for an unmanned aerial vehicle with a 360-degree camera system |
| US10168704B2 (en) | 2017-06-05 | 2019-01-01 | Hanzhou Zero Zero Technology Co., Ltd. | System and method for providing easy-to-use release and auto-positioning for drone applications |
| JP7013689B2 (ja) * | 2017-06-21 | 2022-02-01 | 富士フイルムビジネスイノベーション株式会社 | 遠隔操作型移動ロボットおよびロボット制御システム |
| CN110891862B (zh) | 2017-08-10 | 2023-07-11 | 深圳零零无限科技有限公司 | 飞行系统中用于避障的系统和方法 |
| US10372298B2 (en) | 2017-09-29 | 2019-08-06 | Apple Inc. | User interface for multi-user communication session |
| US10592784B2 (en) * | 2018-02-20 | 2020-03-17 | GM Global Technology Operations LLC | Detection based on fusion of multiple sensors |
| US10776939B2 (en) * | 2018-04-03 | 2020-09-15 | Altumview Systems Inc. | Obstacle avoidance system based on embedded stereo vision for unmanned aerial vehicles |
| DK180130B1 (da) | 2018-05-07 | 2020-06-02 | Apple Inc. | Multi-participant live communication user interface |
| WO2020040105A1 (ja) * | 2018-08-22 | 2020-02-27 | 日本電気株式会社 | 選定装置、選定方法及び選定プログラム |
| US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US11693423B2 (en) * | 2018-12-19 | 2023-07-04 | Waymo Llc | Model for excluding vehicle from sensor field of view |
| CN110135645B (zh) * | 2019-05-16 | 2022-06-28 | 电子科技大学 | 架空输电线路全光纤动静态监测和趋势预测系统及方法 |
| US11786694B2 (en) | 2019-05-24 | 2023-10-17 | NeuroLight, Inc. | Device, method, and app for facilitating sleep |
| US11958183B2 (en) | 2019-09-19 | 2024-04-16 | The Research Foundation For The State University Of New York | Negotiation-based human-robot collaboration via augmented reality |
| KR102242208B1 (ko) * | 2019-09-23 | 2021-04-20 | (주)하이텍알씨디코리아 | 드론 제어 시스템 및 그 방법 |
| WO2021201961A2 (en) * | 2020-02-03 | 2021-10-07 | Kymatics, Llc | Rotor active stability control |
| USD944117S1 (en) * | 2020-03-16 | 2022-02-22 | Zero Zero Robotics Inc. | Unmanned aerial vehicle |
| USD943457S1 (en) * | 2020-03-16 | 2022-02-15 | Zero Zero Robotics Inc. | Unmanned aerial vehicle |
| DK3890300T3 (da) | 2020-04-03 | 2023-05-01 | Uav Autosystems Hovering Solutions Espana S L | Selvdrevet fartøj |
| US11513667B2 (en) | 2020-05-11 | 2022-11-29 | Apple Inc. | User interface for audio message |
| CN111855816B (zh) * | 2020-06-15 | 2023-06-13 | 内蒙古工业大学 | 一种综合概率模型和cnn网络的风叶故障识别方法 |
| FR3112120B1 (fr) * | 2020-07-02 | 2022-09-09 | Parrot Drones | Ensemble de capture d'image et de detection d'obstacle destine a ëtre monte sur une plateforme telle qu'un drone et drone muni d'un tel ensemble de capture d'image et de detection d'obstacle |
| US20220034934A1 (en) * | 2020-07-29 | 2022-02-03 | Harman International Industries, Incorporated | Roll effect correction for optical sensor |
| US20220084136A1 (en) * | 2020-09-17 | 2022-03-17 | Laura Leigh Donovan | Personal communication drones |
| US20230399124A1 (en) * | 2020-10-28 | 2023-12-14 | The Regents Of The University Of California | Design methods and motion control algorithms for impact-resilient mobile robots |
| CN112435301A (zh) * | 2020-11-18 | 2021-03-02 | 中国科学院上海技术物理研究所 | 一种基于恒星轨迹的遥感相机在轨几何定标方法 |
| US11431891B2 (en) | 2021-01-31 | 2022-08-30 | Apple Inc. | User interfaces for wide angle video conference |
| US20220311860A1 (en) * | 2021-03-15 | 2022-09-29 | Casio Computer Co., Ltd. | Information processing apparatus, storage medium, and information communication method |
| JP2022154264A (ja) * | 2021-03-30 | 2022-10-13 | キヤノン株式会社 | 撮像装置、画像処理装置、移動装置、制御方法およびコンピュータプログラム |
| US11893214B2 (en) | 2021-05-15 | 2024-02-06 | Apple Inc. | Real-time communication user interface |
| US11449188B1 (en) | 2021-05-15 | 2022-09-20 | Apple Inc. | Shared-content session user interfaces |
| US11907605B2 (en) | 2021-05-15 | 2024-02-20 | Apple Inc. | Shared-content session user interfaces |
| US11770600B2 (en) | 2021-09-24 | 2023-09-26 | Apple Inc. | Wide angle video conference |
| WO2023149963A1 (en) | 2022-02-01 | 2023-08-10 | Landscan Llc | Systems and methods for multispectral landscape mapping |
| WO2023211616A1 (en) * | 2022-04-27 | 2023-11-02 | Snap Inc. | Editing video captured by electronic devices using associated flight path information |
| WO2023211690A1 (en) * | 2022-04-27 | 2023-11-02 | Snap Inc. | Landing an autonomous drone with gestures |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101065980A (zh) * | 2004-09-30 | 2007-10-31 | 思玛威公司 | 无线视频监视系统和方法 |
| US20100292871A1 (en) * | 2009-03-26 | 2010-11-18 | The University Of North Dakota | Adaptive surveillance and guidance system for vehicle collision avoidance and interception |
| CN104991561A (zh) * | 2015-08-10 | 2015-10-21 | 北京零零无限科技有限公司 | 一种手持无人机回收的方法、装置及无人机 |
| CN105151303A (zh) * | 2015-08-06 | 2015-12-16 | 张子林 | 一种无人机投送装置及方法 |
| CN105242684A (zh) * | 2015-10-15 | 2016-01-13 | 杨珊珊 | 一种伴随拍摄飞行器的无人机航拍系统及方法 |
| CN105391939A (zh) * | 2015-11-04 | 2016-03-09 | 腾讯科技（深圳）有限公司 | 无人机拍摄控制方法和装置、无人机拍摄方法和无人机 |
| CN105549604A (zh) * | 2015-12-10 | 2016-05-04 | 腾讯科技（深圳）有限公司 | 飞行器操控方法和装置 |
| US20160124435A1 (en) * | 2014-10-29 | 2016-05-05 | Lyle Thompson | 3d scanning and imaging method utilizing a self-actuating compact unmanned aerial device |
| CN105599900A (zh) * | 2016-01-20 | 2016-05-25 | 清华大学合肥公共安全研究院 | 基于多旋翼无人机的荷载低空定位投掷方法 |
| US20160194079A1 (en) * | 2015-01-02 | 2016-07-07 | Squadrone System | Method of automatically piloting a rotary-wing drone for performing camera movements with an onboard camera |
| US20160307449A1 (en) * | 2015-04-15 | 2016-10-20 | International Business Machines Corporation | Autonomous drone service system |
| US20170103659A1 (en) * | 2015-10-10 | 2017-04-13 | Xin Jin | Method and system for implementing and enforcing a no-fly zone or prohibitive zone for drones and unmanned vehicles |
| CN106708089A (zh) * | 2016-12-20 | 2017-05-24 | 北京小米移动软件有限公司 | 跟随式的飞行控制方法及装置、无人机 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9629220B2 (en) * | 2013-08-05 | 2017-04-18 | Peter Panopoulos | Sensor-based controllable LED lighting system with repositionable components and method |
| FR3012598B1 (fr) * | 2013-10-25 | 2016-02-26 | Thales Sa | Procede et systeme de gestion de vol |
| FR3025114A1 (fr) * | 2014-08-26 | 2016-03-04 | Parrot | Procede de controle dynamique en depart lance d'un drone a voilure tournante |
| US10370122B2 (en) * | 2015-01-18 | 2019-08-06 | Foundation Productions, Llc | Apparatus, systems and methods for unmanned aerial vehicles |
| US20170197731A1 (en) * | 2016-01-08 | 2017-07-13 | ZEROTECH (Shenzhen) Intelligence Robot Co., Ltd. | Method and apparatus for hand launching unmanned aerial vehicle |
| US10059447B2 (en) * | 2016-04-11 | 2018-08-28 | ZEROTECH (Chongqing) Intelligence Technology Co., Ltd. | Method an apparatus for controlling unmanned aerial vehicle |
| CN105843241A (zh) * | 2016-04-11 | 2016-08-10 | 零度智控（北京）智能科技有限公司 | 无人机、无人机起飞控制方法及装置 |
| CN106094857A (zh) * | 2016-08-22 | 2016-11-09 | 京东方科技集团股份有限公司 | 无人机、穿戴设备及无人机的飞行控制方法、装置 |
| CN108780326A (zh) * | 2017-03-21 | 2018-11-09 | 深圳市大疆创新科技有限公司 | 控制方法和无人机 |
| CN108475072A (zh) * | 2017-04-28 | 2018-08-31 | 深圳市大疆创新科技有限公司 | 一种跟踪控制方法、装置及飞行器 |
| US10168704B2 (en) * | 2017-06-05 | 2019-01-01 | Hanzhou Zero Zero Technology Co., Ltd. | System and method for providing easy-to-use release and auto-positioning for drone applications |
| WO2019006697A1 (en) * | 2017-07-05 | 2019-01-10 | SZ DJI Technology Co., Ltd. | AERIAL VEHICLE WITHOUT PORTABLE INTEGRATED PILOT |
-
2017
- 2017-07-25 US US15/658,572 patent/US10168704B2/en active Active
-
2018
- 2018-06-01 WO PCT/IB2018/053947 patent/WO2018224933A1/en active Application Filing
- 2018-06-01 CN CN201880036540.1A patent/CN110692027B/zh active Active
- 2018-11-15 US US16/192,151 patent/US10969784B2/en active Active
-
2021
- 2021-02-18 US US17/178,337 patent/US11914370B2/en active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101065980A (zh) * | 2004-09-30 | 2007-10-31 | 思玛威公司 | 无线视频监视系统和方法 |
| US20100292871A1 (en) * | 2009-03-26 | 2010-11-18 | The University Of North Dakota | Adaptive surveillance and guidance system for vehicle collision avoidance and interception |
| US20160124435A1 (en) * | 2014-10-29 | 2016-05-05 | Lyle Thompson | 3d scanning and imaging method utilizing a self-actuating compact unmanned aerial device |
| US20160194079A1 (en) * | 2015-01-02 | 2016-07-07 | Squadrone System | Method of automatically piloting a rotary-wing drone for performing camera movements with an onboard camera |
| US20160307449A1 (en) * | 2015-04-15 | 2016-10-20 | International Business Machines Corporation | Autonomous drone service system |
| CN105151303A (zh) * | 2015-08-06 | 2015-12-16 | 张子林 | 一种无人机投送装置及方法 |
| CN104991561A (zh) * | 2015-08-10 | 2015-10-21 | 北京零零无限科技有限公司 | 一种手持无人机回收的方法、装置及无人机 |
| US20170103659A1 (en) * | 2015-10-10 | 2017-04-13 | Xin Jin | Method and system for implementing and enforcing a no-fly zone or prohibitive zone for drones and unmanned vehicles |
| CN105242684A (zh) * | 2015-10-15 | 2016-01-13 | 杨珊珊 | 一种伴随拍摄飞行器的无人机航拍系统及方法 |
| CN105391939A (zh) * | 2015-11-04 | 2016-03-09 | 腾讯科技（深圳）有限公司 | 无人机拍摄控制方法和装置、无人机拍摄方法和无人机 |
| CN105549604A (zh) * | 2015-12-10 | 2016-05-04 | 腾讯科技（深圳）有限公司 | 飞行器操控方法和装置 |
| CN105599900A (zh) * | 2016-01-20 | 2016-05-25 | 清华大学合肥公共安全研究院 | 基于多旋翼无人机的荷载低空定位投掷方法 |
| CN106708089A (zh) * | 2016-12-20 | 2017-05-24 | 北京小米移动软件有限公司 | 跟随式的飞行控制方法及装置、无人机 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112131121A (zh) * | 2020-09-27 | 2020-12-25 | 腾讯科技（深圳）有限公司 | 用户界面的模糊检测方法、装置、电子设备和存储介质 |
| CN112562052A (zh) * | 2020-12-03 | 2021-03-26 | 广东工业大学 | 一种面向近岸水域的实时定位与建图方法 |
| WO2022141369A1 (en) * | 2020-12-31 | 2022-07-07 | SZ DJI Technology Co., Ltd. | Systems and methods for supporting automatic video capture and video editing |
| TWI818447B (zh) * | 2022-02-24 | 2023-10-11 | 英屬維爾京群島商飛思捷投資股份有限公司 | 具自動飛行功能的無人機 |
| CN114884525A (zh) * | 2022-07-08 | 2022-08-09 | 航大防务(海南)科技有限公司 | 一种用于ads-b航空系统的定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20190086919A1 (en) | 2019-03-21 |
| US10168704B2 (en) | 2019-01-01 |
| WO2018224933A4 (en) | 2019-02-07 |
| US20180348764A1 (en) | 2018-12-06 |
| US11914370B2 (en) | 2024-02-27 |
| US20210173396A1 (en) | 2021-06-10 |
| CN110692027B (zh) | 2022-11-22 |
| US10969784B2 (en) | 2021-04-06 |
| WO2018224933A1 (en) | 2018-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110692027B (zh) | 用于提供无人机应用的易用的释放和自动定位的系统和方法 | |
| CN110687902B (zh) | 用于免控制器式用户无人机交互的系统和方法 | |
| CN110494360B (zh) | 用于提供自主摄影及摄像的系统和方法 | |
| US10824149B2 (en) | System and method for automated aerial system operation | |
| CN111596649B (zh) | 用于空中系统的单手远程控制设备 | |
| US20200346753A1 (en) | Uav control method, device and uav | |
| CN110733624B (zh) | 无人驾驶飞行系统和用于无人驾驶飞行系统的控制系统 | |
| JP6324649B1 (ja) | 検出システム、検出方法、及びプログラム | |
| CN110615095B (zh) | 手持遥控装置和飞行系统套件 | |
| KR20170019777A (ko) | 플라잉 봇의 촬영 제어 장치 및 그 제어방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 311121 Room 401, 4th floor, building 2, Wudi center, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province Applicant after: HANGZHOU ZERO ZERO TECHNOLOGY Co.,Ltd. Address before: 310000 building 13, 1399 liangmu Road, Cangqian street, Yuhang District, Hangzhou City, Zhejiang Province Applicant before: HANGZHOU ZERO ZERO TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |