CN109479119A - Uav交互视频广播的系统与方法 - Google Patents
Uav交互视频广播的系统与方法 Download PDFInfo
- Publication number
- CN109479119A CN109479119A CN201680087613.0A CN201680087613A CN109479119A CN 109479119 A CN109479119 A CN 109479119A CN 201680087613 A CN201680087613 A CN 201680087613A CN 109479119 A CN109479119 A CN 109479119A
- Authority
- CN
- China
- Prior art keywords
- uav
- user
- initiator
- video
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 110
- 230000002452 interceptive effect Effects 0.000 title claims description 18
- 239000003999 initiator Substances 0.000 claims abstract description 273
- 238000004891 communication Methods 0.000 claims description 177
- 230000033228 biological regulation Effects 0.000 claims description 142
- 230000007613 environmental effect Effects 0.000 claims description 73
- 230000033001 locomotion Effects 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 43
- 230000005540 biological transmission Effects 0.000 claims description 31
- 230000003190 augmentative effect Effects 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 11
- 238000005755 formation reaction Methods 0.000 claims description 11
- 238000004080 punching Methods 0.000 claims 3
- 238000009826 distribution Methods 0.000 description 54
- 238000003384 imaging method Methods 0.000 description 31
- 230000008859 change Effects 0.000 description 29
- 230000001133 acceleration Effects 0.000 description 27
- 230000000007 visual effect Effects 0.000 description 27
- 230000001105 regulatory effect Effects 0.000 description 25
- 230000007246 mechanism Effects 0.000 description 20
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 17
- 230000004888 barrier function Effects 0.000 description 16
- 230000001276 controlling effect Effects 0.000 description 14
- 230000001141 propulsive effect Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000012795 verification Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 9
- 230000003068 static effect Effects 0.000 description 9
- 230000005611 electricity Effects 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 8
- 230000000644 propagated effect Effects 0.000 description 7
- 230000004044 response Effects 0.000 description 7
- 238000002604 ultrasonography Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000005096 rolling process Methods 0.000 description 5
- 238000003860 storage Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013475 authorization Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000001788 irregular Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000002265 prevention Effects 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 241000209094 Oryza Species 0.000 description 3
- 235000007164 Oryza sativa Nutrition 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 239000000969 carrier Substances 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 238000001556 precipitation Methods 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 235000009566 rice Nutrition 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000010977 unit operation Methods 0.000 description 3
- 101100172132 Mus musculus Eif3a gene Proteins 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000007654 immersion Methods 0.000 description 2
- 230000003447 ipsilateral effect Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000005036 potential barrier Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- PLXMOAALOJOTIY-FPTXNFDTSA-N Aesculin Natural products OC[C@@H]1[C@@H](O)[C@H](O)[C@@H](O)[C@H](O)[C@H]1Oc2cc3C=CC(=O)Oc3cc2O PLXMOAALOJOTIY-FPTXNFDTSA-N 0.000 description 1
- 241001522296 Erithacus rubecula Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000000571 coke Substances 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000004035 construction material Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000002542 deteriorative effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 229910052738 indium Inorganic materials 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000000979 retarding effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- GOLXNESZZPUPJE-UHFFFAOYSA-N spiromesifen Chemical compound CC1=CC(C)=CC(C)=C1C(C(O1)=O)=C(OC(=O)CC(C)(C)C)C11CCCC1 GOLXNESZZPUPJE-UHFFFAOYSA-N 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
- H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/20—Vertical take-off and landing [VTOL] aircraft
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/20—UAVs specially adapted for particular uses or applications for use as communications relays, e.g. high-altitude platforms
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/20—UAVs specially adapted for particular uses or applications for use as communications relays, e.g. high-altitude platforms
- B64U2101/24—UAVs specially adapted for particular uses or applications for use as communications relays, e.g. high-altitude platforms for use as flying displays, e.g. advertising or billboards
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
- B64U2201/102—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] adapted for flying in formations
Abstract
本公开提供了用于UAV视频广播的系统、方法和设备。所述用于视频广播的方法可以包括：从广播端接收广播数据，其中所述广播数据包括由多个无人机(UAV)收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信；接收来自收看端的用户输入，其中所述用户输入包括被配置为与广播端进行交互的一个或多个指令；处理来自收看端的用户输入；以及将经处理的用户输入发送到广播端以在广播端调整视频广播。
Description
背景技术
诸如无人机(UAV)的飞行器具有多种实际应用，包括监控、侦查、勘探，物流运输、救灾、航拍、大型农业自动化等。在一些情况下，携带搭载物(例如，摄像机)的UAV可以用于从航空影像中捕获视频。来自UAV的直播视频可以被流传播或广播到一个或多个观众。然而，观众通常没有与UAV进行交互并改变视频(例如，改变捕获视频的视角)的选项。目前UAV直播视频广播系统中缺乏交互式选项会降低观众体验，并减少UAV在某些应用中的实用性。
发明内容
需要一种系统和方法，能够(1)管理向多个观众广播来自多台UAV的直播视频，(2)在UAV直播视频广播期间提供交互式且沉浸式的观看者体验，以及(3)调节观众与UAV的交互，使得可以以安全的方式操作UAV。本发明也解决了这个需要，还提供了相关优点。
根据本发明的一个方面，提供了一种用于视频广播的方法。所述方法包括：从广播端接收广播数据，其中所述广播数据包括由多个无人机(UAV)收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信；接收来自收看端的用户输入，其中所述用户输入包括被配置为与广播端进行交互的一个或多个指令；处理来自收看端的用户输入；以及将经处理的用户输入发送到广播端以在广播端调整视频广播。
本发明的另一方面提供了一种用于视频广播的系统。所述系统包括控制中心，所述控制中心包括单独地或共同地被配置为执行以下操作的一个或多个服务器：从广播端接收广播数据，其中所述广播数据包括由多个无人机(UAV)收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信；接收来自收看端的用户输入，其中所述用户输入包括被配置为与广播端进行交互的一个或多个指令；处理来自收看端的用户输入；以及将经处理的用户输入发送到广播端以在广播端调整视频广播。
在本发明的另一方面，提供了一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使一个或多个处理器执行用于视频广播的方法。所述由一个或多个处理器执行的方法包括：从广播端接收广播数据，其中所述广播数据包括由多个无人机(UAV)收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信；接收来自收看端的用户输入，其中所述用户输入包括被配置为与广播端进行交互的一个或多个指令；处理来自收看端的用户输入；以及将经处理的用户输入发送到广播端以在广播端调整视频广播。
根据本发明的另一方面，提供了一种用于视频广播的方法。所述方法包括：从广播端接收广播数据，其中所述广播数据包括由多个无人机(UAV)收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信；在收看端检测用户输入，其中所述用户输入包括被配置为与广播端进行交互的一个或多个指令；以及将用户输入发送到广播端以在广播端调整视频广播。
本发明的另一方面提供了一种用于交互式视频广播的系统。所述系统包括收看端，所述收看端包括单独地或共同地被配置为执行以下操作的一个或多个处理器：从广播端接收广播数据，其中所述广播数据包括由多个无人机(UAV)收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信；在收看端检测用户输入，其中所述用户输入包括被配置为与广播端进行交互的一个或多个指令；以及将用户输入发送到广播端以在广播端调整视频广播。
在本发明的另一方面，提供了一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使一个或多个处理器执行用于交互式视频广播的方法。所述方法包括：从广播端接收广播数据，其中所述广播数据包括由多个无人机(UAV)收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信；在收看端检测用户输入，其中所述用户输入包括被配置为与广播端进行交互的一个或多个指令；以及将用户输入发送到广播端以在广播端调整视频广播。
根据本发明的另一方面，提供了一种用于视频广播的方法。所述由一个或多个处理器执行的方法包括：在广播端接收来自收看端的用户输入，其中所述用户输入包括用于与广播端进行交互的一个或多个指令；在广播端处理接收的来自收看端的用户输入；以及基于经处理的用户输入，在广播端处准备广播数据，其中所述广播数据包括由多个无人机(UAV)收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信。
本发明的另一方面提供了一种用于交互式视频广播的系统。所述系统包括广播端，所述广播端包括被单独地或共同地被配置为执行以下操作的一个或多个处理器：接收来自收看端的用户输入，其中所述用户输入包括用于与所述广播端进行交互的一个或多个指令；处理接收的来自收看端的用户输入；以及基于经处理的用户输入来准备广播数据，其中所述广播数据包括由多个无人机(UAV)收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信。
在本发明的另一方面，提供了一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使一个或多个处理器执行用于视频广播的方法。所述由一个或多个处理器执行的方法包括：在广播端接收来自收看端的用户输入，其中所述用户输入包括用于与所述广播端进行交互的一个或多个指令；处理接收的来自收看端的用户输入；以及基于经处理的用户输入，在广播端处准备广播数据，其中所述广播数据包括由多个无人机(UAV)收集的视频数据，其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信。
在一些实施例中，协调的方式可以包括分散式群配置(decentralized swarmconfiguration)，其中UAV被配置为自主地操作。每个UAV可以被配置为部分地使用经由每个UAV上的环境感测系统收集的环境信息来自主地操作。每个UAV可以被配置为部分地基于相邻UAV的信息自主地操作，其中该信息可以包括相邻UAV上的摄像机的位置和朝向。在一些实施例中，一个或多个地面站可以被配置为控制UAV以协调的方式操作。
在一些实施例中，协调的方式可以包括主从配置，其中主UAV被配置为控制一个或多个从UAV。主UAV可以被配置为控制从UAV的起飞和着陆。主UAV可以被配置为控制每个从UAV上的摄像机的朝向，且其中所述摄像机被配置为收集视频数据。主UAV可以被配置为控制每个从UAV的飞行路径。
在一些实施例中，当发生一个或多个阻止主UAV控制从UAV的条件时，可以从主UAV向地面站或备用UAV发送对从UAV的控制。所述一个或多个条件可以包括：(1)主UAV和从UAV之间的通信丢失；和/或(2)主UAV的一个或多个组件发生故障或损坏。
在一些实施例中，处理来自收看端的用户输入可以包括确定用户输入是否包括用于控制UAV的冲突的指令。在一些情况下，可以基于与每个用户相关联的优先级来解决所述冲突的指令。可以基于与每个用户相关联的投票数来解决所述冲突的指令。
在一些实施例中，处理来自收看端的用户输入包括确定用户输入是否满足操作条件。所述操作条件可以包括以下项中的一项或多项：(i)收看端处每个用户的许可级别，(ii)对UAV施加的飞行规定，或(iii)UAV操作的环境条件。在一些情况下，处理用户输入还可以包括修改用户输入以满足操作条件。
在一些实施例中，该方法还可以包括：处理从广播端接收的广播数据以生成以下项中的至少一个：增强现实(AR)/虚拟现实(VR)数据、3-D数据、地图、图形用户界面(GUI)和/或与视频数据相关联的节目列表。节目列表可以包括对应于正在向收看端广播视频数据的不同频道的收看节目列表。
在一些实施例中，该方法还可以包括：从广播端接收广播请求，并基于广播端处的一个或多个操作参数来处理广播请求。操作参数可以包括(1)与一个或多个UAV的操作相关联的第一组参数，以及(2)与一个或多个UAV被配置为操作的环境相关联的第二组参数。第一组参数可以包括(1)UAV的运动路径，(2)要广播的视频数据的类型，(3)UAV广播的许可级别，或其任意组合。第二组参数可以包括广播端处的环境条件。
在一些实施例中，该方法还可以包括：从广播端接收终止请求，并处理所述终止请求。处理所述终止请求可以包括：向所述一个或多个收看端提供终止消息，其中所述终止消息指示在一个或多个频道上对视频数据的传输的终止。在一些实施例中，该方法还可以包括：通过使一个或多个频道可用于正从另一广播端发送的视频数据，来循环利用所述一个或多个频道。
在一些实施例中，收看端可以包括移动设备或头戴式显示器(HMD)。收看端可以被配置为从一个或多个用户接收不同类型的输入。不同类型的用户输入可以包括对广播端处的一个或多个UAV的语音控制、运动控制和/或触摸(触觉)控制。收看端可以被配置为在增强现实(AR)或虚拟现实(VR)环境中显示视频数据。
在一些实施例中，准备广播数据可以包括生成以下至少一项：增强现实(AR)/虚拟现实(VR)数据、3-D数据、地图、图形用户界面(GUI)和/或与视频数据相关联的节目列表。在一些情况下，准备广播数据可以包括基于经处理的用户输入来控制所述多个UAV。所述多个UAV可以被控制以不同队形移动以从不同的视点收集视频数据。
应当理解，可以单独地、共同地或彼此组合地理解本发明的不同方面。本文描述的本发明的各个方面可以应用于下面列出的任何特定应用或任何其它类型的可移动对象。本文对飞行器的任何描述可以应用于且用于任何可移动对象，例如，任何飞行器。此外，本文在空中运动(例如，飞行)的背景下公开的系统、装置和方法也可以应用于其他类型运动的背景下，例如，地面或水上的运动、水下运动或太空中的运动。
通过阅读说明书、权利要求书和附图，本发明的其它目的和特征将变得显而易见。
通过引用并入
本说明书中提到的所有出版物、专利和专利申请通过引用并入本文，其程度如同每个单独的出版物、专利或专利申请被明确且单独地指示通过引用并入。
附图说明
本发明的新颖特征具体阐述在所附权利要求中。通过参考下面的详细描述和附图，可以更好地理解本发明的特征和优点，其中以下详细描述阐述了利用本发明原理的说明性实施例，附图中：
图1示出了根据一些实施例的示例性视频广播系统。
图2示出了根据一些实施例的包括与控制中心通信的分散式UAV群的示例性广播端。
图3示出了根据一些实施例的包括采用主从配置并与控制中心通信的UAV群的示例性广播端。
图4示出了根据一些实施例的将地面站被配置为控制多个UAV的示例性广播端。
图5示出了根据一些实施例的包括与控制中心和主从配置的UAV群通信的地面站的示例性广播端。
图6示出了根据一些实施例的控制中心与多个地面站和UAV进行通信的广播系统。
图7示出了根据一些实施例的包括环境感测单元的UAV及其环境感测范围的示例。
图8示出了根据一些实施例的在广播端和控制中心之间的视频广播系统中的信息的示例性交换。
图9示出了根据一些实施例的对由广播端收集的视频数据的编码和解码。
图10示出了根据一些实施例的通过控制中心管理收看端和广播端之间的双向交互的视频广播系统。
图11示出了根据一些实施例的在控制中心的帮助下在广播端和收看端之间传送数据的视频广播系统。
图12示出了根据一些实施例的在视频广播系统中信息在收看端和控制中心之间的示例性交换。
图13示出了根据一些实施例的以第一人称视角(FPV)提供的用户界面(UI)的示例，其中用户可以通过该用户界面选择目标并使广播端处的UAV朝目标移动。
图14示出了根据一些实施例的增强的第一人称视角(FPV)下的用户界面(UI)的示例，其中用户可以通过该用户界面与广播端进行交互。
图15示出了根据一些实施例的沿2D运动路径以协调的方式操作的广播端处的UAV的示例。
图16示出了根据一些实施例的沿3D运动路径以协调的方式操作的广播端处的UAV的示例。
图17是根据一些实施例的用于控制可移动对象的系统的示意性框图。
具体实施方式
本文公开的系统和方法涉及广播来自无人机(UAV)的直播视频，并且可以在UAV直播视频广播期间向收看端的观众提供交互式和沉浸式的用户体验。所公开的实施例还可以用于调节观众与UAV的交互，使得UAV可以以安全的方式操作。
应当理解，可以单独地、共同地或彼此组合地理解本发明的不同方面。本文描述的本发明的各个方面可以应用于下面列出的任何特定应用或任何其它类型的远程遥控飞行器或可移动对象。
系统总览
图1示出了根据一些实施例的示例性视频广播系统。在一个方面，视频广播系统100可以包括广播端110、控制中心120和收看端130。广播端、控制中心和收看端可以经由一个或多个网络，或经由允许从一个组件向另一组件传输数据的任何类型的通信链路，来彼此可操作地相连。
广播端可以被配置为生成广播数据。广播数据可以包括由一个或多个可移动对象收集的视频数据。在一些实施例中，广播端可以包括一个或多个可移动对象。可选地，广播端可以包括与可移动对象通信的一个或多个地面站。在一些实施例中，可移动对象可以包括一个或多个飞行器，诸如无人机(UAV)。可以使用由UAV支持的一个或多个摄像机来收集视频数据。视频数据可以包括UAV操作的环境的图像或视频。
在一些实施例中，广播端还可以包括与一个或多个UAV通信的一个或多个地面站。备选地，地面站无需是广播端的一部分。UAV可以被配置为将视频数据发送到地面站。此外，UAV可以被配置为将与UAV相关联的操作数据发送到地面站。操作数据可以包括安装在UAV上的UAV或搭载物(例如，摄像机)的位置和/或运动特性。例如，操作数据可以包括一个或多个UAV的位置、姿态、导航路径、航向、高度、运动特性(例如，速度和加速度)和/或充电状态。附加地，操作数据可以包括安装在UAV上的一个或多个载体(例如，云台)的位置、姿态和/或运动特性(例如，角速度和加速度)。载体可以被配置为支持用于收集视频数据的一个或多个摄像机。
在一些实施例中，UAV可以被配置为将环境信息发送到地面站。环境信息可以指示UAV操作的环境。例如，环境信息可以包括环境的3D地图、沿着UAV的飞行路径存在或不存在障碍物和/或天气条件。
视频数据可以包括正由UAV收集的直播视频。如本文其他地方所描述地，可以通过一个或多个频道来广播直播视频。视频数据可以包括2-D视频、3-D视频、立体视频、多视角视频、全景视频、球形视频和/或从第一人称视角(FPV)提供的视频。可以使用位于UAV上的一个或多个编码器对视频数据进行编码，且UAV可以被配置为将编码后的视频发送到地面站。备选地，UAV可以将原始视频发送到地面站，并且位于地面站处的一个或多个编码器可以被配置为在将视频数据发送到控制中心或收看端之前对原始视频进行编码。
广播端可以被配置为向控制中心发送数据(例如，视频数据、环境数据、UAV操作数据)。在一些实施例中，控制中心可以被配置为处理从广播端接收的广播数据以产生以下至少一项：增强现实(AR)/虚拟现实(VR)数据、3-D数据、地图、图形用户界面(GUI)和/或与视频数据相关联的节目列表。节目列表可以包括对应于正在广播视频数据的不同频道的收看节目列表。
控制中心可以被配置为管理广播端和收看端之间的数据传输。例如，控制中心可以从一个或多个UAV和/或地面站接收视频数据。控制中心可以被配置为管理数据在一个或多个频道上的分发和传输。频道可以包括有线通信频道、无线通信频道和/或互联网协议(IP)地址。可以使用一个或多个网络协议来经由频道发送数据。
控制中心可以被配置为向收看端提供和/或流传播经处理的广播数据。收看端的一个或多个用户终端可以被配置为显示广播数据。在一些实施例中，用户终端可以被配置为显示视频、AR/VR数据、3-D数据、地图以及由广播端收集的其他信息。
收看端的一个或多个用户可以在用户终端上观看视频，并通过用户终端上提供的图形用户界面(GUI)与广播端进行交互。当用户与被嵌入在显示于用户终端上的GUI/视频中的一个或多个图形元素进行交互时，可以检测来自收看端的用户输入。用户对图形元素的选择或操纵可以允许用户与广播端进行交互。用户输入可以包括被配置为与广播端进行交互的一个或多个指令。在一些实施例中，控制中心可以被配置为从收看端接收并处理用户输入，并将经处理的用户输入发送到广播端以在广播端调整视频广播。
在一些实施例中，收看端的用户可以提供多个用户输入。控制中心和/或广播端可以被配置为处理用户输入。可以处理该用户输入以确定用户输入是否包含用于控制广播端处的UAV的冲突的指令。在一些实施例中，可以基于与每个用户相关联的优先级别来解决所述冲突的指令。
在一些实施例中，可以处理用户输入以确定用户输入是否满足操作条件。操作条件可以包括以下项的一个或多个：(1)用户控制UAV的许可级别，(2)对UAV施加的飞行规定，或(3)UAV操作的环境条件。广播端的控制中心和/或地面站可以被配置为当确定用户输入满足操作条件时，生成一组UAV控制指令。UAV控制指令的集合可以被配置为控制广播端处的一个或多个UAV。在一些情况下，对用户输入的处理可以作为安全检查，以确保UAV在环境中的操作安全性或以符合飞行规定。
在一些实施例中，如果用户输入不满足操作条件，则广播端的控制中心和/或地面站可以被配置为修改用户输入中的指令，以确保满足操作条件。例如，控制中心和/或地面站可以修改用户输入中的指令，使得修改后的指令符合飞行规定或环境条件。
以协调的方式操作UAV
在一些实施例中，广播端处的UAV可以以协调的方式操作。协调的方式可以包括例如保持或实现UAV之间的位置目标。位置目标可以包括UAV之间的预定距离。位置目标可以包括UAV相对于彼此的预定姿态和/或朝向。可以操作UAV，使得UAV以预定队形移动。例如，UAV可以以预定队形相对于彼此对齐。
当以预定队形移动时，UAV可以遵循多个预定轨迹。多个预定轨迹可以包括多个空间点。每个空间点可以具有一组已知的全局空间坐标。多个UAV可以基本同时地或在不同的时间穿过相应的多个空间点。
在一些实施例中，以协调的方式操作UAV可以包括控制UAV协同工作以执行一个或多个任务。在一些情况下，任务可以包括从不同的空中视点收集视频数据。
分散式群配置
在一些实施例中，协调的方式可以包括分散式群配置，其中UAV被配置为自主地操作。图2示出了根据一些实施例的包括与控制中心通信的分散式UAV群的示例性广播端。多个UAV 212可以以分散式群配置来操作。每个UAV可以包括由载体214支持的搭载物(例如，摄像机216)。摄像机可以相对于UAV具有固定位置，或者可以相对于UAV是可移动的。在一些实例中，摄像机可以相对于UAV空间平移。例如，摄像机可以相对于UAV沿着一个轴、两个轴或三个轴移动。摄像机可以相对于可移动对象旋转。例如，摄像机可以相对于UAV绕一个轴、两个轴或三个轴旋转。所述轴可以彼此正交。所述轴可以是俯仰轴、偏转轴和/或滚动轴。备选地，所述轴不需要彼此正交，并且可以彼此倾斜。在一些其他实施例中，摄像机可以是固定到UAV的或集成到UAV中。
每个摄像机可以通过载体可操作地联接到UAV。在图2中，每个摄像机216可以借助于载体214而相对于UAV 212是可移动的。摄像机可以经由多轴云台可旋转地联接到UAV。例如，第一摄像机216-1可以经由第一载体214-1可旋转地联接到第一UAV 212-1。第二摄像机216-1可以经由第二载体214-1可旋转地联接到第二UAV 212-1。第三摄像机216-1可以经由第三载体214-1可旋转地联接到第三UAV 212-1。
载体可以包括可以允许载体相对于UAV移动的一个或多个云台。载体可以包括多轴云台。例如，载体可以包括允许载体相对于UAV围绕第一轴线旋转的第一云台级，允许载体相对于UAV围绕第二轴线旋转的第二云台级，和/或允许载体相对于UAV围绕第三轴旋转的第三云台级。第一轴、第二轴和第三轴可以对应于俯仰轴、偏转轴和滚动轴。可以应用本文别处所述的载体的任何描述和/或特征。
摄像机216可以是成像设备。成像设备可以被配置为检测电磁辐射(例如，可见光、红外线和/或紫外光)，并且基于检测到的电磁辐射产生图像数据。成像设备可以包括响应于光的波长产生电信号的电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。可以对所得到的电信号进行处理以产生图像数据。由成像设备产生的图像数据可以包括一个或多个图像，其中所述图像可以是静态图像(例如，照片)、动态图像(例如，视频)或其适当组合。图像数据可以是多色的(例如，RGB、CMYK、HSV)或单色的(例如，灰度、黑白、棕褐色)。成像设备可以包括配置成将光引导到图像传感器上的透镜。
摄像机216可以是捕获动态图像数据(例如，视频)的电影或视频摄像机。摄像机可以是捕获静态图像(例如照片)的静态摄像机。摄像机可以捕获动态图像数据和静态图像二者。摄像机可以在捕获动态图像数据和静态图像之间切换。尽管在摄像机的上下文下描述了本文提供的一些示例性实施例，但是应当理解，本公开可以应用于任何适合的成像设备，并且本文中关于摄像机的任何描述也可以应用于任何合适的成像设备，且这里涉及摄像机的任何描述也可以应用于其它类型的成像设备。可以使用摄像机来生成3D场景(例如，环境，一个或多个对象等)的2D图像。摄像机生成的图像可以呈现3D场景在2D图像平面上的投影。因此，2D图像中的每个点与场景中的3D空间坐标相对应。摄像机可以包括光学元件(例如，透镜、反射镜、滤光片等)。摄像机可以捕获彩色图像、灰度图像、红外图像等。当摄像机被配置为捕获红外图像时，摄像机可以是热成像设备。
在一些实施例中，惯性测量单元(IMU)(未示出)可以设置在摄像机上。备选地，IMU可以设置在将摄像机与UAV联接的载体上。附加地或可选地，IMU可以设置在UAV的壳体内。IMU可以包括惯性传感器，例如加速度计、陀螺仪和/或重力检测传感器。IMU可以被配置为获得每个摄像机的实时位置和运动信息。来自IMU的实时位置和运动信息可以包括每个摄像机在惯性参考系中的位置和朝向。可以相对于相应载体或UAV来定义惯性参考系。在一些实例中，摄像机及其所联接的UAV可以属于彼此独立移动的不同惯性参考系。
参考图2，摄像机216可以相对于彼此具有不同的位置和朝向。例如，第一摄像机可以设置在第一位置和朝向上，第二摄像机可以设置在第二位置和朝向上，且第三摄像机可以设置在第三位置和朝向上。第一、第二和第三位置可以对应于三维空间内的不同位置。因此，第一、第二和第三位置可以由不同的全局空间坐标系来定义。第一、第二和第三朝向可以包括摄像机相对于它们所联接的UAV的不同俯仰/滚动/偏航角。摄像机的每个位置/朝向可以对应于摄像机的不同视野(即，提供不同的空中视角)。UAV 212可以彼此通信。例如，每个UAV可以被配置为将其摄像机的位置和朝向信息发送到其他UAV。类似地，每个UAV可以被配置为接收其他UAV上的摄像机的位置和朝向信息。
UAV的自主操作
在图2中，每个UAV可以被配置为部分地基于与相邻UAV相关联的信息来自主地操作。所述信息可以包括相邻UAV上的每个摄像机的位置和朝向。例如，第一UAV可以被配置为基于第二/第三UAV上的第二/第三摄像机的位置和朝向自主地操作。类似地，第二UAV可以被配置为基于第一/第三UAV上的第一/第三摄像机的位置和朝向自主地操作。类似地，第三UAV可以被配置为基于第一/第二UAV上的第一/第二摄像机的位置和朝向自主地操作。因此，即使每个UAV以分散式群配置自主操作，这些UAV也可以以协作方式操作，以从不同的空中视角收集视频数据。这种协调方式的UAV操作可以确保对环境、事件、目标对象或要扫描的区域进行足够的视觉覆盖。
在一些实施例中，每个UAV可以被配置为部分地使用经由每个UAV上的环境感测系统收集的环境信息来自主地操作。环境感测单元可以包括能够用于收集环境信息的任何类型的传感器，包括位置传感器(例如，全球定位系统(GPS)传感器、启用位置三角测量的移动设备发射器)，视觉传感器(例如，能够检测可见光、红外线或紫外线的成像设备，例如摄像机)，近距离传感器(例如，超声波传感器、激光雷达、飞行时间摄像机)，惯性传感器(例如，加速度计、陀螺仪、惯性测量单元(IMU))，高度传感器，压力传感器(例如，气压计)，音频传感器(例如，麦克风)或现场传感器(例如，磁力计、电磁传感器)。在一些实施例中，环境感测单元还可以包括成像设备(例如，摄像机216)。可选地，环境感测单元可以接收由摄像机210收集的成像数据，并处理成像数据以获得环境信息。例如，环境感测单元可以被配置为使用成像数据构建环境的3-D深度图。
在一些实施例中，环境感测单元可以包括GPS传感器，并且可以基于与GPS传感器通信的GPS卫星的数量来确定环境类型。类似地，环境感测单元可以包括一个或多个激光雷达传感器，并且可以基于由激光雷达传感器获得的飞行时间数据来确定环境类型。类似地，环境感测单元可以包括一个或多个视觉传感器，并且可以基于由视觉传感器获得的图像数据来确定环境类型，诸如，与由视觉传感器获得的图像数据相关联的曝光时间。可以使用任何数量的传感器和传感器组合来获得环境信息，诸如，一个、两个、三个、四个、五个或更多个传感器。可选地，可以从不同类型(例如，两种、三种、四种、五种或更多类型)的传感器接收数据。不同类型的传感器可以测量不同类型的信号或信息(例如，位置、朝向、速度、加速度，接近度，压力等)和/或利用不同类型的测量技术来获得数据。例如，传感器可以包括有源传感器(例如，产生并测量来自其自身源的能量的传感器)和无源传感器(例如，检测可用能量的传感器)的任意组合。
传感器数据可以包括各种类型的环境信息。例如，传感器数据可以表示环境类型，例如，室内环境、室外环境、低空环境、高空环境等。传感器数据还可以提供关于当前环境条件的信息，包括天气(例如，晴朗、下雨、下雪)，可见度条件，风速，时间等。此外，传感器收集的环境信息可以包括关于环境中的对象(例如，结构或障碍物)的信息。备选地，传感器可以用于提供关于UAV周围的环境的数据，诸如，天气条件，对潜在障碍物的接近度、地理特征的位置、人造结构的位置、风速、风向、雨速、温度等。
在一些实施例中，环境感测单元中的一个或多个传感器可以被配置为提供关于UAV的状态的数据。由传感器提供的状态信息可以包括关于UAV的空间布置的信息(例如，诸如经度、纬度和/或高度的位置信息；诸如滚动、俯仰和/或偏航的朝向信息)。状态信息还可以包括关于UAV的运动的信息(例如，平移速度、平移加速度、角速度、角加速度等)。例如，传感器可以被配置为关于多达六个自由度确定UAV的空间布置和/或运动(例如，位置和/或平移的三个自由度、朝向和/或旋转的三个自由度)。可以相对于全局参考系或相对于另一实体的参考系，提供状态信息。例如，可以将传感器被配置为确定UAV与地面站之间的距离和/或UAV的起飞点。
在一些实施例中，由环境感测单元中的一个或多个传感器获得的感测数据可以被提供给飞行控制器。飞行控制器可以被配置为经由一个或多个电子速度控制(ESC)单元来控制UAV的一个或多个推进单元以实现UAV的运动。
在一些实施例中，环境感测单元可以包括多个成像设备，或具有多个透镜和/或图像传感器的成像设备。成像设备可以能够基本同时地、顺序地或在不同时间点拍摄多个图像。多个图像可以有助于创建3D场景、3D虚拟环境、3D地图或3D模型。例如，可以拍摄右眼图像和左眼图像并将其用于立体映射。可以根据经校准的双目图像计算深度图，如下面详细描述的。可以同时拍摄任意数量的图像(例如，2个或更多、3个或更多、4个或更多、5个或更多、6个或更多、7个或更多、8个或更多、9个或更多个)以帮助创建3D场景/虚拟环境/模型，和/或用于深度映射。所述图像可以指向基本相同的方向引导图像或指向略有不同的方向。在一些实例中，来自其他传感器(例如，超声数据、激光雷达数据、来自本文别处所述的任何其它传感器的数据或来自外部设备的数据)的数据可以有助于创建2D或3D图像或地图。
在一些实施例中，可以分析从一个或多个成像设备获得的立体视频数据，以确定环境信息。环境信息可以包括环境地图。环境地图可以包括拓扑图或度量图。度量图可以包括以下至少一个：点云、3D网格图、2D网格图、2.5D网格图或占据网格图。占据网格可以用于定义UAV周围的空间环境的3D地图。
在一些实施例中，立体视频数据的分析可以包括以下至少一个：(1)成像设备校准，(2)图像帧的立体匹配，以及(3)深度图计算。成像设备校准可以包括校准成像设备(诸如双目摄像机)的固有参数和外在参数。双目摄像机可以被配置为捕获一个或多个双目图像。可以根据多个双目图像获得立体视频数据。立体匹配可以包括：(1)基本上在每个双目图像中实时提取或接近实时地提取每个单目图像的特征点，(2)计算特征点的运动特征，(3)基于特征点的运动特性，匹配从图像帧中提取的相应特征点，以及(4)消除不匹配特征点。深度图计算可以包括：(1)基于匹配的特征点计算基于像素的视差图；以及(2)基于双目摄像机的外在参数来计算深度图。深度图计算可以包括过滤深度图并向其应用阈值以确定或多个障碍物。例如，可以将阈值用于对深度图内具有预定大小和/或预定数量像素的环境中的对象进行分类。
图7的A部分示出了包括被配置为收集环境的信息的环境感测单元713的UAV 712示例。所述环境可以包括一个或多个对象750。一个或多个摄像机716可以位于UAV的主体上或UAV的主体内部。摄像机716可以包括双目视觉传感器。摄像机716可以是环境感测单元713的一部分。由摄像机716-2和716-3捕获的双目图像可以用于生成该环境的深度图信息。可以用由另一摄像机(例如，摄像机716-1)获得的图像来相关/校准该双目图像。摄像机716可以相对于彼此设置在不同的位置，使得摄像机具有不同的光轴。例如，摄像机716-1可以具有第一光轴719-1，摄像机可以具有第二光轴719-2，并且摄像机716-3可以具有第三光轴719-3。光轴719可以沿不同的方向延伸。例如，第一光轴可以在该环境中朝着一组对象750延伸。第二光轴可以从UAV的后部延伸，且第三光轴可以从UAV的前部部分延伸。
通过左眼图像和右眼图像的立体匹配，可以使用双目图像生成深度图。可以匹配左眼图像和右眼图像以获得可以检测环境中的障碍物/对象的位置的深度图像。在一些实施例中，可以使用布置在UAV上的多个位置处的多个成像设备来生成深度图。可以利用使用一个或多个处理器执行的实时块匹配(BM)或半全局块匹配(SGBM)算法来执行立体匹配。在一些实施例中，可以附加地使用来自超声传感器的超声数据来检测缺乏明显纹理的对象的位置/距离(例如，双目视觉摄像机无法检测白色墙壁或者玻璃墙的位置)。
可以通过将双目图像或任何图像与深度图相关来生成外部环境的3D地图。例如，左眼图像和/或右眼图像可以被映射到深度图。在一些情况下，由摄像机716-1(搭载物)拍摄的图像可以被映射到深度图。深度图可以包括多个像素点。有效的像素点可以对应于外部环境中的障碍物。像素点和障碍物之间的关系可以是一对多或多对一的。例如，一个有效像素点可以对应于多个障碍物。备选地，多个有效像素点可以对应于一个障碍物。在一些情况下，一组有效像素点可以对应于一组障碍物。有效像素点的值大于0。相反，无效像素点是不可从映射图像中识别的点。无效像素点的值等于或小于0。没有明显纹理的或透明的对象可以在图像中显示出无效像素点。在一些实施例中，可以使用来自超声成像的超声数据来补充视觉相关性以识别那些无效像素点。可以例如使用位于UAV上的激光雷达传感器来执行超声成像。来自超声传感器的超声数据可以用于检测没有明显纹理的或透明的对象的位置/距离。
接下来，可以生成与深度图中的像素点相对应的3D空间点。与深度图中的像素点相对应的3D空间点可以由下式给出：
若d＞0。
其中d是深度图中的深度，f是成像设备的焦距，(cx，cy)是与UAV的中心点(质心)的偏移，且(x，y)是深度图上的像素点。多个3D空间点可以分布到占据网格的多个单元格中。UAV的位置可以位于占据网格的中心。在一些情况下，UAV的位置可以位于占据网格的另一部分(例如，边缘)。占据网格可以用于定义UAV周围的空间环境的3D地图。
占据网格可以具有多个单元格。占据网格的大小可以是nx×ny×nz，其中nx是沿x轴的单元格数，ny是沿着y轴的单元格数，并且nz是沿z轴的单元格数。nx、ny和nz可以是任何整数，并且可以相同或不同的。在一些实施方案中，nx＝ny＝80且nz＝40。在一些实施方案中，nx和ny可以小于80或大于80。在一些实施方案中，nz可以小于40或大于40。占据网格中的每个单元格的大小可以是m×m×m，其中m可以是任意尺寸。在一些实施例中，m可以小于或等于0.1米、0.2米、0.3米、0.4米、0.5米或1米。在一些实施例中，m可以大于1米、1.1米、1.2米、1.3米、1.4米、1.5米或2米。
占据网格可以具有i个单元格，其中i＝nx×ny×nz每个单元格可以被表示为第i个单元格。例如，i＝1可以表示第一个单元格，并且i＝10可以表示第十个单元格。对于每个第i个单元格，可以确定落入该单元格的3D空间点的数量。可以通过针对每个第i个单元格确定落入第i个单元格的3D空间点的数量是否大于预定阈值τ，来生成环境的3D地图。每个第i个单元格可以具有二进制状态Ci。当落在第i个单元格内的3D空间点的数量大于预定阈值τ时，Ci＝1。当落在第i个单元格内的3D空间点的数量等于或小于预定阈值τ时，Ci＝0。可以基于捕获图像的采样频率以及根据深度图获得的3D空间点的精度，来确定预定阈值τ。当采样频率增加时和当落入单元格内的3D空间点的数量增加时，可以增加预定阈值τ。当3D空间点的精度增加时，预定阈值τ可以减小。预定阈值τ可以具有范围值。例如，预定阈值可以在约5至约30的范围内。在一些情况下，预定阈值可以在小于5到大于30的范围内。
如上所述，超声数据可以用于补充视觉相关性以识别无效像素点。当检测到有效超声读数ds时，声呐范围内距离为ds的所有单元格的状态Ci可以设置为1。
图7还示出了根据一些实施例的UAV的环境感测范围。图7的部分B示出了来自如从UAV上方观察的空中视图的UAV的环境感测范围。图7的部分C示出了UAV在三维空间中的环境感测范围。UAV可以被配置为操作在环境中，如本文别处所述。
参考图7的部分B，环境感测单元可以包括联接到UAV的不同侧面的多个摄像机。例如，多个摄像机可以联接到UAV的至少前侧、后侧、左侧、右侧、底侧和/或顶侧。每个摄像机的视角可以为α。可以基于视角α(水平、垂直和对角线)和每个摄像机内的图像传感器大小来确定最大环境感测范围。可以由圆形760(部分B中的平面图)或球形770(C部分中的三维视图)来定义环境感测范围。应当注意，环境感测范围可以由任何形状和/或大小限定。例如，在一些实施例中，环境感测范围可以由围绕UAV的规则形状(例如，立方体、圆柱体，锥体等)或不规则形状来定义环境感测范围。
在一些情况下，相邻摄像机的视野可以彼此交叠，例如如图7的部分B所示。视野中的交叠确保了可以收集足够的环境图像数据点，其中能够根据所述环境图像数据点来以一定准确度构建环境地图。在一些备选情况下，相邻摄像机的视野不需要彼此交叠。
多个摄像机可以被配置为捕获UAV周围的环境的双目或多目图像。一个或多个摄像机可以在同一时刻或不同时刻捕获图像。可以从双目或多目图像中获得环境的3-D深度图。多个摄像机可以提供n度的视野。在一些实施例中，n可以是约90°、100°、110°、120°、130°、140°、150°、160°、170°、180°、190°、200°、210°、220°、230°、240°、250°、260°、270°、280°、290°、300°、310°、320°、330°、340°、350°或360°。可以考虑n的任意值。当n是360°时，可以获得完全环绕的环境感测。在一些情况下，环境感测范围可以由具有自UAV的中心的预定半径的球体来定义。预定半径可以在几米至几百米的范围内。例如，预定半径可以约为1m、5m、10m、20m、30m、40m、50m、60m、70m、80m、90m、100m、200m、300m、400m、500m或其间的任何值。在一些情况下，预定半径可以小于1m或大于500m。可以预想预定半径的任意值。在一些实施例中，环境感测范围可以取决于UAV操作的环境的环境复杂性。随着UAV移动经过不同环境，环境感应范围可以动态调整。例如，当UAV在包括大量对象或障碍物的环境中移动时，可以扩大环境感测范围，和/或可以增加环境感测的灵敏度级别(例如分辨率)。相反，当UAV在包括较少数量对象或障碍物的环境中移动时，可以缩小环境感测范围，和/或可以减小环境感测的灵敏度级别(例如分辨率)。
在图7中，安装在UAV的不同侧上的多个摄像机可以共同构成机载双目立体视觉感测系统。在一些实施例中，环境感测单元可以包括能够执行相同的环境感测功能并可以代替双目立体视觉感测系统的其他传感器(例如，超声传感器、雷达、激光和红外传感器)。在一些实施例中，这些其它传感器(例如，超声波传感器、雷达、激光和红外传感器)可以与双目立体视觉感测系统结合使用，以进一步提高环境感测的灵敏度和/或范围。
因此，本文公开的环境感测单元可以精确和实时地提供范围UAV周围数十米到几百米范围内的环境信息。环境信息可以包括UAV与环境中的各种对象的距离以及环境内对象之间的距离。每个UAV可以被配置为使用经由UAV上的环境感测单元收集的环境信息来自主地操作。
返回参考图2，包括多个UAV 212的广播端可以被配置为将视频数据发送到控制中心220。在一些实施例中，UAV可以在发送视频数据之前向控制中心发送广播请求。控制中心可以被配置为从广播端接收广播请求，并基于广播端的一个或多个操作参数来处理广播请求。在一些实施例中，操作参数可以包括(1)与一个或多个UAV的操作相关联的第一组参数，以及(2)与一个或多个UAV被配置为操作的环境相关联的第二组参数。第一组参数可以包括以下项中的至少一个：(1)UAV的运动路径，(2)要广播的视频数据的类型或(3)UAV广播的许可级别。第二组参数可以包括广播端的环境条件。可以在UAV所获得的环境信息中提供环境条件，如本文别处所述。
在一些实施例中，由控制中心处理广播请求可以包括基于一个或多个操作参数确定是批准还是拒绝该广播请求。当批准该广播请求时，可以在一个或多个频道上广播视频数据。当选自操作参数的一个或多个参数满足预定的一组标准时，可以批准该广播请求。例如，UAV的运动路径、要广播的视频数据的类型、UAV广播的许可级别或广播端的环境条件中的至少一个可以必须满足所述预定的一组标准，以便批准广播请求。可以提供所述预定的一组标准，以便在将视频数据从广播端流式传播到收看端之前过滤广播请求。
在一些情况下，当拒绝该广播请求时，不可以在一个或多个频道上广播视频数据。例如，当广播端的环境条件较差(例如，由于不利的天气条件)时或当UAV不能满足广播所需的许可级别时，可以拒绝广播请求。例如，如果UAV不是以协调的方式操作的一组UAV中的一部分，则可以不允许该UAV广播视频数据。例如，参考图2，如果新的UAV(未示出)进入环境，但不并入其他UAV 212的分散式群配置，则可以不允许新的UAV进行广播，即使该UAV向控制中心提交广播请求。
在一些实施例中，当已经完成视频数据的广播或收集时，UAV可以向控制中心发送终止请求。例如，当UAV正收集直播事件(例如，比赛)的视频数据且该事件完成时，UAV可以发送终止请求以终止视频广播。控制中心可以被配置为从广播端接收终止请求，并处理终止请求。在一些实施例中，当已处理或批准终止请求时，控制中心可以向收看端提供终止消息。终止消息可以指示已终止在一个或多个频道上对视频数据的传输。
在一些实施例中，可以通过使得(已终止视频广播的)一个或多个频道可用于正从另一广播端传输的视频数据，来循环利用所述频道。所述另一广播端可以包括可以正在捕获在不同位置发生的不同事件的直播视频的另一组UAV。
主从配置
图3示出了根据一些实施例的包括采用主从配置并与控制中心通信的UAV群的示例性广播端。图3与图2的相似之处在于UAV 312还被配置为以协调的方式操作。然而，与图2的实施例不同，每个UAV 312不是自主地操作。而是，UAV 312以主从配置操作，其中主UAV312-1被配置为控制一个或多个从UAV 312-2和312-3。可以基于使用主UAV上的一个或多个传感器获得的信息来操作主UAV。主UAV上的传感器可以包括如本文别处所述的各种类型的传感器(例如，GPS、激光雷达、摄像机、IMU、声纳等)。可以在主UAV上的环境感测单元中提供一个或多个传感器。可选地，可以在一个或多个从UAV上的环境感测单元中提供一个或多个传感器。
传感器获得的信息可以与UAV 312操作的环境相关。该信息可以包括(1)环境地图，(2)在UAV的导航路径上存在或不存在障碍物，和/或(3)环境中的天气条件。主UAV还可以被配置为基于该信息来控制从UAV。例如，主UAV可以被配置为控制从UAV的起飞和着陆。主UAV还可以被配置为控制每个从UAV上的摄像机的朝向。例如，主UAV可以调整支持在每个从UAV上的摄像机的云台的姿态，以便控制摄像机的朝向。如前所述，摄像机可以被配置为收集环境、目标对象和/或事件的视频数据。附加地，主UAV可以被配置为控制每个从UAV的飞行路径。例如，主UAV可以通过调整每个从UAV的一个或多个航路点来控制从UAV的飞行路径。
在一些实施例中，当发生一个或多个阻止主UAV控制从UAV的条件时，可以从主UAV向另一备用UAV发送对从UAV的控制。所述一个或多个条件可以包括：(1)主UAV和从UAV之间的通信丢失；和/或(2)主UAV的一个或多个组件发生故障或损坏。可以使用主UAV上的一个或多个传感器来检测条件。例如，传感器可以检测多种条件，诸如自由落体、异常加速度、异常速度、异常朝向、接近表面或对象、过热，功率损耗、低功率、引导/导航或通信故障、飞行控制故障或任何其他异常条件。在一些实例中，主UAV的朝向可以(1)以超过预定阈值频率的频率来改变，或(2)以特定方式来改变。高频朝向改变或摆动(wobbling)可以指示载运工具不稳定性。载运工具不稳定可以指示UAV可能很快落下和/或影响即将来临。这种情况可以指示故障，在这种情况下，需要将控制从主UAV转到备用UAV。
网状网络
在一些实施例中，UAV 312可以经由网状网络来彼此通信。UAV可以通过网状网络实时地或接近实时地以固定或可变的间隔将其已知位置传送给彼此。基于通过网状网络传送的数据，UAV可以调整其运动特性以便以协调的方式操作(例如，实现队形中的一个或多个位置目标)。
可以由网状网络中的节点分别表示每个UAV 312。节点与网状网络中的其他节点互连，以便多个路径连接每个节点。可以使用内置网状路由表来动态地更新和优化节点之间的连接。网状网络本质上可以是分散式的，且每个节点可以能够在网络上进行自发现。此外，随着节点离开网络，网状拓扑允许节点基于新的网络结构重新配置路由路径。网状拓扑和ad-hoc路由的特征在改变条件或各单个节点的故障中提供更大的稳定性。例如，当一个或多个UAV离开网络时，其他的UAV可以基于新的网络结构来重新配置新的路由路径(或物理飞行/运动路径)。在一些实施例中，网络可以是全网状网络，其中所有UAV都是网状的并且彼此通信。在其他实施例中，网络可以是部分网状网络，其中仅一部分UAV都是网状的并且彼此通信。
网状网络可以由无线协议支持，所述无线协议可以支持以低成本、低功率解决方案实现基于广泛部署的无线网络。该协议可以允许在商业和工业应用中通过各种射频(RF)环境进行数据通信。该协议可以允许UAV在各种网络拓扑中进行通信。该协议可以包括以下特征：(1)支持多个网络拓扑，诸如，点对点；(2)点对多点和网状网络；(3)低占空比以延长电池寿命；(4)针对较低功耗的低延迟；(5)直接序列扩频(DSSS)；(6)每个网络多达65,000个节点；(7)用于安全数据连接的128位AES加密；以及(8)冲突避免和重试。由于消耗更少的功率，低占空比可以支持UAV在更长的时间段内操作。网络中可允许的大量节点(多达65,000个节点)可以支持在网状网络中连接和控制多个UAV。冲突避免和重试能力有助于防止当UAV进入或离开网状网络(例如，由于信号传输质量较差、障碍物阻塞信号传输、UAV中的无线电发射机断电等)时的冲突。
在一些实例中，协议可以提供易于使用的无线数据解决方案，其特征在于安全可靠的无线网络架构。该协议可以被配置为满足低成本、低功耗的无线机器对机器(M2M)网络的需求。这样的机器的示例可以包括UAV。该协议可以被配置为在占空比较低且低功耗是重要考虑因素的应用中提供较高的数据吞吐量。例如，在一些情况下，部分或全部的UAV可以由电池供电，其中需要低功耗以增加飞行时间/距离。
在一些实施例中，用于网状网络的UAV的无线协议的传输距离可以在约10米至约1500米视距的范围内(例如，10m、20m、30m、40m、50m、100m、200m、300m、500m、800m、1000m、1200m或1500m)。对于2.4GHz的室内应用，取决于建筑材料、要穿透的墙壁数量和该地理位置允许的输出功率，传输距离可以在约10m至约20m的范围内。相反，对于具有视距的户外应用，取决于功率输出和环境特性，传输距离可以高达约1500m。在一些备选实施例中，用于网状网络的UAV的无线协议的传输距离可以小于约10m(例如，9m、7m、5m、3m、1m或小于1m)。在一些其他实施例中，用于网状网络的UAV的无线协议的传输距离可以大于约1500m(例如，1600m、1700m、1800m、1900m、2000m、3000m、5000m或者大于5000m)。
在一些实施例中，该协议可以用于通过将数据传送通过中间设备(例如，中间UAV和/或地面站)的网状网络以到达更远设备，来远距离传输数据。该协议可以用于需要长电池寿命和安全网络的低数据速率应用中。在一些实施例中，网状网络可以通过128位对称加密密钥来保护。在一些实施例中，协议的数据传输速率的范围可以从约20kbit/s(868MHz频带)到约250kbit/s(2.4GHz频带)。在一些实施例中，协议可以具有250kbit/s的限定速率，该速率适合于从UAV的间歇数据传输。在一些实施例中，协议的数据传输速率的范围可以从小于约20kbit/s(例如，18kbit/s、16kbit/s、14kbit/s、12kbit/s、10kbit/s、5kbit/s或小于5kbit/s)。在其他实施例中，协议的数据传输速率的范围可以从大于约250kbit/s(例如，260kbit/s、270kbit/s、280kbit/s、290kbit/s、300kbit/s、350kbit/s、400kbit/s、500kbit/s或大于500kbit/s)。在一些实施例中，使用所述协议的UAV可以具有较低延迟，这降低了平均电流消耗。
在一些实施例中，用于支持网状网络的UAV的无线协议可以包括ZigBee标准。ZigBee标准按照电气和电子工程师协会(IEEE)802.15.4物理无线电规范操作，并在包括2.4GHz、900MHz和868MHz的未授权频段内操作。IEEE 802.15.4规范是一种基于分组的无线电协议，旨在用于低成本、电池供电的设备。ZigBee网络层可以本地支持星形和树形网络以及通用网状网络。每个网络可以具有一个协调器设备，其任务为创建、控制其参数和基本维护。在星形网络中，协调器可以是中心节点。树形和网状网格可以允许使用ZigBee路由器在网络层级扩展通信。ZigBee建立在针对低速率WPAN的IEEE标准802.15.4中定义的物理层和媒体访问控制上。该规范包括四个附加关键组成：网络层、应用层、ZigBee设备对象(ZDO)和制造商定义的应用对象，这些对象允许定制并且有利于整合。ZDO负责许多任务，包括跟踪设备角色、管理加入网络的请求以及设备发现和安全性。
在一些实施例中，网状网络中的UAV可以是ZigBee设备。ZigBee设备可以包括ZigBee协调器(ZC)，一个或多个ZigBee路由器(ZR)和/或一个或多个ZigBee终端设备(ZED)。
ZC用作网络树的根且可以与其他网络形成桥。每个网状网络可以包括一个ZC。ZC可以存储关于网络的信息，并可以用于控制ZR和ZED。例如，主UAV可以是ZC。在一些实施例中，当发生一个或多个阻止主UAV控制从UAV的条件时，可以将ZC的角色从主UAV传递到备用UAV。如上所述，所述一个或多个条件可以包括：(1)主UAV和从UAV之间的通信丢失；和/或(2)主UAV的一个或多个组件发生故障或损坏。任何UAV可以一直持续地用作ZC、以固定或可变频率周期性地用作ZC或仅在特定时段用作ZC。在一些实施例中，不同的UAV可以轮流担任ZC(例如，在循环(round robin)类似配置中)。
ZR可以作为中间路由器，传递来自其他设备的数据。ZED可以包含足够的功能以与父节点(ZC或ZR)通信。ZED可以不被配置为中继来自其他设备的数据。这种关系允许ZED在大量的时间是休眠的，从而允许较长电池寿命，这可以延长飞行/运动时间。ZED需要最少量的存储器，因此相对于ZR或ZC，其制造成本更便宜。在一些实施例中，可以选择主UAV作为ZC，且可以选择从UAV作为ZR或ZED。可以预想ZigBee网状网络中的UAV的任何布置/角色/配置。
在一些实施例中，ZigBee协议可以支持信标网络以及未启用信标的网络。在未启用信标的网络中，可以使用非锁定的载波侦听多路访问及冲突避免(CSMA/CA)信道接入机制。CSMA/CA信道接入机制是使用载波侦听且节点尝试通过仅当频道被感测为空闲时才进行发送来避免冲突的网络多路接入方法。当节点发送数据时，它们将作为整体发送它们的分组数据。在这种类型的网络中，ZigBee路由器(ZR)通常使它们的接收机持续活跃，需要更鲁棒的电源。这可以允许一些设备连续地进行接收而其他设备仅在检测到外部刺激时才进行发送的异构网络。
相反，对于启用信标的网络，ZR发送周期性信标，以向其他网络节点确认其存在。节点可以在信标之间休眠，从而降低其占空比并延长其电池寿命，这样延长飞行/运动时间。信标间隔取决于数据速率。例如，信标间隔的范围可以在约250kbit/s下从约15毫秒到约251秒，在约40kbit/s下从约24毫秒到约393秒，在大约20kbit/s处从约48毫秒到约786秒。
因此，ZigBee协议可以接通无线电的时间，从而减少UAV使用的电力。在信标网络中，节点只需要在发送信标时是活跃的。在未启用信标的网络中，功耗是决定性地不对称的(例如，一些UAV总是活跃的，而其他UAV大部分时间处于休眠模式)。
UAV的地面站控制
图4示出了根据一些实施例的将地面站被配置为控制多个UAV的示例性广播端。地面站418可以被配置为控制多个UAV 412的形成、对齐或协作。每个UAV 412可以与地面站通信，并由地面站控制。UAV可以彼此通信或不通信。
在一些实施例中，可以由地面站以协调的方式操作UAV。例如，地面站可以控制UAV的飞行，以保持或实现UAV之间的位置目标。位置目标可以包括UAV之间的预定距离。位置目标可以包括UAV相对于彼此的预定姿态和/或朝向。可以操作UAV，使得UAV以预定队形移动。例如，UAV可以以预定队形相对于彼此对齐。
地面站还可以控制UAV以在以预定队形移动时遵循多个预定轨迹。多个预定轨迹可以包括多个空间点。每个空间点可以具有一组已知的全局空间坐标。多个UAV可以基本同时地或在不同的时间穿过相应的多个空间点。
在一些实施例中，地面站可以控制UAV协同工作以执行一个或多个任务。在一些情况下，任务可以包括使用UAV上支持的摄像机来从不同的空中视点收集视频数据。每个UAV可以被配置为收集并向地面站发送视频数据。此外，UAV可以被配置为将与UAV相关联的操作数据发送到地面站。操作数据可以包括安装在UAV上的UAV或搭载物(例如，摄像机)的位置和/或运动特性。例如，操作数据可以包括一个或多个UAV的位置、姿态、导航路径、航向、高度、运动特性(例如，速度和加速度)和/或充电状态。附加地，操作数据可以包括安装在UAV上的一个或多个载体(例如，云台)的位置、姿态和/或运动特性(例如，角速度和加速度)。载体可以被配置为支持用于收集视频数据的一个或多个摄像机。在一些实施例中，UAV可以被配置为将环境信息发送到地面站。环境信息可以指示UAV操作的环境。例如，环境信息可以包括环境的3D地图、沿着UAV的飞行路径存在或不存在障碍物和/或天气条件。
视频数据可以包括由UAV 412收集的直播视频。可以在个或多个频道上广播直播视频。视频数据可以包括2-D视频、3-D视频、立体视频、多视角视频、全景视频、球形视频、从第一人称视角(FPV)提供的视频或其任意组合。可以使用位于UAV上的一个或多个编码器对视频数据进行编码，且UAV可以被配置为将编码后的视频发送到地面站。备选地，UAV可以将原始视频发送到地面站，并且位于地面站处的一个或多个编码器可以被配置为在将视频数据发送到控制中心或收看端之前对原始视频进行编码。
地面站418可以被配置为向控制中心420发送数据(例如，视频数据、环境数据、UAV操作数据)。控制中心可以被配置为管理广播端和收看端之间的数据传输。例如，控制中心可以从地面站接收视频数据。控制中心可以被配置为管理数据在一个或多个频道上的分发和传输。频道可以包括有线通信频道、无线通信频道和/或互联网协议(IP)地址。可以使用一个或多个网络协议在频道上发送数据。
地面站和主从UAV控制
图5示出了根据一些实施例的包括与控制中心和主从配置的UAV群通信的地面站的示例性广播端。除了以下差别，图5可以类似于图4。在图5中，地面站518可以与多个UAV512进行通信。地面站可以与主UAV 512-1进行双向通信。例如，地面站可以经由上行链路向主UAV发送控制指令，并且经由下行链路接收从主UAV发送的数据。如以上图3所述，主UAV可以被配置为控制从UAV 512-2和512-3。地面站可以与从UAV进行通信或不进行通信。在一些情况下，可以仅在一个方向上执行地面站与从UAV之间的通信(即，单向通信)。例如，地面站可以被配置为仅接收经由下行链路自从UAV发送的数据(例如，视频数据)。
在一些实施例中，当发生一个或多个阻止主UAV控制从UAV的条件时，可以从主UAV向地面站发送对从UAV的控制。所述一个或多个条件可以包括：(1)主UAV和从UAV之间的通信丢失；和/或(2)主UAV的一个或多个组件发生故障或损坏。地面站可以被配置为在从UAV中选择备用UAV以在发生所述一个或多个条件时替换主UAV。所选的备用UAV可以承担新的主UAV的角色，并且可以被配置为控制其余的从UAV。在一些实施例中，地面站可以被配置为从包含从UAV的列表及其优先级的查找表中选择备用UAV。查找表可以存储在位于地面站的存储器中。备选地，查找表可以远程存储在地面站可访问的存储器中。可以使用优先级来确定选择从UAV以替换主UAV的顺序。例如，从UAV 512-2可以具有比从UAV 512-3更高的优先级。因此，当主UAV 512-1无法继续执行其角色时，地面站可以将从UAV 512-2选择作为备用UAV(新的主UAV)。
在一些实施例中，地面站可以控制主UAV。主UAV可以转而控制从UAV，使得UAV以协调的方式操作。可以基于使用主UAV上的一个或多个传感器获得的信息(例如，环境信息)来操作主UAV。备选地，可以基于由地面站提供的信息和/或指令来操作主UAV。主UAV可以转而基于所述信息和/或指令来控制从UAV，如本文别处所述。
在一些实施例中，地面站可以控制主UAV，且主UAV可以控制从UAV协同工作以执行一个或多个任务。在一些情况下，任务可以包括使用UAV上支持的摄像机来从不同的空中视点收集视频数据。每个UAV可以被配置为收集并向地面站发送视频数据。此外，UAV可以被配置为将与UAV相关联的操作数据发送到地面站。操作数据可以包括安装在UAV上的UAV或搭载物(例如，摄像机)的位置和/或运动特性。例如，操作数据可以包括一个或多个UAV的位置、姿态、导航路径、航向、高度、运动特性(例如，速度和加速度)和/或充电状态。附加地，操作数据可以包括安装在UAV上的一个或多个载体(例如，云台)的位置、姿态和/或运动特性(例如，角速度和加速度)。载体可以被配置为支持用于收集视频数据的一个或多个摄像机。在一些实施例中，UAV可以被配置为将环境信息发送到地面站。环境信息可以指示UAV操作的环境。例如，环境信息可以包括环境的3D地图、沿着UAV的飞行路径存在或不存在障碍物和/或天气条件。
视频数据可以包括由UAV 512收集的直播视频。可以在一个或多个频道上广播直播视频。视频数据可以包括2-D视频、3-D视频、立体视频、多视角视频、全景视频、球形视频、从第一人称视角(FPV)提供的视频或其任意组合。可以使用位于UAV上的一个或多个编码器对视频数据进行编码，且UAV可以被配置为将编码后的视频发送到地面站。备选地，UAV可以将原始视频发送到地面站，并且位于地面站处的一个或多个编码器可以被配置为在将视频数据发送到控制中心或收看端之前对原始视频进行编码。
地面站518可以被配置为向控制中心520发送数据(例如，视频数据、环境数据、UAV操作数据)。控制中心可以被配置为管理广播端和收看端之间的数据传输。例如，控制中心可以从地面站接收视频数据。控制中心可以被配置为管理数据在一个或多个频道上的分发和传输。频道可以包括有线通信频道、无线通信频道和/或互联网协议(IP)地址。可以使用一个或多个网络协议在频道上发送数据。
地面站和UAV网络的网络
图6示出了根据一些实施例的控制中心与多个地面站和UAV进行通信的广播系统。广播端可以包括多个地面站和UAV。多个地面站可以与控制中心通信，并且在网络中连接在一起。
控制中心可以被配置为处理来自广播端的广播请求，如本文别处所述。一旦批准广播请求，控制中心可以被配置为基于广播端的网络条件来管理来自广播端的数据传输。网络条件可以包括广播端和内容服务器之间的网络连接性。可以基于广播端的一个或多个参数来确定网络条件，诸如：(i)广播端所处环境的类型，(ii)广播端处的UAV在环境中的位置，(iii)UAV相对于一个或多个地面站的位置，(iv)广播端的信号传输的类型，和/或(v)广播端的信号发送或接收的强度。
内容服务器可以或可以不位于控制中心处。在一些实施例中，广播端可以经由接入点连接到内容服务器。广播端可以经由无线网络连接到内容服务器。无线网络可以是例如WiFi网络或蜂窝网络。通信类型的示例可以包括但不限于：通过互联网、局域网(LAN)、广域网(WAN)、蓝牙、近场通信(NFC)技术进行的通信、基于诸如通用分组无线电服务(GPRS)、GSM、增强型数据GSM环境(EDGE)、3G、4G或长期演进(LTE)协议的移动数据协议的网络、红外(IR)通信技术和/或Wi-Fi，并且可以是无线的、有线的或其组合方式的。
网络条件可以包括多个UAV和多个地面站之间的网络连接性。在一些实施例中，当广播端的网络条件低于预定阈值时，广播数据可以被定向到一个或多个中继点。还可以基于广播端的位置，将广播数据定向到一个或多个最接近的中继点。在一些情况下，当多个UAV相对地面站移动时，可以动态地改变广播端的位置。中继点可以被配置为转发和/或放大用于承载广播数据的传输信号。中继点可以包括一个或多个中间节点，诸如，遥控器、地面站、中继站、路由器、基站、手持设备以及能够将来自广播端的广播数据转发到控制中心的任何合适的硬件设备。
在一些实施例中，当广播端与内容服务器/接入点具有良好的网络连接时，广播端可以将视频数据直接发送到内容服务器。良好的网络连接可以具有以下一个或多个特征：通信延迟小、带宽充足、拥塞低、准许高和通信质量高。相反，当广播端与内容服务器/接入点具有较差的网络连接时，广播端可以经由一个或多个中继点将视频数据发送到内容服务器。控制中心可以被配置为监视内容服务器的负载，并且动态地更新发送视频数据的IP地址。
可以在图6中提供多个广播端610。例如，第一广播端610-1可以包括与一组UAV612-1、612-2和612-3通信的第一地面站618-1。第二广播端610-2可以包括与第二组UAV612-4、612-5和612-6通信的第二地面站618-2。第三广播端610-3可以包括与第三组UAV612-7、612-8和612-9通信的第三地面站618-3。可以预想任意数量的广播端，其中所述广播端包括任何数量的地面站和/或UAV。地面站和/或UAV可以与控制中心620进行通信。控制中心可以被配置为基于每个广播端的网络条件来管理来自每个广播端的数据传输。网络条件可以包括每个广播端和一个或多个内容服务器之间的网络连接性。内容服务器可以或可以不位于控制中心620处。控制中心可以与每个内容服务器和广播端进行通信。当第一广播端610-1与内容服务器/接入点具有良好的网络连接时，第一广播端可以直接向内容服务器发送由UAV 612-1、612-2和612-3收集的视频数据。在一些实例中，例如，由于在第二广播端610-2的信号传输或接收较差，第二广播端与内容服务器/接入点的连接性可以较差。在这些实例中，第二广播端可以经由一个或多个中继点向内容服务器发送由UAV 612-4、612-5和612-6收集的视频数据。中继点可以是例如第一地面站和/或第三地面站。
在一些实施例中，相邻地面站之间的距离的范围可以从约30km至约35km。在一些实施例中，相邻地面站之间的距离可以小于30km、25km、20km、15km、10km或5km。在一些其他实施例中，相邻地面站之间的距离可以大于35km、40km、45km、50km、60km、70km、80km或100km。在一些情况下，来自每个地面站的信号传输的范围的圆形半径可以是约20km，小于20km或大于20km。
广播请求和频道分配的管理
图8示出了根据一些实施例的视频广播系统800中的示例性的信息交换。信息交换可以发生在广播端和控制中心之间。广播端可以向控制中心发送广播请求(802)。控制中心可以基于广播端的一个或多个操作参数来处理广播请求(804)。操作参数可以包括(1)与一个或多个UAV的操作相关联的第一组参数，以及(2)与一个或多个UAV被配置为操作的环境相关联的第二组参数，如本文别处所述。在一些实施例中，第一组参数可以包括：(1)UAV的运动路径，(2)要广播的视频数据的类型和/或(3)UAV广播的许可级别。在一些实施例中，第二组参数可以包括广播端的环境条件。
控制中心可以基于一个或多个操作参数来批准或拒绝广播请求，如本文别处所述。具体地说，控制中心可以确定是否允许广播端处的UAV向收看端广播视频数据。
当控制中心确定允许UAV广播视频数据时，控制中心可以向该UAV分配频道资源。例如，当允许UAV广播视频数据时，控制中心可以向广播端通知批准广播请求(806-1)。相反，当不允许UAV广播视频数据时，控制中心可以向广播端通知拒绝广播请求(806-2)。当批准该广播请求时，控制中心可以确定一个或多个频道地址和对应的频道标识(808)。控制中心还可以向广播端的相应的UAV发送与每个频道地址和频道ID有关的信息(810)。每个UAV可以被配置为通过所分配的频道地址和频道ID来广播视频数据(812)。
在一些实施例中，控制中心可以基于广播端的网络条件来确定数据传输或频道分配方式。在一些实施例中，如果广播端具有良好的网络条件，则控制中心可以从“频道池”或可用广播频道的列表中选择靠近广播端的位置的频道。控制中心可以通过向广播端返回频道地址和频道标识来向所选频道通知请求的广播端。在一些实施例中，控制中心可以将频道地址和频道ID添加到分组的头中，并将分组发送给广播端。广播端转而可以通过所分配的频道将视频数据发送到控制中心。
在一些实施例中，控制中心可以监视来自每个频道的业务负载，并当与这些频道相关联的业务负载高于预定阈值时，确定所述一个或多个频道过载。在上述实施例中，控制中心可以选择更靠近广播端的位置的一个或多个中继节点以形成广播路径，并进一步从频道池或可用频道列表中选择频道。然后，控制中心可以将一个或多个中继节点的地址和所选频道ID发送到广播端。
在一些实施例中，控制中心可以基于一个或多个因素来更新或改变频道地址和频道ID。这些因素可以包括环境条件、业务负载、服务质量(QoS)、UAV的飞行路径、UAV和/或地面站的位置、广播端的数量等。例如，当(如从广播端报告)环境条件开始恶化时，控制中心可以阻止在一部分所分配的频道上广播视频数据，直到环境条件改善为止。在一些实例中，当由控制中心监视的业务负载降低到预定级别以下(例如，欠载状况)时，控制中心可以减少所分配的频道的数量，并分配一部分频道以由其他位置的其他广播端重新使用。在一些实例中，当由控制中心监视的业务负载高于预定级别(例如，过载状况)时，控制中心可以从频道池或可用频道列表中选择一个或多个开放频道。
在一些实例中，控制中心可以分配、更新、改变或重新分配频道，以便满足预期或期望的QoS。例如，在考虑相对于带宽、延迟、延迟抖动、丢包率等的QoS要求之后，控制中心可以分配、改变或更新频道地址和频道ID，使得经由所分配的频道的视频广播将具有较高的QoS级别。
控制中心可以被配置为处理从广播端接收的广播数据(814)。可以处理广播数据以生成不同类型的数据，例如，增强现实(AR)/虚拟现实(VR)数据、3-D数据、地图、图形用户界面(GUI)和/或与视频数据相关联的节目列表。在一些实施例中，可以在广播端的地面站处生成上述类型的数据中的一个或多个。
在一些情况下，当广播端停止收集视频数据(例如，当UAV终止对目标的视觉跟踪或事件的覆盖)时，广播端可以向控制中心发送终止请求以终止该视频广播(816)。控制中心可以向收看端提供终止消息(818)。终止消息可以指示已终止在一个或多个频道上对视频数据的传输。控制中心可以通过使那些频道可用于从另一广播端发送的视频数据来重新利用这些频道(820)。
在一些实例中，当广播端释放所分配的频道时，可以发生重新利用。例如，当完成视频广播时，广播端可以释放所分配的频道。在一些实例中，当控制中心在预定时间段之后未能从广播端接收任何视频广播数据时，可以发生所述重新利用。这可以是由于连接性差、网络拥塞、环境条件变化、网络故障等原因。在上述实例中，控制中心可以例如通过将所分配的频道返回频道池或可用频道列表来自动撤回所分配的频道。在更新可用频道列表之后，控制中心可以将先前撤回的频道分配给其他广播端进行视频广播。
视频数据的编码/解码
在一些实施例中，数据的处理可以包括对由广播端收集的视频数据进行编码和解码。例如，参考图9，广播端910可以包括由N个摄像机捕获的环境、目标对象或事件多个(N)图像视图(916-1、916-2、...、916-N)。摄像机可以安装在多个UAV上，如本文别处所述。每个UAV可以具有安装在UAV的不同位置处的一个或多个摄像机。图像视图可以被发送给编码器940，例如视频编码器。在一些实施例中，编码器可以位于广播端的UAV(例如，主UAV)或地面站上。在其他实施例中，编码器可以位于控制中心。
在一些实施例中，编码器可以是多视角视频编码(MVC)编码器。编码器可以被配置为接收N个时间上同步的视频流并生成比特流。可以经由一个或多个频道将比特流从广播端无线发送到收看端。在一些实例中，该比特流可以在传输之前被存储在一个或多个存储器单元上。可以从编码器940将该比特流发送到解码器950。解码器可以位于地面站。备选地，解码器可以位于控制中心。在一些实施例中，解码器可以是多视角视频编码(MVC)解码器。解码器可以被配置为接收比特流并对比特流进行解码，并将多个视频信号输出到收看端930。多个视频信号可以包括不同类型的视频信号。例如，视频信号可以包括：(1)用于电视或高分辨率电视的地面电视信号934，(2)包括左眼图像936-1和右眼图像936-2的立体视频936，和/或包括从不同视点捕获的多个不同图像(例如，938-1、938-2和938-3)的多视角视频938。视频信号可以被转换为显示在收看端的一个或多个用户终端上的图像。在一些实施例中，用户终端可以包括能够显示立体图像数据和/或多视角图像数据的显示装置。备选地，显示设备可以是可穿戴设备，诸如，头戴式显示器或一对支持VR或AR的眼镜。
收看端
接下来，将描述收看端的用户与广播端的UAV之间的双向交互。图10示出了根据一些实施例的通过控制中心管理收看端和广播端之间的双向交互的视频广播系统。视频广播系统1000可以包括广播端1010、控制中心1020和收看端1030，如本文别处所述。
收看端可以包括多个用户终端1032。用户终端可以是能够显示从广播端的一个或多个UAV流式传播的视频的计算设备。在一些实施例中，用户终端可以用于访问正在流式传播视频的一个或多个网页。在一些其他实施例中，用户终端可以用于在增强现实(AR)环境或虚拟现实(VR)环境中显示视频。
如图10所示，收看端可以包括多个用户终端。每个用户终端可以与用户相关联。在一些实施例中，多于一个的用户可以与用户终端相关联。备选地，可以将多于一个的用户终端与用户相关联。用户可以地理上位于相同位置处或不同地理位置处(例如，不同的城市、国家等)。用户可以远离广播端。
收看端可以包括多个节点。收看端的每个用户终端可以对应于一个节点。如果“用户终端1032”之后是数字或字母，则表示“用户终端1032”可以对应于共享相同数字或字母的节点。例如，用户终端1032-1可以对应于与用户1相关联的节点1，用户终端1032-2可以对应于与用户2相关联的节点2，并且用户终端1032-k可以对应于与用户k相关联的节点k，其中k可以是大于1的任何整数。
节点可以是收看端内的逻辑独立的实体。因此，收看端中的多个节点可以表示不同的实体。例如，每个节点可以与用户、一组用户或多组用户相关联。例如，在一个实施例中，节点可以对应于单个实体(例如，个体)。在一些特定实施例中，节点可以对应于多个实体(例如，正在观看从广播端流式传播的视频的一组个体)。
用户可以是经登记的或与实体相关联的，其中所述实体提供与所公开的实施例执行的一个或多个操作相关联的服务。例如，用户可以是提供或管理控制中心和/或广播端的实体(例如，公司，组织，个人等)的登记用户。所公开的实施例不限于用户与提供或管理控制中心的服务器和/或广播端的UAV或地面站的实体、个人或多个实体之间的任何特定关系或关联。
在图10中，可以在控制中心和每个用户终端之间提供双向数据传输能力。用户终端还可以经由控制中心彼此通信(例如，使用客户端-服务器架构)。在一些实施例中，用户终端可以经由对等通信频道来彼此直接通信。通过利用用户终端的资源(例如，带宽，存储空间和/或处理能力)，对等通信频道可以帮助减少控制中心上的工作量。
用户终端可以是任何类型的外部设备。用户终端的示例可以包括但不限于：智能电话/手机、平板电脑、个人数字助理(PDA)、膝上型计算机、台式计算机、媒体内容播放器、视频游戏站/系统、虚拟现实系统、增强现实系统、可穿戴设备(例如手表、眼镜、手套、头饰(例如帽子、头盔、虚拟现实耳机、增强现实耳机、头戴式装置(HMD)、头带)、吊坠、臂章、腿带、鞋子、背心)、手势识别设备、麦克风、能够提供或呈现图像数据的任何电子设备，或任何其他类型的设备。用户终端可以是手持式物体。用户终端可以是便携式的。用户终端可以是由人类用户携带的。用户终端可以是由人类用户佩戴的。在一些情况下，用户终端可以远离人类用户，且用户可以使用无线和/或有线通信来控制用户终端。
用户终端可以包括一个或多个处理器，所述处理器能够执行可以为一个或多个动作提供指令的非暂时性计算机可读介质。用户终端可以包括一个或多个存储器存储设备，其包括包含用于执行一个或多个动作的代码、逻辑或指令的非暂时性计算机可读介质。用户终端可以包括允许用户终端显示从广播端流式传播的视频并允许用户与广播端的UAV/摄像机进行交互的软件应用。用户终端可以包括通信单元，所述通信单元可以允许与控制中心和/或广播端的通信。在一些实例中，通信单元可以包括单个通信模块或多个通信模块。在一些实例中，用户终端可以能够使用单个通信链路或多个不同类型的通信链路与控制中心和/或广播端进行交互。
用户终端可以被配置为从一个或多个用户接收输入。用户可以使用输入设备(诸如键盘、鼠标、触摸屏面板、手持运动控制器、触摸笔、语音识别和/或听写软件或其任意组合)向用户终端提供输入。输入可以包括在所显示的视频环境中执行各种虚拟动作。输入还可以包括例如通过向UAV/摄像机/地面站提供指令来实时地与广播端进行交互。不同用户可以提供不同输入以修改或影响在广播端收集的视频，如下文参考图13至图16所述。
参考图10，控制中心可以被配置为从广播端接收广播数据。广播数据可以包括由多个UAV收集的视频数据。UAV可以经由所分配的频道向控制中心发送广播数据。在一些实施例中，广播数据可以从一个或多个地面站(广播端)发送到控制中心。如上所述，UAV可以被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站通信。控制中心可以被配置为通过所分配的频道来流式传播来自UAV的视频数据。在一些实施例中，控制中心可以被配置为处理从广播端接收的广播数据以产生以下至少一项：增强现实(AR)/虚拟现实(VR)数据、3-D数据、地图、图形用户界面(GUI)和/或与视频数据相关联的节目列表。节目列表可以包括对应于正在广播视频数据的不同频道的收看节目列表。
控制中心可以被配置为向收看端提供和/或流传播经处理的广播数据。收看端的用户终端可以被配置为显示广播数据。在一些实施例中，用户终端可以被配置为显示视频、AR/VR数据、3-D数据、地图以及由广播端收集的其他信息。
在图10的示例中，控制中心可以被配置为接收和处理来自广播端的广播数据，并将经处理的广播数据发送到收看端的用户。在一些实施例中，广播端可以被配置为在控制中心已批准该广播请求并分配用于广播的频道之后，将该广播数据直接发送到收看端。图11示出了上述操作，其中图11与图10的操作相似。参考图11的部分A，控制中心1120可以接收并处理来自广播端1110的广播请求，如本文别处所述。广播端可以包括多个UAV。在一些情况下，UAV可以与一个或多个地面站通信。控制中心可以批准或拒绝广播请求。如果批准了广播请求，则控制中心可以向广播端分配频道，其中通过所述频道将广播数据流式传播到收看端。
在控制中心已将频道分配给广播端之后，广播端可以将该广播数据直接流式传播到收看端的多个用户1130，而不必通过控制中心传送该数据。用户可以与用户设备1132-1、1132-2至1132-k相关联，其中k可以是任何整数，如上所述。广播端可以继续与控制中心进行通信，如广播端1110和控制中心1120之间的双向通信(点状箭头)所示。例如，当视频广播已结束(或将要结束)时，广播端可以向控制中心发送广播终止请求，使得控制中心可以将所述频道重新分配给具有要广播的可用内容的另一广播端，如本文别处所述。
与广播端的用户交互
在一些情况下，收看端的用户可以通过显示在用户终端上的链接来从节目列表中选择一个或多个收看节目。该链接可以包括统一资源定位符(URL)和/或机器可读代码，其允许用户在选择该链接时访问节目/视频。在一些实施例中，节目列表和链接可以发布在互联网的一个或多个网页上。用户终端可以被配置为向用户显示正在一个或多个收看节目中流式传播的视频数据。
收看端的一个或多个用户可以在用户终端上观看视频，并通过用户终端上提供的图形用户界面(GUI)与广播端进行交互。在一些实施例中，用户终端可以包括移动设备或头戴式显示器(HMD)。用户终端可以被配置为接收来自用户的不同类型的输入。不同类型的用户输入可以包括语音控制、运动控制和/或触摸(触觉)控制。可以使用位于用户终端的惯性测量单元(IMU)中提供的一个或多个传感器来实现运动控制。传感器可以包括一个或多个加速度计和/或陀螺仪。用户终端可以被配置为在增强现实(AR)或虚拟现实(VR)环境中显示视频数据。可以在由广播端处的一个或多个UAV捕获的第一人称视角(FPV)中描述AR或VR环境。
当用户与被嵌入在显示于用户终端上的GUI/视频中的一个或多个图形元素进行交互时，可以检测来自收看端的用户输入。用户对图形元素的选择或操纵可以允许用户与广播端进行交互。用户输入可以包括被配置为与广播端进行交互的一个或多个指令。在一些实施例中，控制中心可以被配置为从收看端接收并处理用户输入，并将经处理的用户输入发送到广播端以在广播端调整视频广播。
收看端的用户可以通过用户输入中的指令来控制广播端处的一个或多个UAV。所述指令可以被配置为控制一个或多个UAV的(1)视点(POV)和/或(2)运动。例如，可以通过调整一个或多个UAV的朝向和/或位置来控制POV。备选地，可以通过调整由一个或多个UAV支持的一个或多个摄像机的朝向和/或放大功能来控制POV。可以通过调整一个或多个UAV的运动路径和/或运动特性来控制所述UAV的运动。在一些实施例中，指令可以被被配置为控制广播端处的UAV以不同队形移动，以从不同的视点收集视频数据。
在一些实例中，与广播端的用户交互可以包括用户影响通过由广播端正广播的数据描绘的真实生活事件的结果。真实生活事件可以是由广播端处的一个或多个UAV捕获的拍卖、游戏或竞赛。例如，UAV可以正捕获体育赛事、真人电视秀等的视频。用户对在用户终端的GUI上的一个或多个图形元素的选择或操纵可以指示在拍卖、游戏或竞赛期间的用户投票或投标。在一些实例中，控制中心和/或广播端可以部分地基于用户的投票或投标来确定拍卖、游戏或竞赛的结果。在一个示例中，UAV可以捕获在真人电视秀中的参与者的视频。收看端的用户可以通过选择收看端的用户终端上的一个或多个图形元素，来给他们喜爱的参与者进行投票。因此，收看端的一个或多个用户可以与广播端交互，以影响真实生活事件的结果。
在一些实施例中，收看端的多个用户可以提供多个用户输入。控制中心和/或广播端可以被配置为处理用户输入。可以处理该用户输入以确定用户输入是否包含用于控制广播端处的UAV的冲突的指令。在一些实施例中，可以基于与每个用户相关联的优先级别来解决所述冲突的指令。例如，如果第一用户比第二用户具有更高的优先级，则可以仅将来自第一用户的指令提供给广播端处的UAV。备选地，可以修改来自第一用户和第二用户的指令，使得该指令不彼此冲突。例如，可以修改指令，以便控制UAV的不同方面或功能(例如，用于控制UAV的飞行的一组指令以及用于控制UAV上的摄像机的另一组指令)。在一些情况下，可以基于优先级别来顺序地处理指令，使得在向UAV提供来自较低优先级别的用户的指令之前，先将来自较高优先级别的用户的指令提供给UAV。在一些实施例中，可以以交替循环方式向UAV提供来自不同用户的指令，使得用户可以轮流控制UAV。在一些情况下，可以基于用户提供的投票数来解决冲突的指令。例如，与提交较少投票数的用户(或较少参与与广播端处的UAV进行交互的用户)相比，提交较多投票数的用户(或积极参与广播端处的UAV进行交互的用户)可以首先将它们的指令提供给所述UAV。
在一些实施例中，可以处理用户输入以确定用户输入是否满足操作条件。操作条件可以包括以下项的一个或多个：(1)用户控制UAV的许可级别，(2)对UAV施加的飞行规定，或(3)UAV操作的环境条件。广播端的控制中心和/或地面站可以被配置为当确定用户输入满足操作条件时，生成一组UAV控制指令。UAV控制指令的集合可以被配置为控制广播端的一个或多个UAV。在一些情况下，对用户输入的处理可以作为安全检查，以确保UAV在环境中的操作安全性或以符合飞行规定。
在一些实施例中，如果用户输入不满足操作条件，则广播端的控制中心和/或地面站可以被配置为修改用户输入中的指令，以确保满足操作条件。例如，控制中心和/或地面站可以修改用户输入中的指令，使得修改后的指令符合飞行规定或环境条件。
飞行规定和环境条件
可以根据一组飞行规定来管理广播端的一个或多个UAV的活动。该组飞行规定可以包括对UAV的操作施加的一个或多个飞行限制或条件。以下描述各种类型的飞行规定及其示例。
飞行规定可以管理广播端处的一个或多个UAV的物理部署。例如，飞行规定可以规定UAV的飞行、UAV的起飞和/或UAV的着陆。飞行规定可以指示UAV可以飞行或不可以飞行的表面区域，或UAV可以飞行或不可以飞行的空间体量。飞行规定可以涉及UAV的位置(例如，UAV位于空间中或底层表面上的何处)和/或UAV的朝向。在一些示例中，飞行规定可以阻止UAV在分配空间(例如，空域)内和/或在分配区域(例如，底层地面或水)上飞行。飞行规定可以包括不允许UAV飞行的一个或多个边界。在其他示例中，飞行规定可以只允许UAV在分配空间内和/或分配区域内飞行。飞行规定可以包括允许UAV在其内飞行的一个或多个边界。可选地，飞行规定可以阻止UAV在高度上限以上飞行，其中所述高度上限可以是固定的或是可变的。在另一实例中，飞行规定可以阻止UAV在高度下限以下飞行，其中所述高度下限可以是固定的或是可变的。可以要求UAV在高度下限和高度上限之间的高度飞行。在另一示例中，UAV可能无法在一个或多个高度范围内飞行。例如，飞行规定可以仅允许UAV的特定朝向范围，或不允许UAV的特定朝向范围。UAV的朝向范围可以是相对于一个轴、两个轴或三个轴的。所述轴可以是正交轴，例如偏航轴、俯仰轴或滚动轴。
飞行规定可以管理广播端处的一个或多个UAV的移动。例如，飞行规定可以管理UAV的平移速度、UAV的平移加速度、UAV的角速度(例如，绕一个轴、两个轴或三个轴)或UAV的角加速度(例如，绕一个轴、两个轴或三个轴)。飞行规定可以针对UAV平移速度、UAV平移加速度、UAV角速度或UAV角加速度设定最大限制。因此，该组飞行规定可以包括限制UAV的飞行速度和/或飞行加速度。飞行规定可以针对UAV平移速度、UAV平移加速度、UAV角速度或UAV角加速度设定最小阈值。飞行规定可以要求UAV在最小阈值和最大限制之间移动。备选地，飞行规定可以阻止UAV在一个或多个平移速度范围、平移加速度范围、角速度范围或角加速度范围内移动。在一个示例中，可以不允许UAV在指定空域内悬停。可以要求UAV以高于0mph的最小平移速度飞行。在另一示例中，可以不允许UAV飞得太快(例如，在40mph的最大速度限制以下飞行)。可以关于分配空间和/或分配区域来管理UAV的移动。
飞行规定可以管理针对广播端的一个或多个UAV的起飞和/或着陆过程。例如，可以允许UAV在所分配的地区内飞行，但不允许在所分配的地区内进行着陆。在另一示例中，UAV可以只能够以某种方式或以特定速度从分配区域起飞。在另一示例中，可以不允许手动起飞或着陆，并必须在分配区域内使用自主着陆或起飞过程。飞行规定可以管理是否允许起飞、是否允许着陆、起飞或着陆必须遵守的任何规定(例如，速度、加速度、方向、朝向、飞行模式)。在一些实施例中，仅允许用于起飞和/或着陆的自动序列，而不允许手动着陆或起飞，或反之亦然。可以关于分配空间和/或分配区域来管理UAV的起飞和/或着陆。
在一些实例中，飞行规定可以管理广播端的一个或多个UAV的搭载物的操作。UAV的搭载物可以是传感器、发射器或可以由UAV携带的任何其它对象。可以打开或关闭搭载物。搭载物可以呈现为可操作(例如，通电)的或不可操作的(例如，断电)。飞行规定可以包括不允许UAV操作搭载物的条件。例如，飞行规定可以要求在所分配的空域中搭载物是断电的。搭载物可以发出信号，且飞行规定可以管理信号的性质、信号的幅度、信号的范围、信号的方向或任何操作模式。例如，如果搭载物是光源，则飞行规定可以要求所述光在所分配的空域内不比阈值强度更亮。在另一示例中，如果搭载物是用于发出声音的扬声器，则飞行规定可以要求该扬声器在所分配的空域之外不发出任何噪声。搭载物可以是收集信息的传感器，且飞行规定可以管理收集信息的模式、关于如何预处理或处理信息的模式、收集信息的分辨率、收集信息的频率或采样速率、收集信息的范围、或收集信息的方向。例如，搭载物可以是图像捕获设备。图像捕获设备可以能够捕获静态图像(例如，静止图像)或动态图像(例如，视频)。飞行规定可以管理图像捕获设备的变焦、图像捕获设备捕获的图像的分辨率、图像捕获设备的采样率、图像捕获设备的快门速度、图像捕获设备的光圈、是否使用闪光灯、图像捕获设备的模式(例如，照明模式、彩色模式、静止与视频模式)或图像捕获设备的焦点。在一个示例中，可以不允许摄像机在分配区域上捕获图像。在另一示例中，可以允许摄像机在分配区域上捕获图像，但是不能在分配区域上捕获声音。在另一示例中，可以仅允许摄像机在分配区域内捕获高分辨率照片，且仅允许在分配区域之外拍摄低分辨率照片。在另一示例中，搭载物可以是音频捕获设备。飞行规定可以管理是否允许音频捕获设备通电、音频捕获设备的灵敏度、音频捕获设备能够拾取的分贝范围、音频捕获设备的方向性(例如，针对抛物面麦克风)、或音频捕获设备的任何其他量。在一个示例中，可以允许或不允许音频捕获设备在分配区域内捕获声音。在另一示例中，可以允许音频捕获设备在分配区域内捕获在特定频率范围内的声音。可以关于分配空间和/或分配区域来管理搭载物的操作。
飞行规定可以管理广播端的一个或多个UAV的搭载物是否可以传输或存储信息。例如，如果搭载物是图像捕获设备，则飞行规定可以管理是否可以记录(静止或动态的)图像。飞行规定可以管理可以将图像记录到图像捕获设备上的机载存储器还是UAV上的存储器中。例如，可以允许图像捕获设备通电并在本地显示器上示出捕获图像，但是可以不允许图像捕获设备记录任何图像。飞行规定可以管理可以从图像捕获设备向外还是从UAV向外部流式传播图像。例如，飞行规定可以指示当UAV在所分配的空域内时可以允许UAV上的图像捕获设备将视频向下流式传播到UAV外部的终端，而当UAV在所分配的空域外时不能向下流式传播视频。类似地，如果搭载物是音频捕获射频，飞行规定可以管理可以将声音记录到音频捕获设备的机载存储器中还是UAV上的存储器中。例如，可以允许音频捕获设备通电并在本地扬声器上回放所捕获的声音，但是可以不允许图像捕获设备记录任何声音。飞行规定可以管理可以从音频捕获设备向外还是从任何其他搭载物向外流式传播图像。可以关于分配空间和/或分配区域来管理对所收集数据的存储和/或传输。
在一些实例中，搭载物可以是UAV所携带的物品，且飞行规定可以指示搭载物的特征。搭载物的特征的示例可以包括搭载物的尺寸(例如，高度、宽度、长度、直径、对角线)、搭载物的重量、搭载物的稳定性、搭载物的材料、搭载物的易碎易碎性或搭载物的类型。例如，飞行规定可以指示当UAV在分配区域上方飞行时可以携带不超过3磅的包裹。在另一示例中，飞行规定可以允许UAV仅在分配空间内携带尺寸大于1英尺的包裹。另一飞行规定可以允许UAV在分配空间内携带1磅或更重的包装时飞行5分钟，并且如果UAV在5分钟内没有离开分配空间，则会使该UAV自动着陆。可以对搭载物本身的类型设置限制。例如，UAV不可以携带不稳定或可能爆炸的搭载物。飞行限制可以阻止UAV携带易碎对象。可以关于分配的空间和/或在分配区域上调整搭载物的特征。
飞行规定还可以指明可以关于由广播端处的一个或多个UAV携带的物品执行的活动。例如，飞行规定可以指明物品是否可以在分配区域内掉落。类似地，飞行规定可以规定是否可以从分配区域拾起物品。UAV可以具有可以有助于掉落或拾取物品的机械手或其他机械结构。UAV可以具有能够允许UAV携带物品的携带舱。可以关于分配空间和/或分配区域调整与搭载物相关的活动。
飞行规定可以管理搭载物相对于UAV的定位。搭载物相对于UAV的位置可以是可调整的。搭载物相对于UAV的平移位置和/或搭载物相对于UAV的朝向可以是可调整的。平移位置可以相对于一个轴、两个轴或三个正交轴是可调节的。搭载物的朝向可以相对于一个轴、两个轴或三个正交轴(例如，俯仰轴、偏转轴或滚动轴)是可调节的。在一些实施例中，搭载物可以用能够控制搭载物相对于UAV的定位的载体与UAV连接。所述载体可以支撑UAV上的搭载物的重量。所述载体可以可选地是万向平台，其可以允许搭载物相对于UAV相对一个轴、两个轴或三个轴旋转。可以提供一个或多个框架组件和一个或多个致动器，其可以实现对搭载物的定位的调整。飞行规定可以要求载体或任何其他机械结构调整搭载物相对于UAV的位置。在一个示例中，飞行规定可以不允许搭载物在飞越分配区域时面向下方。例如，该区域可以具有可能不希望被搭载物捕获的敏感数据。在另一示例中，飞行规定可以要求搭载物在所分配的空域内相对于UAV向下平移地移动，这可以允许更宽的视野，诸如，全景图像捕获。可以关于分配空间和/或分配区域来管理搭载物的定位。
飞行规定可以管理广播端的UAV的一个或多个传感器的操作。例如，飞行规定可以管理打开还是关闭传感器(或者打开或关闭哪个传感器)、收集信息的模式、关于如何预处理或处理信息的模式、收集信息的分辨率、收集信息的频率或采样速率、收集信息的范围、或收集信息的方向。飞行规定可以管理传感器是否可以存储或传输信息。在一个示例中，当UAV处于分配空间内时，可以关闭GPS传感器，同时打开视觉传感器或惯性传感器用于导航目的。在另一示例中，可以在分配区域上方飞行时关闭UAV的音频传感器。可以关于分配空间和/或分配区域来管理一个或多个传感器的操作。
可以根据一个或多个飞行规定来控制广播端的一个或多个UAV的通信。例如，UAV可以能够与一个或多个远程设备进行远程通信。远程设备的示例可以包括：遥控器，可以控制UAV、搭载物、载体、传感器或UAV的任何其他组件的操作；显示终端，可以示出由UAV接收的信息；数据库，可以从UAV或任何其他外部设备收集信息。远程通信可以是无线通信。通信可以是UAV与远程设备之间的直接通信。直接通信的示例可以包括WiFi、WiMax、射频、红外、视觉或其他类型的直接通信。通信可以是UAV和远程设备之间的间接通信，其可以包括一个或多个中间设备或网络。间接通信的示例可以包括3G、4G、LTE、卫星或其他类型的通信。飞行规定可以指明远程通信是开启的还是关闭的。飞行规定可以包括不允许UAV在一个或多个无线条件下进行通信的条件。例如，当UAV在所分配的空域空间内时，可以不允许进行通信。飞行规定可以指明可以被允许或不被允许的通信模式。例如，飞行规定可以指明是否允许直接通信模式、是否允许间接通信模式、或是否在直接通信模式和间接通信模式之间建立偏好。在一个示例中，仅允许在分配空间内直接通信。在另一示例中，在分配区域上，只要直接通信是可用的，就可以建立对直接通信的偏好，否则可以使用间接通信；而在分配区域之外，不允许通信。飞行规定可以指明通信的特征，例如，所用带宽、所用频率、所用协议、所用加密、可以使用的有助于通信的设备。例如，当UAV在预定空间内时，飞行规定可以仅允许利用现有网络进行通信。飞行规定可以关于分配空间和/或在分配区域上管理UAV的通信。
可以根据飞行规定管理广播端的UAV的其他功能(例如，导航，电力使用和监控)。电力使用和监控的示例可以包括基于电池和电力使用信息的剩余飞行时间量、电池的充电状态或基于电池和电力使用信息的剩余估计距离量。例如，飞行规定可以要求在分配空间内操作的UAV的剩余电池寿命至少为3小时。在另一示例中，飞行规定可以要求当UAV在分配区域外部时该UAV至少处于50％的充电状态。飞行规定可以关于分配空间和/或在分配区域上来管理这种附加功能。
对于一组飞行规定，分配空间和/或分配区域可以是静态的。例如，对于该组飞行规定，分配空间和/或分配区域的边界可以不随时间变化。备选地，边界可以随时间而变化。例如，分配区域可以是学校，且分配区域的边界可以包括在上学期间的学校。放学后，可以缩小边界或可以移除分配区域。可以在下课后的几个小时期间在儿童参加课外活动的附近公园处创建分配区域。对于一组飞行规定，关于分配空间和/或分配区域的规则可以不随时间变化或可以随时间变化。可以通过一天中的时间、星期几、一月中的第几个星期、月、季度、季节、年或任何其他时间相关因素来指示改变。可以将来自能够提供时间、日期或其他事件相关信息的时钟的信息用于影响边界或规则的改变。一组飞行规定可以具有响应除了时间之外的其他因素的动态组成。其他因素的示例可以包括气候、温度、检测光级别、检测到存在个体或机器、环境复杂性、实际交通量(例如，陆地交通量、行人交通量、空中飞行器交通量)、无线或网络流量、检测到的噪声程度、检测到的运动、检测到的热特征或任何其他因素。
分配空间和/或分配区域可以与地理围栏设备相关联或不相关联。地理围栏设备可以是针对分配空间和/或分配区域的参考点。可以基于地理围栏设备的位置来提供分配空间和/或分配区域的位置。备选地，可以提供分配空间和/或区域，而不需要存在地理围栏设备。例如，可以提供已知的机场坐标，并将其用作针对分配空间和/或分配区域的参考，而不需要在机场的实际的地理围栏设备。可以提供分配空间和/或区域的任意组合，其一部分可以依赖于地理围栏设备，且其一部分一些可以不依赖于地理围栏设备。
飞行规定可以引起广播端的一个或多个UAV的任何类型的飞行响应措施。例如，UAV可能会改变路线。UAV可以自动地从手动模式进入自主或半自主的飞行控制模式，或者可以不响应某些用户输入。UAV可以允许另一用户接管对UAV的控制。UAV可以自动着陆或起飞。UAV可以向用户发送警报。UAV可以自动减速或加速。UAV可以调整搭载物、载体、传感器、通信单元、导航单元、功率调节单元的操作(其可以包括停止操作或改变操作参数)。飞行响应措施可以瞬间发生，或者可以在一段时间(例如，1分钟、3分钟、5分钟、10分钟、15分钟、30分钟)之后发生。这段时间可以是用户在飞行响应措施起作用之前做出反应和对UAV进行一些控制的宽限期。例如，如果用户正在接近飞行限制区，则用户可以收到警报，并可以改变UAV的路线以退出飞行限制区。如果用户在宽限期内没有响应，则UAV可以自动降落在飞行限制区内。UAV通常可以根据来自由远程用户操作的遥控器的一个或多个飞行命令操作。当该组飞行规定和来自收看端的一个或多个飞行命令冲突时，飞行响应措施可以忽略所述一个或多个飞行命令。例如，如果收看端的用户指示UAV进入禁飞区，则UAV可以自动改变路线，以避开禁飞区。备选地，广播端的地面站可以控制UAV改变其路线以避开禁飞区。
该组飞行规定可以包括关于以下一个或多个的信息：(1)可以应用该组飞行规定的分配空间和/或区域，(2)一个或多个规则(例如，UAV、搭载物、载体、传感器、通信模块、导航单元、电力单元操作)，(3)一个或多个飞行响应措施(例如，UAV、搭载物、载体、传感器、通信模块、导航单元、电力单元的响应)，以使UAV符合规则，或(4)时间或可以影响所分配的量和/或区域、规则或飞行响应措施的任何其他因素。一组飞行规定可以包括单个飞行规定，其中可以包括关于(1)、(2)、(3)和/或(4)的信息。一组飞行规定可以包括多个飞行规定，其中每个飞行规定可以包括关于(1)、(2)、(3)和/或(4)的信息。可以组合任何类型的飞行规定，且可以根据飞行规定发生飞行响应措施的任意组合。可以为一组飞行规定提供一个或多个分配空间和/或区域。例如，可以为UAV提供一组飞行规定，其中所述一组飞行规定不允许UAV在第一分配空间内飞行，允许UAV在第二分配空间内在高度上限以下飞行但是不允许UAV上的摄像机操作，并且仅允许UAV在第三分配空间内记录音频数据。UAV可以具有可以使UAV符合飞行规定的飞行响应措施。可以覆盖忽略UAV的手动操作以使UAV符合飞行规定的规定。可以自动发生一个或多个飞行响应措施，以忽略用户的手动输入。
可以针对广播端的一个或多个UAV生成一组飞行规定。在一些实施例中，广播端的地面站可以配置成产生一组飞行规定。在一些实施例中，地面站可以被配置为从控制中心接收一组飞行规定。在一些实施例中，地面站可以被配置为从另一实体(例如，管理UAV的操作的政府机构)接收一组飞行规定。生成一组飞行规定可以包括根据草稿制定飞行规定。生成一组飞行规定可以包括从多组可用的飞行规定中选择一组飞行规定。生成一组飞行规定可以包括组合一组或多组飞行规定的特征。例如，生成一组飞行规定可以包括确定要素，例如确定分配空间和/或区域，确定一个或多个规则，确定一个或多个飞行响应措施，和/或确定可以导致任何要素是动态的任何因素。这些要素可以是根据草稿生成的，或可以选自一个或多个预存在的要素选项。在一些实例中，飞行规定可以由用户手动选择。备选地，可以在一个或多个处理器的帮助下自动选择飞行规定，而不需要人为干预。在一些实例中，可以提供一些用户输入，但是一个或多个处理器可以根据用户输入进行飞行规定的最终确定。
一个或多个因素可以产生一套飞行规定。例如，用户信息(对于收看端的每个用户)、UAV信息(对于广播端的每个UAV)和/或地理围栏设备信息可以生成一组飞行规定。在一些实例中，在生成一组飞行规定时仅考虑用户信息，仅考虑UAV信息，仅考虑地理围栏信息，仅考虑远程控制信息，或考虑任意数量个上述因素或其组合。
可以在生成一组飞行规定时考虑其他因素。这些信息可能包括关于本地环境的信息(例如，环境复杂性、城市与农村、交通信息、气候信息)、来自一个或多个第三方源(例如，政府源，如FAA)的信息、时间相关信息、用户输入的偏好或任何其他因素。
在一些实施例中，与特定地理(例如，分配空间、分配区域)相关的一组飞行规定可以是相同的，而不管用户信息、UAV信息、地理围栏设备信息或任何其他信息如何。例如，所有用户可以遵守同一组飞行规定。在另一实例中，所有UAV可以遵守同一组飞行规定。
备选地，基于用户信息、UAV信息和/或地理围栏设备信息，与特定地理位置(例如，分配空间、分配区域)相关的一组飞行规定可以是不同的。用户信息可以包括特定于收看端的个体用户的信息(例如，用户飞行历史、先前用户飞行的记录)和/或可以包括用户类型(例如，用户技能类别、用户体验类别)。UAV信息可以包括特定于广播端的个体UAV的信息(例如，UAV飞行历史、维护或事故记录、唯一序列号)和/或可以包括UAV类型(例如，UAV模型、特征)。
用户类型可以指示操作UAV的用户的经验级别、操作UAV的用户的训练或认证级别、或操作一种或多种类型的UAV的用户的类别。用户标识符可以唯一地标识收看端的每个用户(与其他用户相区分)。控制中心或广播端可以将来自收看端的控制指令与相应用户标识符相关联。
可以通过基于用户标识符从多组飞行规定中选择一组飞行规定来生成所述一组飞行规定。可以通过UAV外的空中控制系统(例如，广播端的地面站或控制中心)来生成所述一组飞行规定。UAV可以通过直接通信频道与空中控制系统进行通信。UAV可以通过一个或多个其他UAV或地面站进行中继来与空中控制系统进行通信。
UAV类型可以指示UAV的模型、UAV的性能或UAV的搭载物。UAV标识符可以唯一地标识广播端处的每个UAV(与其他UAV相区分)。
可以基于包括一个或多个因素的附加因素来生成所述一组飞行规定，如本文别处所述。例如，可以考虑环境条件。例如，如果环境复杂度较高，则可以提供更多的限制，而如果环境复杂度较低，则可以提供较少的限制。如果人口密度较高，则可以提供更多的限制，而如果人口密度较低，则可以提供较少的限制。如果存在较高程度的交通(例如，空中交通或基于地面的交通)，则可以提供更多的限制，而如果存在较低程度的交通，则可以提供较少的限制。在一些实施例中，如果环境气候具有极端温度、有风、包括降水或有可能有雷电，则可以比在环境气候具有更温和的温度、风少、没有降水或降水极少或不可能有雷电的情况下提供更多限制。
可以通过基于UAV标识符从多组飞行规定中选择一组飞行规定来生成一组飞行规定。可以通过UAV外的空中控制系统(例如，广播端的地面站或控制中心)来生成所述一组飞行规定。UAV可以通过直接通信频道与空中控制系统进行通信。UAV可以通过一个或多个其他UAV或地面站进行中继来与空中控制系统进行通信。
如上所述，可以在一组飞行规定中提供各种类型的飞行规定。飞行规定可以特定于UAV或用户，或无需特定于UAV和/或用户。
一组飞行规定可以影响一个或多个区域(例如，二维表面区域上方的空域或空域空间)。可以提供各种区域。可以提供边界来定义所述区域。所述一组飞行规定可以包括与一个或多个区域(区)相关联的一个或多个规则。
在一个示例中，可以提供飞行管制区，可以提供通信管制区且可以提供搭载物管制区。可以提供搭载物和通信管制区以及非管制区。所述区可以具有任何形状或尺寸的边界。例如，区可以具有规则形状，诸如，圆形、椭圆形、卵圆形、方形、矩形、任何类型的四边形、三角形、五边形、六边形、八边形、条形、曲线形等。所述区可以具有不规则形状，其可以包括凸形或凹形部分。
飞行管制区可以施加与UAV的部署或移动相关的一个或多个规则。飞行管制区可以施加可以影响UAV的飞行的飞行响应措施。例如，当UAV在飞行管制区内时，UAV可以仅能够在高度下限和高度上限之间的高度飞行，而飞行限制不施加在飞行管制区外部。
搭载物管制区可以施加与UAV的搭载物的操作或定位相关的一个或多个规则。搭载物管制区可以施加可以影响UAV的搭载物的飞行响应措施。例如，UAV可以不能在搭载物管制区内使用图像捕获设备搭载物捕获图像，而在搭载物限制区外不施加搭载物限制。
通信管制区可以施加与广播端的UAV的通信单元的操作相关的一个或多个规则。通信管制区可以施加影响UAV的通信单元的操作的飞行响应措施。例如，当在通信管制区中时UAV可以不能发送所捕获的数据，但可以允许UAV接收飞行控制信号，而在通信管制区外部不施加所述通信限制。
搭载物和通信管制区可以施加与UAV的搭载物和UAV的通信单元的操作/定位有关的一个或多个规则。例如，当在搭载物和通信管制区域内时UAV可以不能存储由UAV上的图像捕获设备搭载物捕获的图像，且还可能不能向UAV外部流式传播或发送该图像；而在搭载物和通信管制区域外部不施加这种限制。
可以提供一个或多个非管制区。所述非管制区可以是一个或多个边界的外部，或可以处于一个或多个边界内。当在非管制区内时，用户可以保持对UAV的控制，而不会自动启动一个或多个飞行响应措施。用户可以能够在UAV的物理限制内自由地操作UAV。
所述一个或多个区可以相交叠。例如，飞行管制区可以与通信管制区相交叠。在另一示例中，通信管制区可以与搭载物管制区相交叠。在另一示例中，飞行管制区可以与搭载物管制区相交叠。在一些实例中，飞行管制区、通信管制区和搭载物管制区可以都相交叠。
当多个区相交叠时，来自多个区的规则可以保持不变。例如，飞行限制和通信限制二者都可以保留在交叠区中。在一些实例中，只要来自多个区的规则彼此不冲突，就可以保留来自多个区的规则。
如果所述规则之间存在冲突，则可以施加各种规则响应。例如，可以应用最严格的一组规则。例如，如果第一区要求UAV在高度低于400英尺的地方飞行，而第二区域要求UAV在高度低于200英尺的地方飞行，则在交叠区中，可以应用高度低于200英尺的地方飞行的规则。这可以包括混合和匹配一组规则以形成最严格的集合。例如，如果第一区要求UAV飞行高于100英尺且低于400英尺，而第二区要求UAV飞行高于50英尺且低于200英尺，则当处于交叠区内时UAV可以使用第一区的飞行下限和第二区的飞行上限，以在100英尺和200英尺之间飞行。
在另一实例中，可以向所述区提供层级结构。来自该层级结构中较高层级的区的规则可以占优势，而无论它们是否比该层级结构中较低层级的区的规则更严格或更不严格。可以根据规定的类型来指定层级结构。例如，UAV定位飞行规定的排序可以高于通信规定，通信规定的排序可以高于搭载物规定。在其他实例中，关于UAV是否被允许在特定区域内飞行的规则可以战胜该区域的其他规定。可以预先选择或预先输入层级结构。在一些实例中，为区域提供一组规则的用户可以指示层级中哪些区比其他区的级别更高。例如，第一区可以要求UAV在400英尺以下飞行且搭载物是关闭的。第二区可以要求UAV在200英尺以下飞行且没有搭载物限制。如果第一区在层级结构中的级别较高，则可以施加来自第一个区的规则，而不施加来自第二区的任何规则。例如，UAV可以在400英尺以下飞行并且搭载物是被关闭的。如果第二区在层级结构中的级别较高，则可以施加来自第二个区的规则，而不施加来自第一区的任何规则。例如，UAV可以在200英尺以下飞行，并且没有任何搭载物限制。
如上所述，当UAV处于区域中时，一组飞行规定可以向UAV施加不同类型的规则。这可以包括基于UAV位置限制搭载物使用，或基于UAV位置约束无线通信。
搭载物使用参数可以限制在一个或多个预定位置处的搭载物使用。如上所述，搭载物可以是图像捕获设备，且搭载物使用参数可以限制在一个或多个预定位置处的图像捕获设备的操作。搭载物使用参数可以限制使用在一个或多个预定位置处的图像捕获设备对一个或多个图像的记录。搭载物使用参数可以限制使用在一个或多个预定位置处的图像捕获设备对一个或多个图像的传输。在其他实施例中，搭载物可以是音频捕获设备，且搭载物使用参数限制该音频捕获设备在一个或多个预定位置处的操作。
备选地或组合地，搭载物使用参数可以允许在一个或多个预定位置处的搭载物使用。当搭载物是图像捕获设备时，搭载物使用参数可以允许在一个或多个预定位置处的图像捕获设备的操作。搭载物使用参数可以允许使用在一个或多个预定位置处的图像捕获设备对一个或多个图像的记录。搭载物使用参数可以允许使用在一个或多个预定位置处的图像捕获设备对一个或多个图像的传输。搭载物可以是音频捕获设备，且搭载物使用参数可以允许该音频捕获设备在一个或多个预定位置处的操作。
广播端的地面站可以接收到指示UAV的位置的信号，并将UAV的位置与和位置相关的搭载物使用参数进行比较，并确定UAV是否位于限制或允许搭载物的操作的位置处。该位置可以是飞行管制区。可以由监管机构确定飞行管制区。飞行管制区可以距离机场、公共集聚地、政府财产、军事财产、学校、私人住宅、发电站或可以被指定为飞行管制区的任何其他区域在预定距离内。该位置可以随着时间的推移而保持不变，或随着时间而改变。
可以从控制实体接收指示与位置相关的搭载物使用参数的信号。控制实体可以是监管机构、国际组织或公司、或如本文别处描述的任何其他类型的控制实体。控制实体可以是全球机构，诸如，本文别处所述的任何机构和组织。控制实体可以是UAV上或外部的源。控制实体可以是UAV外部的空中控制系统，或UAV外部的认证系统的任何其他部分。控制实体可以是存储在UAV的存储器中的数据库，或可以是存储在UAV外部的数据库。数据库可以被配置为是可更新的。控制实体可以是发送设备，其位于限制或允许搭载物的操作的位置处。在一些实例中，控制实体可以是地理围栏设备，如本文别处所述。
通信使用参数可以限制在一个或多个预定位置处的无线通信使用。无线通信可以是直接通信。无线通信可以包括射频通信、WiFi通信、蓝牙通信或红外通信。无线通信可以是间接通信。无线通信可以包括3G、4G或LTE通信。可以通过不允许任何无线通信来限制通信使用。可以通过允许仅在所选频带内的无线通信使用来限制通信使用。可以通过允许只有当不干扰较高优先级的通信时的无线通信使用，来限制通信使用。在一些实例中，所有其他预先存在的无线通信可以比UAV通信具有更高的优先级。例如，如果UAV在邻域内飞行，则在邻域内发生的各种无线通信可以被认为具有较高优先级。在一些实例中，某些类型的通信可能被认为是具有较高优先级的通信，例如，紧急服务通信、政府或官方通信、医疗设备或服务通信等。备选地或组合地，通信使用参数可以允许在一个或多个预定位置处的无线通信使用。例如，可以在指定范围内允许间接通信，而不允许直接通信。
地面站可以接收到指示UAV的位置的信号，并将UAV的位置与和位置相关的通信使用参数进行比较，并确定UAV是否位于限制或允许通信单元的操作的位置处。该位置可以是通信管制区。可以由监管机构或由个人确定通信管制区。飞行管制区可以距离私人住宅、机场、公共集聚地、政府财产、军事财产、学校、发电站或可以被指定为飞行管制区的任何其他区域在预定距离内。该位置可以随着时间的推移而保持不变，或随着时间而改变。
该位置可以取决于区域内现有的无线通信。例如，如果通信单元的操作将干扰特定区域内的一个或多个现有的无线通信，则该区域可以被识别为通信管制区域。符合通信使用参数的UAV通信单元的操作可以减小电磁干扰或音频干扰。例如，如果正在使用周围的电子设备，则UAV通信单元的某些操作会干扰它们，例如，干扰它们的无线信号。符合通信使用参数的操作UAV通信单元可以减小或消除干扰。例如，UAV通信单元操作在受限频带内可以不干扰周围的电子设备操作或通信。例如，停止UAV通信单元在区域内的操作可以防止干扰周围的电子设备操作或通信。
可以从控制实体接收指示与位置相关的通信使用参数的信号。控制实体可以是监管机构、国际组织或公司、或如本文别处描述的任何其他类型的控制实体。控制实体可以是全球机构，诸如，本文别处所述的任何机构和组织。控制实体可以是UAV上或外部的源。控制实体可以是UAV外部的空中控制系统，或UAV外部的认证系统的任何其他部分。控制实体可以是存储在UAV的存储器中的数据库，或可以是存储在UAV外部的数据库。数据库可以被配置为是可更新的。控制实体可以是发送设备，其位于限制或允许搭载物的操作的位置处。在一些实例中，控制实体可以是地理围栏设备，如本文别处所述。
用户识别和许可级别
在一些实施例中，控制中心或地面站可以在从收看端的不同用户接收的用户指令之间进行比较，并确定用户指令之间是否存在不匹配，或用户指令是否彼此冲突。控制中心或地面站可以修改冲突的指令，或者阻止将冲突的指令发送到UAV。所述修改可以基于对用户和与用户相关联的许可级别的识别。
可以唯一地识别收看端的每个用户。可以借助于用户标识符来唯一地识别用户。用户标识符可以唯一地标识用户且可以将该用户与其他用户区分开。用户可以从收看端操作或控制一个或多个UAV。用户可以控制UAV的飞行、控制UAV的搭载物操作和/或放置、控制UAV的通信、控制UAV的一个或多个传感器、控制UAV的导航、控制UAV的电力使用、或控制UAV的任何其他功能。
可以唯一地识别广播端的每个UAV。可以借助UAV标识符来识别UAV。UAV标识符可以唯一地标识UAV且可以将该UAV与其他UAV区分开。
在一些实例中，可以授权用户操作UAV。在能够操作UAV之前需要识别一个或多个单独用户。在一些实例中，可以授权所有用户(当被识别出时)来操作UAV。可选地，只可以授权所选用户组(当被识别出时)来操作UAV。一部分用户不可以被授权来操作UAV。
在收看端的用户许可UAV的操作之前，广播端的控制中心或地面站可以确定是否授权该用户操作UAV。控制中心或地面站可以从收看端接收用户标识符并从UAV接收UAV标识符。可以确定是否授权用户操作UAV。如果用户未被授权操作UAV，则不允许用户操作该UAV。如果用户被授权操作UAV，则允许用户操作该UAV。
可以接收用户标识符。可以从收看端的用户终端接收用户标识符。可以从用户输入接收用户标识符。可以基于用户输入从存储器中获取用户标识符。可选地，可以将用户输入提供给用户终端或另一设备。用户可以在提供用户标识符时登录或经历任何认证过程。用户可以通过用户终端手动输入用户标识符。用户标识符可以存储在用户设备上。可以从存储器存储用户标识符，而不需要用户手动输入用户标识符。
UAV可以在操作期间广播UAV标识符。可以连续地广播UAV标识符。备选地，可以根据请求广播UAV标识符。可以根据UAV外部的空中控制系统(例如，地面站)、UAV外部的认证系统或任何其他设备的请求来广播UAV标识符。当可以对UAV和空中控制系统之间的通信进行加密或认证时，可以广播UAV标识符。在一些实例中，可以响应于事件来广播UAV标识符。例如，当UAV开启时，可以自动广播UAV标识符。可以在初始化过程期间广播UAV标识符。可以在认证过程期间广播UAV标识符。可选地，可以经由无线信号(例如，无线电信号、光信号或声信号)来广播UAV标识符。可以使用直接通信来广播标识符。备选地，可以使用间接通信来广播标识符。
可以由位于控制中心或地面站处的认证系统接收用户标识符和/或UAV标识符。可以在认证系统的认证中心或空中控制系统处接收用户标识符和/或UAV标识符。一个或多个处理器可以被配置为基于用户标识符和/或UAV标识符来确定是否授权该用户来操作UAV。可以在UAV上或在UAV(例如，在地面站或控制中心)外部做出确定。在一些实例中，可以由认证系统做出确定。
可以在产生一组或多组飞行规定的设备或系统上做出确定。例如，可以在空中控制系统处做出所述确定，所述空中控制系统可以生成一组或多组飞行规定，其中UAV在所述飞行规定下操作。一组或多组飞行规定可以取决于UAV的位置或与UAV有关的任何其他因素。可以基于用户标识符和/或UAV标识符来生成一组或多组飞行规定。
当确定是否授权用户操作UAV时，可以考虑用户标识符和UAV标识符。在一些实例中，可以单独考虑用户标识符和UAV标识符。备选地，可以考虑附加信息。关于用户的信息可以与用户标识符相关联。例如，关于用户类型的信息(例如，技能水平、经验水平、认证、许可证、训练)可以与用户标识符相关联。用户的飞行历史(例如，用户已经飞过的地方，用户已飞行的UAV的类型、用户是否发生过任何事故)可以与用户标识符相关联。关于UAV的信息可以与UAV标识符相关联。例如，关于UAV类型的信息(例如，型号、制造商、特性、性能参数、操作难度级别)可以与UAV标识符相关联。UAV的飞行历史(例如，UAV已飞行的地方、先前与该UAV进行交互的用户)也可以与UAV标识符相关联。可以在确定是否授权用户操作UAV时考虑与用户标识符和/或UAV标识符相关联的信息。在一些实例中，可以考虑其他因素，诸如，地理因素、时间因素、环境因素或任何其他类型的因素。
可选地，仅授权单个用户来操作相应的UAV。可以在授权用户和相应UAV之间提供一对一的对应关系。备选地，可以授权多个用户来操作UAV。可以在授权用户和相应UAV之间提供多对一的对应关系。可以仅授权用户操作单个对应UAV。备选地，可以授权用户操作多个UAV。可以在授权用户和多个相应UAV之间提供一对多的对应关系。可以授权多个用户操作多个相应UAV。可以在授权用户和多个相应UAV之间提供多对多的对应关系。
在一些实例中，用户可以被预登记来操作UAV。例如，只可以授权预登记以操作UAV的用户来操作UAV。用户可以是登记的UAV的所有者。当用户购买或接收UAV时，用户可以登记为UAV的所有者和/或操作员。在一些实例中，多个用户可以能够登记为UAV的所有者和/或操作员。备选地，仅单个用户可以能够登记为UAV的所有者和/或操作员。单个用户可以能够指定被允许操作UAV的一个或多个其他用户。在一些实例中，只有具有已登记为操作UAV的用户标识符的用户才可以被授权操作UAV。一个或多个登记数据库可以存储关于允许操作UAV的登记用户的信息。登记数据库可以在UAV上或在UAV外部。可以将用户标识符与登记数据库中的信息进行比较，并且只有在用户标识符与登记数据库中与该UAV相关联的用户标识符相匹配的情况下，才可以允许用户操作UAV。登记数据库可以是特定于UAV的。例如，可以将第一用户预登记为操作UAV1，但是不可以将其预登记为操作UAV2。那么，可以允许该用户操作UAV1，但是不可以允许操作UAV2。在一些实例中，登记数据库可以特定于UAV的类型(例如，特定型号的所有UAV)。
在其他实例中，登记数据库可以是开放的，而不考虑UAV。例如，可以将用户预登记为UAV的操作员。可以允许用户驾驶任何UAV，只要那些特定UAV对授权没有任何其他要求。
备选地，UAV可以默认允许所有用户操作UAV。可以授权所有用户操作UAV。在一些实例中，所有不在“黑名单”内的用户都可以被授权操作UAV。因此，当确定是否授权用户操作UAV时，只要用户不在黑名单上，该用户就可以被授权操作UAV。一个或多个黑名单数据库可以存储关于不允许操作UAV的用户的信息。黑名单数据库可以存储不允许操作UAV的用户的用户标识符。黑名单数据库可以在UAV上或UAV外部。可以将用户标识符与黑名单数据库中的信息进行比较，且只有在用户标识符与黑名单数据库中的用户标识符不匹配的情况下，才允许该用户操作UAV。黑名单登记可以特定于UAV或一类UAV。例如，用户可以被列入驾驶第一UAV的黑名单，但可以没有被列入驾驶第二UAV的黑名单。黑名单登记可以特定于UAV类型。例如，用户可以不被允许驾驶特定型号的UAV，同时允许该用户驾驶其他型号的UAV。备选地，黑名单登记无需特定于UAV或UAV类型。黑名单登记可以适用于所有UAV。例如，如果禁止用户操作任何UAV，则无论UAV身份或类型如何，都不可以授权该用户操作UAV，且不可以允许UAV的操作。
预登记或黑名单登记也可以适用于除UAV或UAV类型之外的其他因素。例如，预登记或黑名单登记可以适用于特定位置或管辖区域。例如，用户可以被预登记为在第一管辖区内操作UAV，而不被预登记为在第二管辖区内操作UAV。这可以与UAV本身的身份或类型是无关的或相关的。在另一示例中，预登记或黑名单登记可以适用于特定的气候条件。例如，当风速超过30mph时，用户可以被列入操作UAV的黑名单。在另一示例中，可以考虑诸如环境复杂性、人口密度或空中交通等的其他环境条件。
是否授权用户操作UAV的其他考虑可以取决于用户类型。例如，在确定是否授权用户操作UAV时可以考虑用户技能或经验级别。关于用户的信息(诸如用户类型)可以与用户标识符相关联。当考虑是否授权用户操作UAV时，可以考虑关于用户的信息，诸如，用户类型。在一个示例中，仅当用户已经达到阈值技能级别时才可以授权该用户操作UAV。例如，如果用户已接受针对UAV飞行的训练，则该用户可以被授权操作UAV。在另一示例中，如果用户经过了关于该用户具有某飞行技能的认证，则该用户可以被授权操作UAV。在另一示例中，仅当用户已经达到阈值经验级别时才可以授权该用户操作UAV。例如，如果用户已经记录了至少特定阈值数量的单位飞行时间，则该用户可以被授权操作UAV。在一些实例中，阈值数量可以应用于任何UAV的单位飞行时间，或者仅适用于类型与该UAV相匹配的UAV。关于用户的信息可以包括关于用户的人口统计信息。例如，仅当用户已经达到阈值年龄(例如，成人)时才可以授权该用户操作UAV。可以在确定是否授权用户操作UAV时，在一个或多个处理器的帮助下获取并考虑关于所述用户和/或UAV的信息。在确定是否授权用户操作UAV的情况下，可以根据非暂时性计算机可读介质做出一个或多个考虑。
如上所述，可以在确定是否授权用户操作UAV时考虑其他因素，例如，地理因素、时间因素或环境因素。例如，可以仅授权一部分用户在夜间操作UAV，而可以授权其他用户仅在白天操作UAV。在一个示例中，可以授权经过夜间飞行训练的用户在白天和晚上操作UAV，而可以授权没有经过夜间飞行训练的用户仅在白天操作UAV。
在一些实例中，可以提供不同模式的UAV授权。例如，在预登记模式下，仅可以授权预登记的用户驾驶UAV。在开放模式下，可以授权所有用户驾驶UAV。在基于技能的模式中，只可以允许具有一定级别的技能或经验的用户驾驶UAV。在一些实例中，可以提供用于用户授权的单个模式。在其他实例中，用户可以在用户操作的模式之间进行切换。例如，UAV的所有者可以切换UAV要采用的授权模式。在一些实例中，诸如UAV的位置、时间、空中交通级别、环境条件等的其他因素可以决定UAV要采用的授权模式。例如，如果环境条件为大风或难以驾驶，则UAV可以自动仅允许在技能模式下授权的用户驾驶UAV。
当用户未被授权操作UAV时，不允许该用户操作UAV。在一些实例中，这可以导致UAV不对来自该用户和/或来自该用户的用户终端的命令做出响应。用户可能无法使UAV飞行或无法控制UAV的飞行。用户可能无法控制UAV的任何其他组件，例如，搭载物、载体、传感器、通信单元、导航单元或电力单元。用户可以向UAV供电或不向UAV供电。在一些实例中，用户可以向UAV供电，但UAV可以不对用户做出响应。如果用户未经授权，则可选地，UAV可以自行关闭电源。在一些实例中，可以向用户提供关于用户未被授权操作UAV的警报或消息。可以提供或不提供用户未经授权的原因。可选地，可以向第二用户提供关于未授权用户操作UAV或用户已尝试操作UAV的警报或消息。第二用户可以是UAV的所有者或操作员。第二用户可以是被授权操作UAV的个人。第二用户可以是对UAV进行控制的个人。
在一些备选实施例中，当用户未被授权操作UAV时，仅允许用户以受限方式操作UAV。这可以包括地理限制、时间限制、速度限制、使用一个或多个附加组件(例如，搭载物、载体、传感器、通信单元、导航单元、电力单元等)的限制。这可以包括操作模式。在一个示例中，当用户未被授权操作UAV时，用户可以不在所选位置处操作UAV。在另一示例中，当用户未被授权操作UAV时，用户可以仅在所选位置处操作UAV。
当用户被授权操作UAV时，可以允许用户操作UAV。UAV可以对来自用户和/或来自用户的用户终端的命令做出响应。用户可以能够控制UAV的飞行，或UAV的任何其他组件。用户可以通过经由遥控器的用户输入来手动控制UAV。在一些实例中，UAV可以自动忽略用户输入以符合一组飞行规定。该组飞行规定可以是预先建立的，或可以是在飞行中接收的。在一些实例中，可以使用一个或多个地理围栏设备来建立或提供该组飞行规定。
第二用户可以能够从第一用户接管对UAV的控制。在一些实例中，第一用户和第二用户都可以被授权操作UAV。备选地，只有第二用户被授权操作UAV。相较于第二用户，第一用户可以被授权以更受限的方式来操作UAV。相较于第一用户，第二用户可以被授权以更不受限的方式来操作UAV。可以提供一个或多个操作级别和/或许可级别。较高的操作级别可以指示用户可以操作飞行器的优先级。例如，在操作UAV时，具有较高操作级别的用户可以具有高于较低操作级别的用户的优先级。较高操作级别的用户可以能够从较低操作级别的用户接管对UAV的控制。在一些实例中，第二用户可以比第一用户具有更高的操作级别。可选地，相较于较低操作级别的用户，可以授权具有较高操作级别的用户来以较不受限的方式操作UAV。可选地，相较于较高操作级别的用户，可以授权具有较低操作级别的用户来以更受限的方式操作UAV。当第二用户被授权操作UAV且具有比第一用户更高的操作级别时，可以由第二用户从第一用户接管UAV的操作。
当UAV认证了第二用户操作UAV的特权时，可以允许第二用户操作UAV。所述认证可以借助于验证第二用户身份的数字签名和/或数字证书来进行。可以使用本文别处所述的任何认证过程来进行第二用户和/或第一用户的认证。
在一些实施例中，可以接管控制的第二用户可以是紧急服务的一部分。例如，第二用户可以是执法、消防服务、医疗服务或救灾服务的一部分。第二用户可以是电子警察。在一些实例中，第二用户可以是政府机构的一部分，诸如，可以规范空中交通或其他类型交通的机构。第二用户可以是空中控制系统操作员。用户可以是认证系统的成员或管理员。第二用户可以是国防部队的成员，也可以是准国防部队的成员。例如，第二用户可以是空军、海岸警卫队、国家警卫队、中国武装警察部队(CAPF)或任何其他类型的国防部队或世界任何管辖区域的等同部队的成员。
当第二用户接管控制时，可以通知第一用户。例如，可以向第一用户提供警报或消息。可以经由第一用户的用户终端提供警报或消息。该警报可以被视觉显示，或可以是可听见或触觉地辨别的。在一些实施例中，第二用户可以向第一用户请求接管对UAV的控制。第一用户可以选择接受或拒绝该请求。备选地，第二用户可以能够接管控制，而不需要第一用户的批准或允许。在一些实施例中，可以在第一用户被警告第二用户正在接管控制以及第二用户接管了控制之间存在一些滞后时间。备选地，滞后时间很少或没有滞后时间，使得第二用户可以能够瞬间接管。第二用户可以能够在试图接管控制的1分钟、30秒、15秒、10秒、5秒、3秒、2秒、1秒、0.5秒、0.1秒、0.05秒或0.01秒内接管控制。
响应于任何场景，第二用户可以从第一用户接管控制。在一些实施例中，当UAV进入受限区域时，第二用户可以接管控制。当UAV退出管制区域时，可以将控制返还给第一用户。第二用户可以在UAV处于管制区域内时操作UAV。在另一实例中，第二用户可以能够随时接管UAV的控制。在一些实例中，当确定安全或安全性威胁时，第二用户可以能够接管对UAV的控制。例如，如果检测到UAV正处于与飞机进行碰撞的路线上，则第二用户可以能够接管控制以免UAV与飞机的碰撞。
控制中心或地面站可以被配置为确定是否允许用户操作UAV。该过程可以包括认证用户和认证UAV。如果用户没有通过认证过程，则可以不允许该用户操作UAV。如果UAV没有通过认证过程，则可以不允许用户操作该UAV。可以确定是否授权用户操作UAV。如果用户没有被授权操作UAV，则可以不允许该用户操作UAV。如果用户确实通过认证过程，则可以允许该用户操作UAV。如果UAV确实通过认证过程，则可以允许用户操作该UAV。如果用户被授权操作UAV，则可以允许该用户操作UAV。在一些实例中，用户和UAV都必须在允许用户操作UAV之前通过认证过程。可选地，在用户被允许操作UAV之前，用户和UAV必须都通过认证过程，并且用户必须被授权操作UAV。
在一些实例中，操作UAV的许可可以应用于任何情况，或可以仅适用于一个或多个分配的空间或区域。例如，用户和/或UAV可能需要通过认证来操作UAV。在其他实例中，用户通常可以能够操作UAV，但是可能需要被认证以在所选空域(例如管制区域)内操作UAV。
在建立安全链路之后，UAV可以使用空中控制系统(例如，地面站)的交通管理模块申请资源(例如，空中路线和时间段、或本文别处描述的任何其他资源)。交通管理模块可以管理交通权限。UAV可以接受关于飞行的一组飞行规定(例如，距离、高度、速度或本文别处描述的任何其他类型的飞行规定)。UAV只有在接收到许可的情况下才能起飞。飞行计划可以记录在交通管理中。
在飞行期间，UAV可以定期向空中控制系统(例如，地面站)的交通监控子系统报告其状态。可以使用任何技术将UAV的状态传送到交通监控子系统。可以使用直接或间接通信，如本文别处所述的通信。外部传感器数据可以用于或不用于确定UAV状态并将状态信息传送到交通监控子系统。在一些示例中，可以通过地面站或其他中间设备向交通管理子系统广播或中继UAV状态信息。UAV可以接收交通管理子系统的监督。交通管理子系统可以使用直接或间接通信方法(例如本文别处所述)来与UAV进行通信。如果要修改安排好的飞行，则UAV可以向交通管理子系统提交申请。可以在UAV飞行开始之前提交申请，或可以在UAV开始飞行之后提交申请。可以在UAV飞行时做出申请。交通管理可以具有监控UAV的飞行的能力。交通管理子系统可以根据来自UAV的信息和/或来自UAV外部的一个或多个传感器的信息来监视UAV的飞行。
在飞行期间，UAV可以与其他设备(包括但不限于其他UAV或地理围栏设备)通信。在飞行期间，UAV还可以能够进行认证(包括但不限于数字签名+数字证书)和/或进行响应(例如，对认证的地理围栏设备进行响应)。
在飞行期间，UAV可以接受来自较高级别用户(例如，空中控制系统或电子警察)的接管控制，如本文别处所详述。如果UAV认证了特权，则较高级别用户可以接管控制。
图12示出了根据一些实施例的视频广播系统1200中的信息的示例性交换。信息交换可以发生在收看端和控制中心之间。应当注意，也可以由广播端的一个或多个地面站执行图12的控制中心的功能。例如，收看端可以与地面站直接通信。
收看端可以在分配的频道上将用户输入发送到控制中心(1202)。控制中心可以处理该用户输入。处理用户输入可以包括确定用户输入是否包括冲突的指令(1204)。控制中心可以解决冲突的指令(1206)，如本文别处所述。在一些情况下，控制中心可以向收看端发送确认消息，以通知用户冲突的指令已被解决(1208-1)。
在一些实施例中，处理用户输入可以包括确定用户输入是否满足如本文别处所述的操作条件，并且可以包括执行安全检查(1210)。控制中心可以被配置为基于安全检查的结果来修改用户输入(1212)。在一些情况下，控制中心可以产生一组UAV控制指令(1214)，以确保UAV的操作安全性并确保满足操作条件。在一些情况下，控制中心可以向收看端发送确认消息，以通知用户用户输入已被修改，且已生成了一组UAV控制指令(1208-2)。UAV控制指令可以被配置为控制UAV的一个或多个操作方面(例如，飞行、搭载物操作等)。
用户界面
图13示出了根据一些实施例的以第一人称视角(FPV)提供的用户界面(UI)的示例，其中用户可以通过该用户界面选择目标并使广播端处的UAV朝目标移动。可以在收看端的一个或多个用户终端上提供UI/FPV。图13的部分A示出了UAV相对于目标的初始位置，且部分B示出了UAV在基于用户输入向目标移动之后的位置。部分C、D、E和F示出了用户通过用户终端上显示的UI与广播端的交互的示例。用户终端可以包括被配置为接收用户输入的触摸屏显示设备。
部分B示出了包含目标的环境的初始FPV。部分B中的FPV可以对应于当广播端的UAV处于部分A所示的位置时由该UAV捕获的图像。FPV可以包括使用UAV上的成像设备(摄像机)获得的直播流视频。目标位于成像设备的视野内。在一些情况下，目标可以是独立的对象。在其他情况下，目标可以被一个或多个其他对象包围或接近一个或多个其他对象。目标可以是静止的和/或能够移动的。当正在用户终端上显示环境的初始FPV时，UAV可以是静止的或移动的。
收看端的用户可以通过选择显示器中的不同点或对象来与FPV进行交互。部分D示出了用户选择初始FPV内的目标。用户可以选择图像的一部分来选择目标。由用户选择的图像的一部分可以是点。该点可以位于如FPV所示的目标上。在一些实施例中，该点可以位于如FPV所示的目标附近。当用户选择该点时，可以自动选择目标。在一些情况下，可以使用一种或多种标记方案(例如，阴影、着色、突出显示等)来标记目标，以指示已选择了该目标。在一些情况下，弹出窗口可以出现在显示器上的目标上，请求用户确认用户是否希望选择目标。在一些实施例中，可以在所选点附近生成多个边界框。每个边界框可以与不同的目标相关联。可以向用户呈现通过选择相应的边界框来选择目标的选项。在一些实例中，用户可以选择多于一个目标。在这些实例中，UAV可以被配置为首先飞行到较近的目标，然后到较远的目标。
可以从2D图像、一个或多个立体图像或3D图像中识别目标。从3D地图识别目标可以基于从例如本文别处描述的3D地图和/或占据网格获得的对象/特征的空间信息。
可以使用类别无关的分割算法来执行通过选择图像上的点来识别目标。例如，当用户选择在图像上的目标上或其附近的点时，可以从相邻或周围对象分割目标。可以进行分割而无需知道目标可能落入什么对象类别。在一些情况下，分割算法可以在图像中生成多个种子区域并对每个区域进行排序，使得排在上方的区域有可能是不同对象的良好分割(即，对应于不同对象)。
在一些情况下，可以基于移动目标检测来选择目标。在这些实例中，假设UAV和周围环境是静止/静态的，且要跟踪的目标可以是图像中唯一的移动对象。可以通过背景减法来识别和选择目标。另外，对目标的识别也可以基于特征点识别，如本文别处所述。
用户可以指定点的精度可以大约为0.01度或更小、0.05度或更小、0.1度或更小、0.5度或更小、1度或更小、2度或更小、3度或更小、5度或更小、7度或更小、10度或更小、15度或更小、20度或更小、或30度或更小。
UAV可以向着FPV中的所选点指示的目标行进。可以定义从UAV的当前位置到目标位置的UAV的运动路径。运动路径可以由UAV的当前位置与目标位置之间的矢量来表示。在一些实施例中，UAV可以被配置为当目标在环境内移动时跟踪该目标。
当用户选择FPV的一部分来指定目标时，到所选目标的运动路径可以被视觉指示或不被视觉指示在显示器上。在一些实例中，可以在图像内提供指示到目标对象的运动路径的视觉标记。视觉标记可以是点、区域、图标、线或矢量。例如，线或矢量可以指示朝着目标的运动路径的方向。在另一示例中，线或矢量可以指示UAV前进的方向。
在一些实施例中，用户可以指定UAV处于目标模式下。当UAV处于目标模式下时，用户选择的图像部分可以确定UAV将行进直到其遇到障碍物为止的目标，或者何时选择另一不同目标，或UAV何时遇到飞行管制。UAV可以朝着该目标对象行进，直到它遇到停止或改变标准，诸如，目标改变、飞行管制、飞行模式改变、低电力供给或障碍物等。用户可以通过从一个或多个可用模式中选择目标模式(诸如，定向模式)来指定UAV处于目标模式。可以提供可以允许用户使用用户界面来指定目标对象的任何其他用户界面工具或技术。
在一些实例中，在选择目标之后，可以在显示器中使用标记或识别方案以便指示已选择了目标。例如，图13的部分E示出了围绕FPV中的所选目标的虚拟框1502。所述框可以是任何形状，例如，n边多边形，其中n可以是大于2的任何整数。在图13中，所述框是4边的多边形(四边形)。所述框可以用作对用户的视觉指示符，以区分所选择目标与相邻对象。在一些实施例中，提示窗口(未示出)可以出现在所述框中或其附近，请求用户确认所选目标是否对应于用户的预期目标。用户可以通过在所述框上进行点击来确认所选择的目标。
图13的部分F示出了在UAV向所述目标移动之后所述目标的图像。部分F中的FPV可以对应于当广播端的UAV处于部分B所示的位置时由该UAV捕获的图像。如FPV所看到，当UAV向目标前进时，曾经远离的对象可以变得越来越近。在一些实例中，UAV可以朝向目标移动，直到其从所述目标偏移预定距离位置。预定距离可以包括水平距离分量和/或垂直距离分量。UAV可以保持位于距目标的预定距离处。在一些情况下，UAV可以保持在距所述目标的预定距离之外。可以基于目标的大小和从UAV到所述目标的初始距离来确定预定距离。预定距离可以是自动生成的，或可选地可由用户调节的。例如，如果用户希望将UAV移动到更靠近目标的，则用户可以多次选择(例如，“点击”)图像中的目标以调整预定距离。可选地，对距离的调整可以取决于用户在图像中选择(例如，触摸)目标的时间长度。在一些实施例中，可以基于诸如目标大小和UAV距离目标的初始距离的因素来动态地计算预定距离。
用户可以通过以多个不同配置与FPV中的用户界面进行交互来控制UAV的运动。例如，当用户选择在3-D FPV中的目标上的点时，UAV可以向该目标移动。可选地，当用户选择位于图像中的目标下方的点时，UAV可以沿其原始运动路径向后移动并远离目标。备选地，选择图像中的目标点上方的点可以引起UAV向前移动。在一些情况下，多次双击(或触摸)图像中的目标可以引起UAV移动靠近目标。应注意，可以预期用户与用户终端/输出设备的任何形式用于控制UAV的运动的各种功能的交互。
在一些实例中，当用户指定目标时，UAV可以以固定速度或以可变速度向目标行进。可以提供标准的目标行进速度。还可以提供可变的目标行进速度。备选地，用户可以指定UAV可以朝向目标行进的速度和/或加速度。本文对影响UAV速度的任何描述也可以适用于当UAV向着目标移动时影响UAV的加速度。在一些实例中，用户可以在用户指定目标时影响速度。例如，当用户选择目标时，用户触摸目标的点击次数或触摸次数可以影响UAV的速度。例如，如果用户单次触摸指示目标的点，则UAV可以以第一速度行进，且如果用户多次触摸该点，则UAV可以以第二速度行进。第二速度可以大于第一速度。UAV行进的速度可以对应于对指示目标的点的触摸或选择的次数。可以在UAV的选择次数和速度之间提供正比例关系。在一些实例中，可以在UAV的选择次数和速度之间提供线性关系。例如，如果用户点击该点/目标N次，则UAV的速度可以是X+N*Y，其中X是速度值，Y是速度倍数，且N是目标被选中/点击的次数。可以提供任何其他数学关系。用户可以进行第一次选择以获得第一速度，然后再次进行选择以使UAV加速。用户可以继续进行选择以保持使UAV加速。
在另一示例中，当用户选择目标时，与目标的选择相关联的时间长度可以影响UAV的速度。例如，如果用户将指示目标的点触摸第一时间段，则UAV可以以第一速度行进，且如果用户触摸大于第一时间段的第二时间段，则UAV可以以第二速度行进。第二速度可以大于第一速度。UAV运动的速度可以与指示目标的点的触摸或选择的长度相对应。可以在选择的长度和UAV的速度之间提供正比例关系。在一些实例中，可以在选择的长度和UAV的速度之间提供线性关系。
各种其他类型的用户交互可以影响向目标行进的UAV的速度。在一些示例中，滑动运动(例如，滑动速度、滑动长度、滑动次数)可以影响UAV的速度。在其他示例中，可以触摸不同的区域以影响UAV的速度。在另一示例中，可以提供用于速度控制的单独控制。例如，在UAV朝着目标行进时，用户可以通过使用手动控制来调节速度。可以根据手动控制来实时调整速度。在另一示例中，用户可以输入期望速度的数值，或从多个预选择的选项中选择速度。
增强FPV
图14示出了根据一些实施例的增强的FPV下的用户界面(UI)的示例，其中用户可以通过该用户界面与广播端进行交互。FPV可以包括通过广播端的UAV上的成像设备(摄像机)拍摄的视频。FPV还可以包括允许用户与广播端的UAV进行交互的多个图形元素。所述图形元素可以设置在叠加在由UAV收集的视频流上方的增强现实(AR)层中。
在一些实施例中，图形元素可以包括节目列表1402。节目列表可以包括多个频道，其中经由所述多个频道来广播不同UAV从不同空中视点收集的视频。用户可以通过(例如，在用户终端的触摸屏上)选择期望的频道，来切换频道。在一些实施例中，在节目列表中列出的每个频道可以包括示出正在通过该频道广播的视频的预览的小图形窗口。可以随着UAV和/或摄像机的位置和朝向改变，来实时更新视频预览。
在一些实施例中，图形元素可以包括投票/竞价按钮1403。用户可以通过选择该按钮1403来提交投票或竞价，以影响真实生活事件的结果。如上所述，真实生活事件可以包括从广播端通过一个或多个频道直播的拍卖、游戏和/或竞赛。用户可以使用该按钮以对拍卖中的物品进行竞价，或者以投票给比赛或竞赛中喜爱的参赛者或期望结果。可以通过从多个用户收集多个投票来确定投票结果。可以根据投票结果来确定游戏或竞赛的结果。类似地，也可以基于由多个用户提交的竞价来确定拍卖结果，以便确定中标者。
在一些实施例中，图形元素可以包括输入窗口1404。用户可以将字母数字文本和/或图形图标输入到该窗口1404。用户可以提供关于广播端所广播的真实生活事件的评论。例如，用户可以对游戏进行评论，与其他用户分享想法，邀请来自同时观看该游戏的其他用户进行评论和回复，向游戏组织者发表评论等。在一些实施例中，用户可以能够经由输入窗口上传图像、音频数据和/或视频数据，以与其他用户共享。在一些实施例中，用户可以经由输入窗口中提供的一个或多个社交媒体链接来与其他用户共享评论和/或数据。
在一些实施例中，用户可以在UI中绘制框1405，来限定UAV的运动路径。如图14所示，可以围绕视频内描绘的对象1406的图像的一部分绘制框。用户可以通过以圆形方式触摸显示屏来绘制框。所述框可以在其中包含目标(感兴趣对象)。所述框可以是任何形状，例如，n边多边形、椭圆形、不规定形状等。例如，所述框可以是椭圆。一个或多个UAV可以被配置为通过沿着由用户定义的运动路径移动，在物理环境中绕对象1406画圈。
在一些实施例中，用户可以围绕一组对象在UI中绘制轮廓1407。轮廓可以定义围绕对象的运动路径。如图14所示，可以围绕视频内描绘的对象组1408来绘制轮廓。对象可以具有不同的尺寸和/或位于相对于UAV的不同距离处。轮廓可以是任何形状。例如，图14中的轮廓1407可以具有不规则的3维形状。一个或多个UAV可以被配置为通过沿着由用户定义的3维运动路径移动来绕物理环境中的对象1408画圈。
沿不同运动路径以协调的方式操作UAV
图15示出了根据一部分实施例的广播端UAV的运动路径的示例。如前所述，UAV可以以协调的方式操作。如图15所示，可以通过沿着绕对象1504画圈的运动路径1502驾驶，来以协调的方式操作多个UAV 1512-1、1512-2和1512-3。该运动路径可以具有规则形状或不规则形状。例如，该运动路径可以是圆形或椭圆形。该运动路径可以或可以不由收看端的用户来定义。UAV可以从不同的视点捕获对象1504的视频。例如，在特定时刻，第一UAV 1512-1可以从第一视点1513-1捕获视频，第二UAV 1512-2可以从第二视点1513-2捕获视频，且第三UAV 1512-3可以从第三视点1513-3捕获视频。如本文别处所述，可以通过不同的分配频道从广播端向收看端广播视频。
通过从节目列表中选择相应的观看节目，收看端的用户可以选择要观看的期望视频，例如，如图14所示。还可以所述用户允许控制一个或多个UAV 1512的(1)视点(POV)和/或(2)运动。例如，可以允许用户通过调整一个或多个UAV的朝向和/或位置来控制POV。备选地，可以允许用户通过调整由一个或多个UAV支持的一个或多个摄像机的朝向和/或放大功能来控制POV。此外，可以允许用户通过调整一个或多个UAV的运动路径和/或运动特性来控制UAV的运动。因此，用户可以从不同的空中视角观看对象(或在一些情况下，诸如竞赛、游戏或拍卖的真实生活事件)的视频，并且实时控制捕获视频的方式。
图16示出了以协调的方式操作多个UAV的另一示例，除了以下差别之外，该示例与图15相似。在图16中，多个UAV 1612-1、1612-2和1612-3可以操作为沿绕不规则形状的对象1604的3-D运动路径1602飞行。运动路径1602可以在3-D空间中定义“图8”飞行路径。相反，图15的运动路径1502可以位于2-D平面上，且对象1504可以具有规定形状(例如，圆柱形)。可以或可以不由收看端的用户来定义运动路径1602。UAV 1612可以从不同视点捕获对象1604的视频。例如，在特定时刻，第一UAV 1612-1可以从第一视点1613-1捕获视频，第二UAV1612-2可以从第二视点1613-2捕获视频，且第三UAV 1612-3可以从第三视点1613-3捕获视频。如本文别处所述，可以通过不同的分配频道从广播端向收看端广播视频。收看端的用户可以与广播端进行交互，并控制一个或多个UAV和/或摄像机以从不同的空中视角捕获视频，如本文别处所述。
本文所描述的实施例可以适用于任何可移动对象。图17示出了根据实施例的包括载体1702和搭载物1704的可移动对象1700。尽管可移动对象1700被描绘为飞行器，但是该描述并不旨在限制，并且可以使用任何合适类型的可移动对象，如本文前面所述。本领域技术人员将理解，在飞行器系统的背景下描述的任何实施例可以应用于任何合适的可移动对象(例如，UAV)。在一些实例中，可以在可移动对象1700上提供搭载物1704，而不需要载体1702。可移动对象1700可以包括推进机构1706、传感系统1708和通信系统1710。
如前所述，推进机构1706可以包括一个或多个旋翼、螺旋桨、叶片、发动机、电机、轮子、轴、磁体或喷嘴。例如，如本文别处所述，推进机构1706可以是自紧式旋翼、旋翼组件或其它旋转推进单元。可移动对象可以具有一个或多个、两个或多个、三个或多个、或四个或多个推进机构。推进机构都可以是相同类型的。备选地，一个或多个推进机构可以是不同类型的推进机构。使用任何合适的装置(例如本文别处描述的支撑元件(例如，驱动轴))，可以将推进机构1706安装在可移动对象1700上。推进机构1706可以安装在可移动对象1700的任何合适的部分上，诸如，项部、底部、前部、后部、侧面或其合适组合上。
在一些实施例中，推进机构1706可以使可移动对象1700从表面垂直起飞或在表面上垂直着陆，而不需要移动对象1700的任何水平移动(例如，不沿着跑道行驶)。可选地，推进机构1706可以操作以允许可移动对象1700在空气中悬停在指定位置和/或朝向。推进机构1706的一个或多个可以独立于其它推进机构来控制。备选地，推进机构1706可以被配置为被同时控制。例如，可移动对象1700可以具有多个水平定向旋翼，其可以向可移动对象提供提升和/或推力。可以致动多个水平定向旋翼，以向可移动对象1700提供垂直起飞、垂直着陆和悬停能力。在一些实施例中，一个或多个水平定向旋翼可以沿顺时针方向旋转，而一个或多个水平旋翼可以沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。每个水平定向旋翼的旋转速率可以独立地变化，以便控制由每个旋翼产生的升力和/或推力，从而调节可移动对象1700的空间部署、速度和/或加速度(例如，关于最多三度的平移和最多三度的旋转)。
感测系统1008可以包括一个或多个传感器，其可以感测可移动对象1700的空间部署、速度和/或加速度(例如，关于最多三度的平移和最多三度的旋转)。一个或多个传感器可以包括全球定位系统(GPS)传感器、运动传感器、惯性传感器、近距离传感器或图像传感器。由感测系统1708提供的感测数据可以用于控制可移动对象1700的空间部署、速度和/或取向(例如，使用合适的处理单元和/或控制模块，如下所述)。备选地，感测系统1708可以用于提供关于可移动对象周围的环境的数据，诸如，天气条件，对潜在障碍物的接近度、地理特征的位置、人造结构的位置等。
通信系统1710支持经由无线信号1716与具有通信系统1714的终端1712进行通信。通信系统1710、1714可以包括适用于无线通信的任何数量的发射机、接收机和/或收发机。通信可以是单向通信，使得只能在一个方向上传输数据。例如，单向通信可以仅涉及可移动对象1700向终端1712发送数据，或反之亦然。可以从通信系统1710的一个或多个发射机向通信系统1714的一个或多个接收机发送数据，或反之亦然。备选地，通信可以是双向通信，使得可以在可移动对象1700和终端1712之间的两个方向上传送数据。双向通信可以涉及从通信系统1710的一个或多个发射机向通信系统1714的一个或多个接收机发送数据，且反之亦然。
在一些实施例中，终端1712可以向可移动对象1700、载体1702和搭载物1704中的一个或多个提供控制数据，并从可移动对象1700、载体1702和搭载物1704中的一个或多个接收信息(例如，可移动对象、载体或搭载物的位置和/或运动信息；由搭载物感测的数据，诸如由搭载物摄像机捕获的图像数据)。在一些实例中，来自终端的控制数据可以包括针对可移动对象、载体和/或搭载物的相对位置、移动、致动或控制的指令。例如，控制数据可以引起修改可移动对象的位置和/或朝向(例如，通过推进机构1706的控制)，或搭载物相对于可移动对象的移动(例如，通过载体1702的控制)。来自终端的控制数据可以导致控制搭载物，诸如控制摄像机或其他图像捕获设备的操作(例如，拍摄静止或运动的图像，放大或缩小，打开或关闭，切换成像模式，改变图像分辨率，改变焦点，改变景深，改变曝光时间，改变视角或视野)。在一些实例中，来自可移动对象、载体和/或搭载物的通信可以包括来自一个或多个传感器(例如，感测系统1708的传感器或搭载物1704的传感器)的信息。通信可以包括来自一个或多个不同类型的传感器(例如，GPS传感器、运动传感器、惯性传感器、近距离传感器或图像传感器)的感测信息。这种信息可以涉及可移动对象、载体和/或搭载物的定位(例如，位置、朝向)、移动或加速度。这种来自搭载物的信息可以包括由搭载物捕获的数据或搭载物的感测状态。通过终端1712提供发送的控制数据可以被配置为控制可移动对象1700、载体1702或搭载物1704中的一个或多个的状态。备选地或组合地，载体1702和搭载物1704还可以每个包括通信模块，被配置为与终端1712进行通信，使得该终端可以单独地与可移动对象1700、载体1702和搭载物1704中的每一个进行通信并对其进行控制。
在一些实施例中，可移动对象1700可以被配置为与除了终端1712之外的另一远程设备进行通信，或代替终端1712。终端1712还可以被配置为与另一远程设备以及可移动对象1700进行通信。例如，可移动对象1700和/或终端1712可以与另一可移动对象或另一可移动对象的载体或搭载物进行通信。当需要时，远程设备可以是第二终端或其他计算设备(例如，计算机、膝上型计算机、平板电脑、智能电话或其他移动设备)。远程设备可以被配置为向可移动对象1700传送数据，从可移动对象1700接收数据，将数据发送到终端1712，和/或从终端1712接收数据。可选地，远程设备可以连接到互联网或其他电信网络，使得从可移动对象1700和/或终端1712接收的数据可以上传到网站或服务器。
在一些实施例中，可以根据实施例提供用于控制可移动对象的系统。该系统可以与本文公开的系统、装置和方法的任何合适的实施例结合使用。该系统可以包括感测模块、处理单元、非暂时性计算机可读介质、控制模块和通信模块。
感测模块可以利用不同类型的传感器，所述传感器以不同方式收集与可移动对象有关的信息。不同类型的传感器可以感测不同类型的信号或来自不同源的信号。例如，传感器可以包括惯性传感器、GPS传感器、近距离传感器(例如，激光雷达)或视觉/图像传感器(例如，摄像机)。感测模块可以可操作地联接到具有多个处理器的处理单元。在一些实施例中，感测模块可操作地联接到被配置为将感测数据直接传输到合适的外部设备或系统的传输模块(例如，Wi-Fi图像传输模块)。例如，传输模块可以用于将由感测模块的摄像机捕获的图像传送到远程终端。
处理单元可以具有一个或多个处理器，诸如，可编程处理器(例如，中央处理单元(CPU))。处理单元可以可操作地联接到非暂时计算机可读介质。非暂时性计算机可读介质可以存储可由处理单元执行用以执行一个或多个步骤的逻辑、代码和/或程序指令。非暂时性计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或诸如SD卡或随机存取存储器(RAM)的外部存储器)。在一些实施例中，来自感测模块的数据可以被直接传送到非瞬态计算机可读介质的存储器单元中并存储在其中。非暂时计算机可读介质的存储器单元可以存储可由处理单元执行的逻辑、代码和/或程序指令，以执行本文描述的方法的任何合适的实施例。例如，处理单元可以被配置为执行使处理单元的一个或多个处理器分析由感测模块产生的感测数据的指令。存储单元可以存储来自感测模块的感测数据，以由处理单元进行处理。在一些实施例中，非暂时计算机可读介质的存储器单元可以用于存储由处理单元产生的处理结果。
在一些实施例中，处理单元可以可操作地联接到被配置为控制可移动对象的状态的控制模块。例如，控制模块可以被配置为关于六个自由度控制可移动对象的推进机构，以调节可移动对象的空间部署、速度和/或加速度。备选地或组合地，控制模块可以控制载体、搭载物或感测模块的状态中的一个或多个。
处理单元可以可操作地联接到被配置为向一个或多个外部设备(例如，终端、显示设备或其他遥控器)发送和/或从其接收数据的通信模块。可以使用任何合适的通信手段，例如，有线通信或无线通信。例如，通信模块可以利用局域网(LAN)、广域网(WAN)、红外线、无线电、WiFi、点对点(P2P)网络、电信网络、云通信等中的一个或多个。可选地，可以使用中继站，例如，塔、卫星或移动站。无线通信可以是接近度相关或接近度不相关的。在一些实施例中，通信可以需要或不需要视线。通信模块可以发送和/或接收以下项中的一个或多个：来自感测模块的感测数据、由处理单元产生的处理结果、预定控制数据、来自终端或遥控器的用户命令等。
可以以任何合适的配置布置系统的组件。例如，系统的一个或多个部件可以位于可移动对象、载体、搭载物、终端、感测系统或与上述器件中的一个或多个通信的其他外部设备上。在一些实施例中，多个处理单元和/或非暂时性计算机可读介质中的一个或多个可以位于不同的位置，例如，在可移动对象、载体、搭载物、终端、感测模块、与上述器件中的一个或多个通信的其他外部设备或其合适组合上，使得由该系统执行的处理和/或存储功能的任何合适方面可以发生在上述位置的一个或多个位置处。
本文所用的A和/或B包括A或B中的一个或多个以及它们的组合(例如，A和B)。将理解，虽然本文中可以使用术语第一、第二、第三等来描述各元件、组件、区域和/或部，但是这些元件、组件、区域和/或部不应被这些术语限制。这些术语仅用于将一个元件、组件、区域或部与另一区域或部加以区分。因此，在不脱离示例本发明的教义的前提下，以下提到的第一元件、组件、区域或部也可以称作第二元件、组件、区域或部。
本文中所使用的术语仅仅是为了描述具体实施例的目的，而不是意在限制本发明。如本文中使用的，单数形式“一”、“一个”和“所述”意图还包括复数形式，除非上下文明确地给出相反的指示。还应该理解的是当在本发明中使用时，术语“包括”和/或“包括了”、或“包含”和/或“包含了”指定了存在所声明的特征、区域、整数、步骤、操作、元素和/或组件，但是不排除存在或另外还有一个或多个其他特征、区域、整数、步骤、操作、元素、组件和/或其组合。
此外，在本文中可以使用诸如“下”或“底”和“上”或“顶”的相对术语来描述一个元件与图示其它元件的关系。应当理解，除了附图中所示的朝向之外，相对术语旨在包括元件的不同朝向。例如，如果一幅图中的元件翻转，则被描述为位于其它元件的“下”侧的元件将定向在其它元件的“上”侧。因此，示例性术语“下”可以包含“下”和“上”的朝向，这取决于图的特定朝向。类似地，如果一幅图中的元件翻转，则被描述为位于其它元件的“下方”或“下侧”的元件将定向在其它元件的“上方”。因此，“下方”或“下方”的示例性术语可以包括上下朝向。
虽然本文已经示出和描述了本发明的优选实施例，但是对于本领域技术人员显而易见的是仅以示例的方式提供这些实施例。在不脱离本发明的情况下，本领域技术人员将会想到多种变化、改变和替代。应当理解，在实施本发明时可以采用本文所述的本发明的实施例的各种替代方案。本文描述的实施例的许多不同组合是可能的，并且这样的组合被认为是本公开的一部分。此外，结合本文任何一个实施例讨论的所有特征可以容易地适用于本文的其它实施例。以下权利要求旨在限定本发明的范围，并且涵盖在这些权利要求及其等同物的范围内的方法和结构。
Claims (94)
1.一种用于视频广播的方法，所述方法包括：
从广播端接收广播数据，其中所述广播数据包括由多个无人机UAV收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信；
接收来自收看端的用户输入，其中所述用户输入包括被配置为与所述广播端进行交互的一个或多个指令；
处理来自所述收看端的所述用户输入；以及
将经处理的所述用户输入发送到所述广播端以在所述广播端调整视频广播。
2.根据权利要求1所述的方法，其中所述协调的方式包括其中所述UAV被配置为自主地操作的分散式群配置。
3.根据权利要求2所述的方法，其中每个UAV被配置为部分地使用经由每个UAV上的环境感测系统收集的环境信息来自主地操作。
4.根据权利要求2所述的方法，其中每个UAV被配置为部分地基于相邻UAV的信息自主地操作，其中所述信息包括相邻UAV上的摄像机的位置和朝向。
5.根据权利要求1所述的方法，其中所述一个或多个地面站被配置为控制所述UAV以所述协调的方式操作。
6.根据权利要求1所述的方法，其中所述协调的方式包括主从配置，其中主UAV被配置为控制一个或多个从UAV。
7.根据权利要求6所述的方法，其中所述主UAV被配置为控制所述从UAV的起飞和着陆。
8.根据权利要求6所述的方法，其中所述主UAV被配置为控制每个所述从UAV上的摄像机的朝向，且其中所述摄像机被配置为收集所述视频数据。
9.根据权利要求6所述的方法，其中所述主UAV被配置为控制每个所述从UAV的飞行路径。
10.根据权利要求6所述的方法，其中当发生阻止所述主UAV控制所述从UAV的一个或多个条件时，对所述从UAV的所述控制从所述主UAV转移至所述地面站或备用UAV。
11.根据权利要求10所述的方法，其中所述一个或多个条件包括：(1)所述主UAV和所述从UAV之间的通信丢失；和/或(2)所述主UAV的一个或多个组件发生故障或损坏。
12.根据权利要求1所述的方法，其中处理来自所述收看端的所述用户输入包括确定所述用户输入是否包括用于控制所述UAV的冲突的指令。
13.根据权利要求12所述的方法，其中基于与每个用户相关联的优先级别来解决所述冲突的指令。
14.根据权利要求12所述的方法，其中基于与每个用户相关联的投票数来解决所述冲突的指令。
15.根据权利要求1所述的方法，其中处理来自所述收看端的所述用户输入包括确定所述用户输入是否满足操作条件。
16.根据权利要求15所述的方法，其中所述操作条件包括以下一项或多项：(i)所述收看端处每个用户的许可级别，(ii)对所述UAV施加的飞行规定，或(iii)所述UAV操作的环境条件。
17.根据权利要求15所述的方法，还包括：修改所述用户输入以满足所述操作条件。
18.根据权利要求1所述的方法，还包括：处理从所述广播端接收的所述广播数据以生成以下项中的至少一个：增强现实AR/虚拟现实VR数据、3-D数据、地图、图形用户界面GUI和/或与所述视频数据相关联的节目列表。
19.根据权利要求1所述的方法，还包括：从所述广播端接收广播请求，并基于所述广播端处的一个或多个操作参数来处理所述广播请求。
20.根据权利要求19所述的方法，其中所述操作参数包括(1)与所述一个或多个UAV的操作相关联的第一组参数，以及(2)与所述一个或多个UAV被配置为操作的环境相关联的第二组参数。
21.根据权利要求20所述的方法，其中所述第一组参数包括(1)所述UAV的运动路径，(2)要广播的视频数据的类型，(3)所述UAV进行广播的许可级别，或其任意组合。
22.根据权利要求20所述的方法，其中所述第二组参数包括所述广播端处的环境条件。
23.根据权利要求1所述的方法，还包括：从所述广播端接收终止请求，并处理所述终止请求。
24.根据权利要求23所述的方法，其中处理所述终止请求包括：向所述一个或多个收看端提供终止消息，其中所述终止消息指示在一个或多个频道上对所述视频数据的传输的终止。
25.根据权利要求23所述的方法，还包括：通过使所述一个或多个频道可用于正从另一广播端发送的视频数据，来循环利用所述一个或多个频道。
26.一种用于视频广播的系统，所述系统包括控制中心，所述控制中心包括单独地或共同地被配置为执行以下操作的一个或多个服务器：
从广播端接收广播数据，其中所述广播数据包括由多个无人机UAV收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信；
接收来自收看端的用户输入，其中所述用户输入包括被配置为与所述广播端进行交互的一个或多个指令；
处理来自所述收看端的所述用户输入；以及
将经处理的用户输入发送到所述广播端以在所述广播端调整视频广播。
27.根据权利要求26所述的系统，其中所述协调的方式包括其中所述UAV被配置为自主地操作的分散式群配置分散式群配置。
28.根据权利要求27所述的系统，其中每个UAV被配置为部分地使用经由每个UAV上的环境感测系统收集的环境信息来自主地操作。
29.根据权利要求26所述的系统，其中所述一个或多个地面站被配置为控制所述UAV以所述协调的方式操作。
30.根据权利要求26所述的系统，其中所述协调的方式包括主从配置，其中主UAV被配置为控制一个或多个从UAV。
31.根据权利要求30所述的系统，其中当发生阻止所述主UAV控制所述从UAV的一个或多个条件时，对所述从UAV的控制从所述主UAV转移至所述地面站或备用UAV。
32.根据权利要求31所述的系统，其中所述一个或多个条件包括：(1)所述主UAV和所述从UAV之间的通信丢失；和/或(2)所述主UAV的一个或多个组件发生故障或损坏。
33.根据权利要求26所述的系统，其中处理所述用户输入包括确定所述用户输入是否包括用于控制所述UAV的冲突的指令。
34.根据权利要求26所述的系统，其中处理所述用户输入包括确定所述用户输入是否满足操作条件。
35.一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使一个或多个处理器执行用于视频广播的方法，所述方法包括：
从广播端接收广播数据，其中所述广播数据包括由多个无人机UAV收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信；
接收来自收看端的用户输入，其中所述用户输入包括被配置为与所述广播端进行交互的一个或多个指令；
处理来自所述收看端的所述用户输入；以及
将经处理的用户输入发送到所述广播端以在所述广播端调整视频广播。
36.一种用于视频广播的方法，所述方法包括：
从广播端接收广播数据，其中所述广播数据包括由多个无人机UAV收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信；
在收看端检测用户输入，其中所述用户输入包括被配置为与所述广播端进行交互的一个或多个指令；以及
将所述用户输入发送到所述广播端以在所述广播端调整视频广播。
37.根据权利要求36所述的方法，其中所述协调的方式包括其中所述UAV被配置为自主地操作的分散式群配置。
38.根据权利要求37所述的方法，其中每个UAV被配置为部分地使用经由每个UAV上的环境感测系统收集的环境信息来自主地操作。
39.根据权利要求37所述的方法，其中每个UAV被配置为部分地基于相邻UAV的信息自主地操作，其中所述信息包括所述相邻UAV上的摄像机的位置和朝向。
40.根据权利要求36所述的方法，其中所述一个或多个地面站被配置为控制所述UAV以所述协调的方式操作。
41.根据权利要求36所述的方法，其中所述协调的方式包括主从配置，其中主UAV被配置为控制一个或多个从UAV。
42.根据权利要求40所述的方法，其中当发生阻止所述主UAV控制所述从UAV的一个或多个条件时，对所述从UAV的控制从所述主UAV转移至所述地面站或备用UAV。
43.根据权利要求42所述的方法，其中所述一个或多个条件包括：(1)所述主UAV和所述从UAV之间的通信丢失；和/或(2)所述主UAV的一个或多个组件发生故障或损坏。
44.根据权利要求36所述的方法，还包括：处理来自所述收看端的所述用户输入，其中所述处理包括确定所述用户输入是否包括用于控制所述UAV的冲突的指令。
45.根据权利要求44所述的方法，其中基于与每个用户相关联的优先级别来解决所述冲突的指令。
46.根据权利要求44所述的方法，其中基于与每个用户相关联的投票数来解决所述冲突的指令。
47.根据权利要求36所述的方法，还包括：处理来自所述收看端的所述用户输入，其中所述处理包括确定所述用户输入是否满足操作条件。
48.根据权利要求47所述的方法，其中所述操作条件包括以下一项或多项：(i)所述收看端处每个用户的许可级别，(ii)对所述UAV施加的飞行规定，或(iii)所述UAV操作的环境条件。
49.根据权利要求47所述的方法，还包括：修改所述用户输入以满足所述操作条件。
50.根据权利要求36所述的方法，其中所述收看端包括移动设备或头戴式显示器HMD。
51.根据权利要求36所述的方法，其中所述收看端被配置为从一个或多个用户接收不同类型的输入，并且其中所述不同类型的用户输入包括对所述广播端处的一个或多个UAV的语音控制、运动控制和/或触摸(触觉)控制。
52.根据权利要求36所述的方法，其中所述收看端被配置为在增强现实AR或虚拟现实VR环境中显示所述视频数据。
53.一种用于交互式视频广播的系统，所述系统包括收看端，所述收看端包括单独地或共同地被配置为执行以下操作的一个或多个处理器：
从广播端接收广播数据，其中所述广播数据包括由多个无人机UAV收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信；
在收看端检测用户输入，其中所述用户输入包括被配置为与所述广播端进行交互的一个或多个指令；以及
将所述用户输入发送到所述广播端以在所述广播端调整视频广播。
54.根据权利要求53所述的系统，其中所述协调的方式包括其中所述UAV被配置为自主地操作的分散式群配置。
55.根据权利要求54所述的系统，其中每个UAV被配置为部分地使用经由每个UAV上的环境感测系统收集的环境信息来自主地操作。
56.根据权利要求53所述的系统，其中所述一个或多个地面站被配置为控制所述UAV以所述协调的方式操作。
57.根据权利要求53所述的系统，其中所述协调的方式包括主从配置，其中主UAV被配置为控制一个或多个从UAV。
58.根据权利要求57所述的系统，其中当发生阻止所述主UAV控制所述从UAV的一个或多个条件时，对所述从UAV的所述控制从所述主UAV转移至所述地面站或备用UAV。
59.根据权利要求58所述的系统，其中所述一个或多个条件包括：(1)所述主UAV和所述从UAV之间的通信丢失；和/或(2)所述主UAV的一个或多个组件发生故障或损坏。
60.根据权利要求53所述的系统，其中所述一个或多个处理器被配置为处理所述用户输入，且其中所述处理包括确定所述用户输入是否包括用于控制所述UAV的冲突的指令。
61.根据权利要求53所述的系统，其中所述一个或多个处理器被配置为处理所述用户输入，其中所述处理包括确定所述用户输入是否满足操作条件。
62.一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使一个或多个处理器执行用于交互式视频广播的方法，所述方法包括：
从广播端接收广播数据，其中所述广播数据包括由多个无人机UAV收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信；
在收看端检测用户输入，其中所述用户输入包括被配置为与所述广播端进行交互的一个或多个指令；以及
将所述用户输入发送到所述广播端以在所述广播端调整视频广播。
63.一种用于视频广播的方法，所述方法包括：
在广播端接收来自收看端的用户输入，其中所述用户输入包括用于与所述广播端进行交互的一个或多个指令；
在所述广播端处理接收的来自所述收看端的所述用户输入；以及
基于经处理的用户输入，在所述广播端处准备广播数据，其中所述广播数据包括由多个无人机UAV收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信。
64.根据权利要求63所述的方法，其中所述协调的方式包括其中所述UAV被配置为自主地操作的分散式群配置。
65.根据权利要求64所述的方法，其中每个UAV被配置为部分地使用经由每个UAV上的环境感测系统收集的环境信息来自主地操作。
66.根据权利要求64所述的方法，其中每个UAV被配置为部分地基于相邻UAV的信息自主地操作，其中所述信息包括所述相邻UAV上的摄像机的位置和朝向。
67.根据权利要求63所述的方法，其中所述一个或多个地面站被配置为控制所述UAV以所述协调的方式操作。
68.根据权利要求63所述的方法，其中所述协调的方式包括主从配置，其中主UAV被配置为控制一个或多个从UAV。
69.根据权利要求68所述的方法，其中所述主UAV被配置为控制所述从UAV的起飞和着陆。
70.根据权利要求68所述的方法，其中所述主UAV被配置为控制每个所述从UAV上的摄像机的朝向，且其中所述摄像机被配置为收集所述视频数据。
71.根据权利要求68所述的方法，其中所述主UAV被配置为控制每个所述从UAV的飞行路径。
72.根据权利要求68所述的方法，其中当发生阻止所述主UAV控制所述从UAV的一个或多个条件时，对所述从UAV的所述控制从所述主UAV转移至所述地面站或备用UAV。
73.根据权利要求72所述的方法，其中所述一个或多个条件包括：(1)所述主UAV和所述从UAV之间的通信丢失；和/或(2)所述主UAV的一个或多个组件发生故障或损坏。
74.根据权利要求63所述的方法，其中准备所述广播数据包括生成以下项中的至少一个：增强现实AR/虚拟现实VR数据、3-D数据、地图、图形用户界面GUI和/或与所述视频数据相关联的节目列表。
75.根据权利要求74所述的方法，其中所述节目列表包括与正在向所述收看端广播所述视频数据的不同频道相对应的收看节目列表。
76.根据权利要求63所述的方法，其中准备所述广播数据包括基于所述经处理的用户输入来控制所述多个UAV。
77.根据权利要求76所述的方法，其中所述多个UAV被控制以不同队形移动以从不同的视点收集所述视频数据。
78.根据权利要求63所述的方法，其中处理来自所述收看端的所述用户输入包括确定所述用户输入是否包括用于控制所述UAV的冲突的指令。
79.根据权利要求78所述的方法，其中基于与每个用户相关联的优先级别来解决所述冲突的指令。
80.根据权利要求78所述的方法，其中基于与每个用户相关联的投票数来解决所述冲突的指令。
81.根据权利要求63所述的方法，其中处理来自所述收看端的所述用户输入包括确定所述用户输入是否满足操作条件。
82.根据权利要求81所述的方法，其中所述操作条件包括以下一项或多项：(i)所述收看端处每个用户的许可级别，(ii)对所述UAV施加的飞行规定，或(iii)所述UAV操作的环境条件。
83.根据权利要求81所述的方法，还包括：修改所述用户输入以满足所述操作条件。
84.一种用于交互式视频广播的系统，所述系统包括广播端，所述广播端包括被单独地或共同地被配置为执行以下操作的一个或多个处理器：
接收来自收看端的用户输入，其中所述用户输入包括用于与所述广播端进行交互的一个或多个指令；
处理接收的来自所述收看端的所述用户输入；以及
基于经处理的用户输入来准备广播数据，其中所述广播数据包括由多个无人机UAV收集的视频数据，且其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信。
85.根据权利要求84所述的系统，其中所述一个或多个处理器位于所述一个或多个地面站处。
86.根据权利要求84所述的系统，其中所述协调的方式包括其中所述UAV被配置为自主地操作的分散式群配置。
87.根据权利要求86所述的系统，其中每个UAV被配置为部分地使用经由每个UAV上的环境感测系统收集的环境信息来自主地操作。
88.根据权利要求84所述的系统，其中所述一个或多个地面站被配置为控制所述UAV以所述协调的方式操作。
89.根据权利要求84所述的系统，其中所述协调的方式包括主从配置，其中主UAV被配置为控制一个或多个从UAV。
90.根据权利要求89所述的系统，其中当发生阻止所述主UAV控制所述从UAV的一个或多个条件时，对所述从UAV的所述控制从所述主UAV转移至所述地面站或备用UAV。
91.根据权利要求90所述的系统，其中所述一个或多个条件包括：(1)所述主UAV和所述从UAV之间的通信丢失；和/或(2)所述主UAV的一个或多个组件发生故障或损坏。
92.根据权利要求84所述的系统，其中所述处理所述用户输入包括确定所述用户输入是否包括用于控制所述UAV的冲突的指令。
93.根据权利要求84所述的系统，其中所述处理所述用户输入包括确定所述用户输入是否满足操作条件。
94.一种存储指令的非暂时性计算机可读介质，所述指令在被执行时使一个或多个处理器执行用于视频广播的方法，所述方法包括：
在广播端接收来自收看端的用户输入，其中所述用户输入包括用于与所述广播端进行交互的一个或多个指令；
处理接收的来自所述收看端的所述用户输入；以及
基于经处理的用户输入，在所述广播端处准备广播数据，其中所述广播数据包括由多个无人机UAV收集的视频数据，其中所述UAV被配置为(1)以协调的方式操作，以及(2)与一个或多个地面站进行通信。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2016/091028 WO2018014338A1 (en) | 2016-07-22 | 2016-07-22 | Systems and methods for uav interactive video broadcasting |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109479119A true CN109479119A (zh) | 2019-03-15 |
| CN109479119B CN109479119B (zh) | 2021-03-05 |
Family
ID=60993027
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201680087613.0A Expired - Fee Related CN109479119B (zh) | 2016-07-22 | 2016-07-22 | Uav交互视频广播的系统与方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10944998B2 (zh) |
| CN (1) | CN109479119B (zh) |
| WO (1) | WO2018014338A1 (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111439382A (zh) * | 2020-04-14 | 2020-07-24 | 上海航天电子有限公司 | 一种智能组合无人机系统 |
| CN112640446A (zh) * | 2020-04-30 | 2021-04-09 | 深圳市大疆创新科技有限公司 | 数据传输方法、数据传输系统、可移动设备和终端设备 |
| WO2022183367A1 (zh) * | 2021-03-02 | 2022-09-09 | 深圳市大疆创新科技有限公司 | 一种用户终端、信息处理方法及信息处理系统 |
Families Citing this family (37)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11518510B1 (en) * | 2016-10-06 | 2022-12-06 | Gopro, Inc. | Systems and methods for controlling an unmanned aerial vehicle |
| CN106485736B (zh) * | 2016-10-27 | 2022-04-12 | 深圳市道通智能航空技术股份有限公司 | 一种无人机全景视觉跟踪方法、无人机以及控制终端 |
| WO2018144761A1 (en) * | 2017-02-01 | 2018-08-09 | Interdigital Patent Holdings, Inc. | Assurance driven mobility management |
| US10317915B2 (en) * | 2017-02-28 | 2019-06-11 | Gopro, Inc. | Autonomous tracking based on radius |
| US11713120B2 (en) * | 2017-03-01 | 2023-08-01 | Ishida Co., Ltd. | Takeoff and landing device, takeoff and landing system, and unmanned delivery system |
| US10820034B2 (en) * | 2017-05-26 | 2020-10-27 | At&T Intellectual Property I, L.P. | Providing streaming video from mobile computing nodes |
| CN108702487A (zh) * | 2017-11-20 | 2018-10-23 | 深圳市大疆创新科技有限公司 | 无人机的图像传输方法和装置 |
| WO2019109083A1 (en) * | 2017-12-01 | 2019-06-06 | Onesubsea Ip Uk Limited | Systems and methods of pilot assist for subsea vehicles |
| EP3616022B1 (en) * | 2018-02-22 | 2021-07-21 | SZ DJI Technology Co., Ltd. | Monitoring method and device |
| US10710719B1 (en) * | 2018-04-23 | 2020-07-14 | Amazon Technologies, Inc. | Deployable navigation beacons |
| US11102255B2 (en) * | 2018-04-27 | 2021-08-24 | Filmio, Inc. | Project creation and distribution system |
| WO2019227375A1 (en) * | 2018-05-31 | 2019-12-05 | Qualcomm Incorporated | Inspection route communications |
| WO2019233595A1 (en) * | 2018-06-08 | 2019-12-12 | Telefonaktiebolaget Lm Ericsson (Publ) | A method and system for media content production |
| US11341859B1 (en) * | 2018-06-21 | 2022-05-24 | Rockwell Collins, Inc. | Multiple-client unmanned aircraft management station |
| DE102018120198A1 (de) * | 2018-08-20 | 2020-02-20 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Luftfahrzeug |
| US11258987B2 (en) * | 2018-09-21 | 2022-02-22 | Microsoft Technology Licensing, Llc | Anti-collision and motion control systems and methods |
| US10375009B1 (en) | 2018-10-11 | 2019-08-06 | Richard Fishman | Augmented reality based social network with time limited posting |
| WO2020200435A1 (en) * | 2019-04-02 | 2020-10-08 | Telefonaktiebolaget Lm Ericsson (Publ) | A vehicle, a method for controlling a vehicle, a vehicle control system and a network node |
| US11350436B2 (en) | 2019-05-03 | 2022-05-31 | Qualcomm Incorporated | Downlink control indicator distribution for cross carrier scheduling |
| US11815598B2 (en) | 2019-06-10 | 2023-11-14 | Microsoft Technology Licensing, Llc | Anti-collision and motion monitoring, control, and alerting systems and methods |
| CN110503604B (zh) * | 2019-07-31 | 2022-04-29 | 武汉大学 | 一种基于高精度pos的航空面阵影像实时正射拼接方法 |
| CN111402309B (zh) * | 2020-03-05 | 2023-11-03 | 中国科学院上海微系统与信息技术研究所 | 一种多目立体相机的校准及深度图像处理方法 |
| KR102131377B1 (ko) * | 2020-04-17 | 2020-07-08 | 주식회사 파블로항공 | 감시를 위한 무인 이동체 및 이를 포함하는 시스템 |
| US11460867B2 (en) | 2020-06-30 | 2022-10-04 | Sony Group Corporation | System of multi-swarm drone capturing |
| KR102499995B1 (ko) * | 2020-07-22 | 2023-02-15 | 한국전자통신연구원 | 무인기 검출을 위한 정찰 무인기 및 이의 감시구역 비행 방법 |
| US20220067993A1 (en) | 2020-08-31 | 2022-03-03 | Popshop Technologies, Inc. | Live streaming object image capture and image conversion to product catalog |
| JP7415881B2 (ja) * | 2020-11-11 | 2024-01-17 | トヨタ自動車株式会社 | 制御装置、無人航空機、及び方法 |
| CN112383872B (zh) * | 2020-11-12 | 2022-09-20 | 中国空气动力研究与发展中心 | 一种分布式无人机编队状态信息广播发送频率的优化方法 |
| KR102400512B1 (ko) * | 2020-11-17 | 2022-05-23 | 한국과학기술연구원 | 의미 지도 제작 시스템 및 방법 |
| US11809176B2 (en) * | 2020-12-16 | 2023-11-07 | Rockwell Collins, Inc. | Formation management and guidance system and method for automated formation flight |
| US20230012962A1 (en) * | 2021-07-13 | 2023-01-19 | Beta Air, Llc | Methods and systems for a fly by view in an electric aircraft |
| US20230058405A1 (en) * | 2021-08-20 | 2023-02-23 | Sony Group Corporation | Unmanned aerial vehicle (uav) swarm control |
| US11431406B1 (en) * | 2021-09-17 | 2022-08-30 | Beta Air, Llc | System for a mesh network for use in aircrafts |
| US20230089776A1 (en) * | 2021-09-17 | 2023-03-23 | Anduril Industries Inc. | Generating an environment for an operation using a set of assets |
| US11638061B1 (en) * | 2021-12-01 | 2023-04-25 | Rovi Guides, Inc. | Augmented reality display for content consumption relative to a field of view |
| US20230316740A1 (en) * | 2022-03-31 | 2023-10-05 | Wing Aviation Llc | Method for Controlling an Unmanned Aerial Vehicle to Avoid Obstacles |
| US11651694B1 (en) * | 2022-05-04 | 2023-05-16 | Beta Air, Llc | Apparatus for encrypting external communication for an electric aircraft |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5716032A (en) * | 1996-04-22 | 1998-02-10 | United States Of America As Represented By The Secretary Of The Army | Unmanned aerial vehicle automatic landing system |
| US20060253254A1 (en) * | 2005-05-03 | 2006-11-09 | Herwitz Stanley R | Ground-based Sense-and-Avoid Display System (SAVDS) for unmanned aerial vehicles |
| CN102576281A (zh) * | 2009-05-11 | 2012-07-11 | 卡皮托尔公司 | 用于与信息交互并且操纵信息的方法及其系统 |
| CN105245846A (zh) * | 2015-10-12 | 2016-01-13 | 西安斯凯智能科技有限公司 | 一种多无人机协同跟踪的拍摄系统及拍摄方法 |
| US20160093124A1 (en) * | 2014-09-30 | 2016-03-31 | SZ DJI Technology Co., Ltd. | System and method for data recording and analysis |
| CN105589466A (zh) * | 2016-02-24 | 2016-05-18 | 谭圆圆 | 无人飞行器的飞行控制装置及其飞行控制方法 |
| CN105599900A (zh) * | 2016-01-20 | 2016-05-25 | 清华大学合肥公共安全研究院 | 基于多旋翼无人机的荷载低空定位投掷方法 |
| CN105704501A (zh) * | 2016-02-06 | 2016-06-22 | 普宙飞行器科技（深圳）有限公司 | 一种基于无人机全景视频的虚拟现实直播系统 |
| CN105744231A (zh) * | 2016-03-18 | 2016-07-06 | 普宙飞行器科技（深圳）有限公司 | 无人机移动直播方法及无人机移动直播系统 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2804772A1 (en) * | 2010-07-13 | 2012-01-19 | Ram Srikanth Mirlay | Variable three-dimensional camera assembly for still photography |
| US20130233964A1 (en) * | 2012-03-07 | 2013-09-12 | Aurora Flight Sciences Corporation | Tethered aerial system for data gathering |
| WO2013163746A1 (en) * | 2012-05-04 | 2013-11-07 | Aeryon Labs Inc. | System and method for controlling unmanned aerial vehicles |
| US9075415B2 (en) * | 2013-03-11 | 2015-07-07 | Airphrame, Inc. | Unmanned aerial vehicle and methods for controlling same |
| US9599985B2 (en) * | 2014-06-13 | 2017-03-21 | Twitter, Inc. | Messaging-enabled unmanned aerial vehicle |
| EP3862837B1 (en) * | 2014-07-30 | 2023-05-03 | SZ DJI Technology Co., Ltd. | Systems and methods for target tracking |
| US11480958B2 (en) * | 2015-02-19 | 2022-10-25 | Amazon Technologies, Inc. | Collective unmanned aerial vehicle configurations |
| US9488979B1 (en) * | 2015-04-14 | 2016-11-08 | Zipline International Inc. | System and method for human operator intervention in autonomous vehicle operations |
| CN105554480B (zh) * | 2016-03-01 | 2018-03-16 | 深圳市大疆创新科技有限公司 | 无人机拍摄图像的控制方法、装置、用户设备及无人机 |
| US10073454B2 (en) * | 2016-03-17 | 2018-09-11 | Northrop Grumman Systems Corporation | Machine vision enabled swarm guidance technology |
| US20170359407A1 (en) * | 2016-06-08 | 2017-12-14 | Maximum Play, Inc. | Methods and systems for processing commands in a distributed computing system |
-
2016
- 2016-07-22 CN CN201680087613.0A patent/CN109479119B/zh not_active Expired - Fee Related
- 2016-07-22 WO PCT/CN2016/091028 patent/WO2018014338A1/en active Application Filing
-
2019
- 2019-01-20 US US16/252,705 patent/US10944998B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5716032A (en) * | 1996-04-22 | 1998-02-10 | United States Of America As Represented By The Secretary Of The Army | Unmanned aerial vehicle automatic landing system |
| US20060253254A1 (en) * | 2005-05-03 | 2006-11-09 | Herwitz Stanley R | Ground-based Sense-and-Avoid Display System (SAVDS) for unmanned aerial vehicles |
| CN102576281A (zh) * | 2009-05-11 | 2012-07-11 | 卡皮托尔公司 | 用于与信息交互并且操纵信息的方法及其系统 |
| US20160093124A1 (en) * | 2014-09-30 | 2016-03-31 | SZ DJI Technology Co., Ltd. | System and method for data recording and analysis |
| CN105245846A (zh) * | 2015-10-12 | 2016-01-13 | 西安斯凯智能科技有限公司 | 一种多无人机协同跟踪的拍摄系统及拍摄方法 |
| CN105599900A (zh) * | 2016-01-20 | 2016-05-25 | 清华大学合肥公共安全研究院 | 基于多旋翼无人机的荷载低空定位投掷方法 |
| CN105704501A (zh) * | 2016-02-06 | 2016-06-22 | 普宙飞行器科技（深圳）有限公司 | 一种基于无人机全景视频的虚拟现实直播系统 |
| CN105589466A (zh) * | 2016-02-24 | 2016-05-18 | 谭圆圆 | 无人飞行器的飞行控制装置及其飞行控制方法 |
| CN105744231A (zh) * | 2016-03-18 | 2016-07-06 | 普宙飞行器科技（深圳）有限公司 | 无人机移动直播方法及无人机移动直播系统 |
Non-Patent Citations (1)
| Title |
|---|
| 陈军: "有人/无人机混合编队有限干预式协同决策", 《航空学报》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111439382A (zh) * | 2020-04-14 | 2020-07-24 | 上海航天电子有限公司 | 一种智能组合无人机系统 |
| CN111439382B (zh) * | 2020-04-14 | 2023-06-06 | 上海航天电子有限公司 | 一种智能组合无人机系统 |
| CN112640446A (zh) * | 2020-04-30 | 2021-04-09 | 深圳市大疆创新科技有限公司 | 数据传输方法、数据传输系统、可移动设备和终端设备 |
| WO2021217581A1 (zh) * | 2020-04-30 | 2021-11-04 | 深圳市大疆创新科技有限公司 | 数据传输方法、数据传输系统、可移动设备和终端设备 |
| WO2022183367A1 (zh) * | 2021-03-02 | 2022-09-09 | 深圳市大疆创新科技有限公司 | 一种用户终端、信息处理方法及信息处理系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10944998B2 (en) | 2021-03-09 |
| US20190174149A1 (en) | 2019-06-06 |
| WO2018014338A1 (en) | 2018-01-25 |
| CN109479119B (zh) | 2021-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109479119B (zh) | Uav交互视频广播的系统与方法 | |
| US11106203B2 (en) | Systems and methods for augmented stereoscopic display | |
| US11443555B2 (en) | Scenario recreation through object detection and 3D visualization in a multi-sensor environment | |
| US11961093B2 (en) | Authentication systems and methods for generating flight regulations | |
| US20230068113A1 (en) | Sensor calibration facility | |
| US11415683B2 (en) | Mobile sensor calibration | |
| US20210375143A1 (en) | Systems and methods for geo-fencing device communications | |
| JP7382617B2 (ja) | 光ナローキャスティングを用いたソーシャルメディア | |
| CN207117844U (zh) | 多vr/ar设备协同系统 | |
| JP6524545B2 (ja) | ジオフェンシング装置、及び飛行規制のセットを提供する方法 | |
| JP6535382B2 (ja) | 無人航空機の位置を判定する方法及びシステム | |
| US10525332B2 (en) | System and method for conducting a drone race or game | |
| EP3132619B1 (en) | Systems and methods for displaying geo-fencing device information | |
| CN107430403A (zh) | 具有地理围栏设备级别的系统和方法 | |
| CN107409174A (zh) | 用于管制无人飞行器操作的系统和方法 | |
| EP3633653A1 (en) | Systems and methods for mutual authentication between an unmanned aerial vehicle and an authentication center | |
| CN107615358A (zh) | 用于标识经授权的参与者的认证系统和方法 | |
| CN107430402A (zh) | 用于对地理围栏设备进行标识和认证的系统和方法 | |
| Kwak et al. | Emerging ICT UAV applications and services: Design of surveillance UAVs | |
| KR20210061115A (ko) | 인공지능형 로봇 디바이스의 음성 인식 방법 | |
| JP2019064584A (ja) | 無人航空機（ｕａｖ）の動作に対して認証のレベルを判定する方法及びシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210305 |