CN107667521B - 个人感测无人机 - Google Patents

个人感测无人机 Download PDF

Info

Publication number
CN107667521B
CN107667521B CN201680030229.7A CN201680030229A CN107667521B CN 107667521 B CN107667521 B CN 107667521B CN 201680030229 A CN201680030229 A CN 201680030229A CN 107667521 B CN107667521 B CN 107667521B
Authority
CN
China
Prior art keywords
drones
fleet
drone
user
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680030229.7A
Other languages
English (en)
Other versions
CN107667521A (zh
Inventor
G·拉法
G·J·安德森
L·M·德拉姆
R·贝克维斯
K·袁
J·艾坎戴姆
J·舍尔曼
A·莫士科维茨
O·本-沙洛姆
J·希利
S·布朗
T·盖达尔
Y·戈维曾斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN107667521A publication Critical patent/CN107667521A/zh
Application granted granted Critical
Publication of CN107667521B publication Critical patent/CN107667521B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0027—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/005—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004—Transmission of traffic-related information to or from an aircraft
    • G08G5/0013—Transmission of traffic-related information to or from an aircraft with a ground station
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0043—Traffic management of multiple aircrafts from the ground
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/102—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] adapted for flying in formations

Abstract

本文描述了用于个人感测无人机的各种系统和方法。个人感测无人机系统包括无人机遥控系统，该无人机遥控系统包括：任务模块，其将任务传送给无人机机群以供所述无人机机群执行，所述无人机机群包括至少两个无人机；收发机，其接收来自所述无人机机群的与所述任务相关的信息；以及用户界面模块，其基于接收自所述无人机机群的信息来呈现用户界面。

Description

个人感测无人机
优先权申请
本申请要求2015年6月25日提交的美国申请S/N.14/750,803的优先权的权益，该申请通过引用整体结合于此。
技术领域
本文描述的各实施例一般涉及感测增强设备，且具体地涉及个人感测无人机。
背景技术
归因于组件成本降低和兴趣增加，航空无人机或无人飞行器(UVA)近几年已变得更加流行。制造和小型化持续改进无人机技术并且生产具有更多能力的更小、更轻无人机。若干军用和民用应用已被开发，包括侦察、边境巡逻、农作物估产、电影摄制、搜救行动、以及包裹递送。
附图说明
在附图中(这些附图不一定是按比例绘制的)，相同的数字可以描述在不同视图中的类似的组件。具有不同的字母后缀的相同的数字可以表示类似组件的不同实例。在附图中的诸个图中通过示例而非限制地示出一些实施例：
图1是根据一实施例的解说无人机和遥控系统的组件的示图；
图2-4是根据一实施例的解说操作期间的控制和数据流的流程图；
图5是示出根据一实施例的解说无人机的操作的示图；
图6是根据一实施例的解说个人感测无人机系统的框图；
图7是根据一实施例的解说实现个人感测无人机系统的方法的流程图；以及
图8是根据一示例实施例的解说本文中所讨论的技术(例如，方法)中的任意一种或多种可在其上执行的示例机器的框图。
具体实施方式
本文描述的系统和方法提供了一种用于个人感测无人机的系统。无人机和其他机器人构成了可在许多方面扰乱生活的新技术，从监视和安全到发货、救灾、工作任务、军事应用，等等。许多人可从启用远程感测能力的无人机获益。例如，具有视觉损伤、行动问题、或听觉问题的人可从无人机所提供的远程感测获益。
本公开讨论了自主无人载具的操作的改进。用户个人的无人机可以成群使用或单独地使用以向用户提供内容。在机群中，各无人机可被同步以向用户提供经整合感测环境。例如，若干无人机可将视频缝合在一起，以使得用户可以如同各视频馈源是单个馈源那样来查看各视频馈源。用户可具有虚拟现实头戴式设备或其他全景视觉系统以体验对象或场景的宽视野(例如，360度视野)。另选地，若干无人机可被用来向用户提供不同视野(FOV)、观点、或视频馈源(例如，红外和可见光视图)，用户可在不同视图之间切换或在聚集显示中并排地体验若干视图。类似机制可被提供用于其他感觉，诸如听觉、触觉、或嗅觉。无人机还可允许某种形式的远程感测，使得用户可以具有无人机带回的嗅觉和触觉表示。这也可辅助具有行动问题的用户，防止他们撞到所讨论的对象。实际上，个人无人机可以增强用户的感觉。
图1是根据一实施例的解说无人机100和遥控系统102的组件的示图。无人机100也可被称为半自主载具或机器人，它可以是陆基的、海上载具、无人飞行器(UAV)，等等。出于讨论的目的，本文讨论的无人机100是无人飞行器(UAV)。遥控系统102可以向一个或多个用户呈现一个或多个用户界面(UI)并被使用来控制无人机100。例如，UI可以显示一区域的地图并允许用户选择无人机100可遵循的航路点。遥控系统102与无人机100之间的通信是双向的。如此，无人机100捕获的图像和其他信息可被传送回遥控系统102以供显示给用户，用户随后可以用附加命令或其他参数变化来作出响应。
无人机100包括飞行模块104、飞行硬件106、飞行图108、传感器阵列110、以及通信子系统112。无人机100可基于从遥控系统102接收到的命令来半自主地操作。例如，在无人机100接收到包括目的地(诸如GPS坐标和所需高度)的导航命令时，无人机100可移至该目的地而无需进一步用户输入。无人机100还可包括输出设备124，诸如显示器或扬声器。
飞行硬件106包括无人机100的推进或以其他方式移动无人机100的组件。例如，四旋翼直升机UAV(也称为四轴直升机)的飞行硬件106可包括四个螺旋桨。取决于无人机100的类型，飞行硬件106可以不同(例如，用于基于地面的单元的轮)。飞行硬件106还可包括GPS接收机。GPS接收机可以具备差分GPS(DGPS)的能力或实时运动学(RTK)GPS的能力。飞行硬件106还可包括至少一个处理单元(例如，中央处理单元、图形处理器、或专用集成电路)。处理单元可以执行存储在无人机100上的软件以执行无人机100的本文描述的功能。
飞行图108包括表示地理区域(其可包括道路、场馆座位、观众看台、舞台、场地、台面(playing surface)，等等)和这些地理区域的各特征的GPS坐标的数据。飞行图108包括该地理区域的高度数据。该数据还可包括人造物体(诸如桥梁、蜂窝塔，等等)的位置数据。此外，飞行图108可包括兴趣点(POI)位置(包括但不限于餐馆、公司、加油站、体育场、高尔夫球场，等等)的数据库。将理解，飞行图108可包括附加地理、结构或后勤细节以允许无人机100以半自主或全自主的性质来操作。在若干无人机100被用来执行一任务时，飞行图108可包括其中每一无人机100被指派覆盖的区域以增加覆盖并降低冲突的可能性。
传感器阵列110包括一个或多个传感器。传感器阵列110所捕获的数据可由无人机100在导航期间在内部使用或由无人机100的操作者在外部使用。传感器可包括但不限于温度传感器、压力传感器、电光学传感器、红外传感器、深度相机、相机阵列、话筒阵列、陀螺仪、加速度计、邻近度传感器、话筒、以及磁力计。
在各示例中，无人机100的自主移动是使用飞行模块104和传感器阵列110、飞行硬件106以及飞行图108中的一者或多者来实现的。在一示例中，飞行模块104包括冲突检测逻辑。为此，来自传感器阵列110中的邻近度传感器的读数可被用来确定无人机100距对象(例如，墙或另一无人机)有多近。在一示例中，存储在飞行图108中的数据(与传感器读数相组合地)被用来避开对象。例如，无人机100可以导航绕过高大结构(例如，蜂窝塔、建筑物)的已知位置，或在进至一位置之前飞到足够高度。对于基于地面的无人机100，无人机100可以避开有水、孔洞等的已知区域。
飞行模块104还可利用使用电光学或红外传感器获得的图像数据来避免与对象冲突。例如，飞行模块104可以使用模式匹配算法来分析图像数据以在移动时对无人机100的路径中的对象分类。
飞行模块104还可被用来在一起充当无人机群的若干无人机之间协调定位、飞行模式、相机角度、传感器配置以及无人机操作的其他方面。尽管图1解说了单个无人机100，但将理解，单个无人机100可一起行动以完成用户所指派的任务。机群中各无人机之间的协调可由机群中的无人机组合来自主地执行(例如，协作式计算)或由机群的主控无人机执行(例如，中央计算)。
通信子系统112包括用于通过一个或多个网络与遥控系统102通信的一个或多个接收机、发射机、或收发机。在一示例中，控制指令由通信子系统112通过网络连接(例如，网络114)来接收。控制指令可以指示无人机100的下一动作过程是什么。例如，控制指令可以是导航指令、一般指示、或其他配置设置。通信子系统112可以将控制指令中继到飞行模块104，此时飞行模块104实现该指令。
网络114将无人机100与遥控系统102通信地连接。网络114可包括局域网(LAN)、广域网(WAN)、无线网络(例如，802.11或蜂窝网络)、公共交换电话网(PSTN)网络、自组织网络、蜂窝、个域网或对等(例如，
Figure BDA0001480859160000041
Wi-Fi直连)、或网络协议和网络类型的其他组合或排列。网络114可包括单个局域网(LAN)、广域网(WAN)、或者LAN或WAN的组合(诸如因特网)。网络114可以提供遥控系统102与无人机100之间的安全、加密、或专有连接。
遥控系统102可以是独立设备或另一设备的一部分。遥控系统102可以是执行遥控应用的智能电话、平板、可穿戴设备(例如，智能眼镜)、具有双棒布局和显示器的发射机、膝上型设备，等等。遥控系统102可以是设备的组合，所述设备诸如用于向用户提供视觉反馈以及向无人机100提供基于相机的控制的智能眼镜、以及从无人机100向用户提供触觉反馈的电子织物手套。在各实施例中，电子织物手套可被用来指向潜在感兴趣对象或作为另一用户输入设备。遥控系统102还可包括包含一个或多个核的至少一个处理单元(例如，中央处理单元、图形处理器、或专用集成电路)。该至少一个处理单元可以执行存储在遥控系统102上的软件以执行本文描述的功能。
遥控系统102包括显示设备116、控制用户界面118、控制模块120、以及通信子系统122。显示设备116是遥控系统102上的呈现控制用户界面118的显示器。控制用户界面118可包括用于允许用户配置无人机(或无人机机群)的操作的各种输入控件。各种参数或设置可由用户经由控制用户界面118来配置，所述参数或设置包括但不限于搜索参数、连续镜头(footage)属性、以及其他设置。
搜索参数可由无人机100使用来找出对象、人或路径。搜索参数可包括地理位置(例如，GPS坐标)、航路点、路径、要避开的危险的类型、要找出的公司的类型，等等。搜索参数可被限于特定任务或任务类型。例如，任务可以是为出门在林间小路上慢跑的用户向前勘测。在该任务期间，无人机100可以结合其他无人机100来使用以侦察用户前方的小路来向用户警告任何危险。这一类型的任务的危险可被限于倒下的树木、小路的泥泞或水淹区域、以及小路的冲毁区域。
连续镜头属性可包括像素分辨率、对象的视角的数目、存储偏好(例如，文件类型、存储位置、保留策略，等等)、图像或视频质量(例如，标清或高清)、将图像/视频数据存储在本地还是单播或广播它、或者被捕获的视频或图像的其他方面。
用户输入可包括控制用户界面118上的触摸输入、语音输入、遥控系统102上的手势、或遥控系统102的物理移动或操纵(例如，使用双棒(dual-stick)控件)。对输入的检测可以使用遥控系统102的一个或多个传感器(未示出)来实现，诸如加速度计、话筒、陀螺仪、或相机。在检测到用户输入时，控制模块120可以检索用于无人机100的控制指令并随后使用通信子系统122通过网络连接114将该控制指令传送给无人机100。
在操作期间，无人机100可被配置用于各种任务。任务一般被设计成增强用户感觉中的一者或多者。任务可被宽泛地编组成两种类型：辅助导航和调查。辅助导航任务是用户通过某种机制行进或移动的任务，并且无人机100或无人机机群被用来通过侦察用户路径的障碍、危险、或可能延迟或拒绝用户通过的其他事物来使用导航对用户进行辅助。在市区上下文中，物理环境归因于各种因素，归因于天气、交通事故、建筑以及其他事件而经常变化。与全局地图相比，这些变化可在相对小的区域中发生。无人机可被用来以精细分辨率(例如，街道级、逐个街区，等等)提供局部化实况数据。
在各示例中，无人机100分析图像数据库中的数据以确定地理区域如何随时间变化。例如，许多事物可以造成地理区域变化。这些改变可以按多种方式来分类，包括但不限于环境变化、基础设施变化、以及交通危险。在一些实例中，变化可具有多个类别。环境变化可包括归因于天气(诸如，泥流、塌方、飓风、洪水、雪崩、干旱，等等)的变化。基础设施变化可包括人造建筑的变化，诸如桥梁退化、房屋火灾、倒塌的建筑，等等。交通危险可来自归因于交通模式变化(诸如，繁忙交通)、道路阻塞(例如，路上的残骸)、或路上存在野生动物的适于导航的道路的变化。也可使用其他类别而不偏离本公开的范围。
作为示例，用户可以在其中存在不平人行道的市区环境中在清晨在太阳尚未完全升起之前早早跑步。无人机100可被配置成检测用户前方的潜在绊跌危险并向用户的可穿戴设备(例如，蓝牙头戴式设备、健康手表、智能电话，等等)发送可听或触觉警报。无人机100还可在在各路线间选择时侦察前方以确定在用户的路线上何处存在最少量的障碍，这可被预配置或动态地确定。障碍可以是在步道上遛宠物的人、高度拥塞的街道、建筑、临时封路、以及其他临时约束。
作为另一示例，在具有有限连通性的室外上下文中，用户可将地图下载到无人机100以在开始越野跑之前提供导航。在小径情形中，无人机100可被配置成移至用户前方以引导用户远离潜在危险和不能通行的情形，诸如松动石块或悬崖边。无人机100还可被用来引导用户回到更重度使用的小径。无人机100可在各种情形中通过标识穿过困难地形(例如，深谷或裂隙)的可行路线来进行帮助。这一类型的侦察是真实挑战，因为登山家和徒步旅行家通常不能断定要采取的最佳路线。同样，归因于天气和时间，各条件可能快速且没有预警地转变，从而致使已知路线突然不可通行。在这一实例中，实时侦察是非常有用的。
其他类型的一般任务是调查任务。调查任务被设计成允许人使用单个无人机100或无人机机群远程调查一对象、人、或事物。各种类型的调查可被提供，包括视觉、音频、触觉、或嗅觉。用户可以使用各种用户控件引导无人机100或无人机机群到达特定对象、人或事物。在一示例中，用户能够向无人机100指示要覆盖的对象/区域，通过在控制用户界面118上触摸要由无人机100调查的对象/区域来进行视觉和/或音频记录。可以向用户呈现地图，用户可以在地图上指示要调查的地点或位置。另选地，用户可以使用遥控系统100上的相机来框选相机查看器中的对象并且无人机100可以使用目标识别技术，这可通过位置/方向传感器或眼睛跟踪来得到辅助，以确定感兴趣的对象。在一实施例中，来自无人机100的输出的视角可以与用户的视觉或听觉视角相关。这可例如通过用户佩戴眼睛跟踪器、头戴式指南针、或头戴式话筒阵列中的一者或多者以确定用户注视的方向或与正被无人机100记录的环境中的声音的相对位置来被启用。无人机100可以经由无人机机群的输出设备124提供演示以与用户相对于环境中的视觉或听觉源的视角进行相关。
一旦感兴趣对象已被标识并传送给无人机100或无人机机群，则(一个或多个)无人机100可以利用九自由度传感器110(加速度计、陀螺仪以及磁力计)、目标识别、以及其他成像技术来捕获感兴趣对象的图像数据、音频数据、触觉数据、或嗅觉数据。无人机机群可包括可获得可对于航空无人机困难的相机角度的基于地面(陆基)机器人，反之亦然。同样，无人机机群中的一些无人机可具有与无人机机群的其他无人机所没有的不同或特定传感器。这可归因于有效载荷能力或电池限制或者各单个无人机上的其他操作限制。无人机机群、遥控系统102或另一系统可以协调来自无人机机群的多个输入流。
图2-4是根据一实施例的解说操作期间的控制和数据流的流程图。在状态202，用户与无人机之间的交互开始。用户选择行进路径并激活无人机以用于引导(操作204)。用户选择警报偏好，例如无人机应当向用户警报什么，诸如停车点、不平人行道、甜甜圈店，等等(操作206)。无人机部署(操作208)并开始扫描一区域。在决策框210，确定是否需要更多无人机。这可归因于需要更精细粒度水平，需要近乎实时地扫描大区域，或将其他传感器、相机视角、或操作模式带入无人机机群的能力。如果需要附加无人机，则在决策框212，确定是否存在要部署的附加无人机。无人机可通过社区池或从私有池来提供。例如，社区可以向居民提供无人机。否则，私人公民可以拥有并操作要在不同情形中使用的无人机机队。另选地，私有和公共无人机可被征募并一起工作。
如果存在附加无人机可用，则在操作214，附加无人机被部署并且无人机机群协调飞行路径。这一协调可以使用合作式规划或分布式规划来执行。合作式规划可以通过每一无人机与机群中的其他无人机共享其位置、飞行路径、剩余电池寿命、当前任务或子任务、能力(例如，可用传感器)、传感器所面向的方向等等来在无人机机群中的各无人机之间执行。。基于彼此的能力、位置和其他因素，每一无人机可以智能地决定采取动作或一系列动作。在无人机确定动作或一系列动作时，它可以通知机群中的其他无人机，这可影响其他无人机可能执行的待决或可用动作。
另选地，在分布式无人机规划方案中，单个无人机(或用户)可以标识机群中的每一无人机的任务或子任务。分布式无人机规划和控制可归因于使用经减少的通信和控制例程而更易于实现，但对于想要专注于另一任务(例如，越野跑)的用户而言可能难以维持控制。因而，不同配置模式可被提供以用于不同用户基础。
在合作式或分布式规划方案中，在一个无人机被停用(例如，低电池、归因于碰撞而损坏，等等)时，另外一个或多个无人机可代替该经停用无人机。经停用的无人机的责任可被分布在无人机机群中的其余无人机之间，或者新无人机可被召唤以替换经停用的无人机。传感器数据、图像、视频、或其他信息可以从经停用无人机传递给无人机机群中的一个或多个无人机以保留该信息并将该信息传递回用户。
在操作216，优化路径以确保存在对用户的路径的足够覆盖。使用单个无人机，覆盖可以是相对窄的锥形，诸如15度覆盖的前锥。使用更多无人机，更宽的前锥可被覆盖。使用足够无人机，全360度覆盖可被提供以侦察用户前方和后方方向来向用户警报用户正在接近的危险(例如，阻塞前方小径的落石)和正从后方接近用户的危险(例如，在该小径上从后方接近的骑车人)。
周期性地或规则地，无人机确定任务是否完成(决策框218)。在任务完成时，无人机返回基地(操作220)以再充电或使得可用于该用户或另一用户的新部署。在任务尚未完成时，(一个或多个)无人机继续任务(操作222)并且流程返回206，在此各参数被重新检查并且被用来定义任务的新方面，这可涉及使用更多或更少无人机。
图3和4解说了根据各实施例的无人机控制和数据流。在图3中，在用户选择行进路径时(操作204)，地图应用编程接口(API)被调用并且向无人机提供信息(操作302)。无人机使用用户所提供的小径路径和地图API来预测用户移动并基于所预测的用户移动来发起无人机移动(操作304)。无人机使用计算机视觉和深度分析来分析从无人机上的一个或多个相机获得的视频馈源(操作306)。无人机预测用户的路径(操作308)。这可主要基于用户选择的行进路径来执行。这也可通过跟踪用户在给定区域中先前选择的路径来执行。这也可通过分析用户的当前方向、速度和能力来执行。例如，坐轮椅的用户可能不被预期行进通过多岩石地形或攀爬陡坡。因而，相比于陡坡部分，越野小径的相对平坦部分可被标识为预期用户路径。
随着用户穿过行进路径，无人机扫描寻找潜在危险、障碍、或沿路线的变化(操作310)。在无人机标识了潜在危险、障碍或变化时，无人机将警报传送给用户(操作312)。该警报可以使用一种或多种机制来提供，诸如经由蓝牙TM耳机、智能手表、智能电话等等，使用音频、触觉、或视觉警报模式(或它们的组合)、警报可被呈现在用户设备(例如，智能手表或无人机遥控设备)上或来自无人机机群的一个或多个无人机。警报可由用户配置为通知偏好。
可为用户选择新路线(操作314)并将其传达给用户。一条或多条路线可被呈现。可以向用户提供用于选择路线选择或确认路线变化的用户界面。如果用户的路线完成(决策框316)，则用户完成该路线(状态318)且该交互结束。如果路线未被完成，则用户继续该路线(状态320)且控制和数据流继续至操作302。
图4解说了与图3中的控制和数据流相似的控制和数据流，其中差别在于当检测到危险、障碍或沿路线的变化时(图3的操作310)，附加无人机被使用来改进地图制作粒度、地理覆盖、或实现附加传感器(操作402)。增加无人机可基于危险、障碍或沿类型的变化的类型。例如，在树倒下并阻挡徒步者的路径时，则单个无人机可能够侦察另选路径并建议另选路线。相反，在障碍物或危险更大时，诸如森林火灾，则附加无人机可被使用来侦察火区周界并建议另选路线。对附加无人机的使用也可以是必要的以在涉及迅速蔓延大火时加速重新路线规划。
在操作310中的危险、障碍物以及路线变化可以基于环境因素，诸如低光或阴影。例如，随着光线消失，正在越野跑的用户处于绊跌或摔倒在过暗小径部分上的更大危险中。若干无人机可被用来确保向用户通知该小径的黑暗、危险区域。地面无人机可被用于其中树和其他对象可使得飞行无人机难以安全地侦察的区域。作为另一示例，随着日光消失，无人机可被配置成基于用户的徒步速度、剩余光线、光照条件、小径位置、水可用性(例如，附近的溪流)等等来扫描处于用户周围的某一区域内的合适营地。
图5是示出根据一实施例的解说无人机的操作的示图。从控制角度来看，用户能够向无人机指示要覆盖、调查或监视的对象或区域。用户可以用相机502查看对象500，相机502可被集成到用户设备(例如，智能电话、摄录机，等等)。基于相机502的视野(例如，图像、位置、方向、视角，等等)，无人机504被指令聚焦在对象500上或执行某一动作，诸如迹线。相机502的用户可以与显示器(例如，智能电话屏幕)交互并在如由相机502捕获的对象500的图像上提供输入，该输入可被转换并传送到无人机504以向无人机504提供运动控制指令或其他指令。
图6是根据一实施例的解说个人感测无人机系统600的框图。个人感测无人机系统600包括无人机遥控系统602，它包括任务模块604、收发机606以及用户界面模块608。任务模块604可被配置成将任务传送给无人机机群以供该无人机机群执行，该无人机机群包括至少两个无人机。在一实施例中，无人机机群包括至少一个航空无人机和至少一个地面无人机。
无人机遥控系统602可包括多个物理设备，诸如用于将地图传递给无人机机群的智能手表和用于接收来自无人机机群的可听警报的蓝牙TM头戴式设备。
收发机606可被配置成接收来自无人机机群的与任务相关的信息。在一实施例中，任务包括辅助导航任务，且收发机要将参数集传送给无人机机群以配置该辅助导航任务。在又一实施例中，参数集包括定义在通过一路径时要避开的一组危险的用户偏好，并且无人机机群侦察该路径以标识该组危险中的危险。在又一实施例中，该组危险包括孔洞、悬崖、或绊跌危险。
用户界面模块608可被配置成基于从无人机机群接收到的信息来呈现用户界面。
在一实施例中，无人机遥控系统602包括用于确定另选路线并经由用户界面将该另选路线呈现给用户的导航模块。在一实施例中，无人机机群要确定另选路线并经由用户界面将该另选路线传达给用户。
在一实施例中，无人机遥控系统602包括用于将地理地图传送给无人机机群的导航模块。地理地图可由无人机机群用于导航以及分析路线。用户可任选地上传地理地图，在无人机不能连接到广域网以获取其自己的地图时这可以是有用的。
在一实施例中，任务包括调查任务，且用户界面模块608要将感兴趣对象传送给无人机机群，其中从无人机机群接收到的信息包括视觉数据、音频数据、触觉数据或嗅觉数据。感兴趣对象可以是任何类型的对象，包括构造、建筑、人、地理区域、交通工具，等等。调查任务可以引导无人机机群接近静止的感兴趣对象(例如，建筑物顶部的雕塑)或追随移动的感兴趣对象(例如，孩子)。
在一实施例中，为了将感兴趣对象传送给无人机机群，用户界面模块608要将感兴趣对象的图像传送给无人机机群，其中无人机机群使用图像分析来在安装在该无人机机群中的至少一个无人机上的相机的视野中标识该感兴趣对象。例如，用户可以拍摄感兴趣对象的照片并将该照片传送给无人机机群。无人机机群可以使用图像分析和目标识别来导航到图像中的该对象并调查它。
在一实施例中，为了将感兴趣对象传送给无人机机群，用户界面模块608要将地理位置传送给无人机机群。该地理位置可包括纬度和经度坐标连同高度，以提供空间中的三维点。另选地，地理位置可只包括纬度和经度。各种地理导航系统可被使用，诸如全球定位系统(GPS)或全球导航卫星系统(GLONASS)。在一实施例中，地理位置包括全球定位系统坐标。
在一实施例中，从无人机机群接收到的信息包括来自无人机机群中的多个无人机的视觉数据，且用户界面模块608要合成来自无人机机群中的该多个无人机的视觉数据以产生经合成视觉数据并将经合成视觉数据呈现给用户。多个图像可以来自不同视角，使用不同图像捕获技术，或使用不同视野。可以使用其他多图像捕获技术。
在一实施例中，为了呈现经合成视觉数据，用户界面模块608要呈现来自无人机机群中的相应多个无人机的感兴趣对象的多个视图。这些视图可像多个相机馈源一样被呈现，其中一个主窗口呈现活动视图和用户界面控件以允许用户在各个活动视频馈源之间切换，一个活动视频馈源来自每一活动无人机。如上文讨论的，无人机机群提供的相对相机视角可被相关到用户的查看视角。
在一实施例中，为了呈现经合成视觉数据，用户界面模块608要呈现来自多个无人机的图像数据的覆盖。例如，一个无人机可以捕获红外图像而另一无人机可以捕获可见光图像。用户可任选地激活和停用一个或多个层(可见光、红外)以在若干视图中查看感兴趣对象。
在一实施例中，为了呈现经合成视觉数据，用户界面模块608要根据从多个无人机提供的视觉数据来构建感兴趣对象的三维模型。使用足够视觉信息，感兴趣对象可被渲染为三维对象。具有虚拟现实系统的用户随后可与虚拟空间中的三维对象进行交互。
在一实施例中，为了呈现经合成视觉数据，用户界面模块608要呈现感兴趣对象的与该用户的查看视角相对应的视图。
在一实施例中，从无人机机群接收到的信息包括来自该无人机机群中的多个无人机的音频数据，并且用户界面模块608要选择来自该无人机机群中的多个无人机之一的音频信号，该音频信号具有来自该无人机机群中的多个无人机的可用音频信号的最强信噪比。
在一实施例中，用户界面模块608要将来自无人机机群中的无人机之一的音频信号与由无人机控制器提供的视频信号相组合，以产生音频-视觉演示；以及将该音频-视觉演示呈现在用户界面中。例如，无人机控制器可具有面向世界的相机，使得用户可以充当视频制作者。然而，在一些情形中，例如鸟类远距调查，用户可能不能足够接近感兴趣对象以倾听。在这样的情形中，无人机可充当远距话筒。
在一实施例中，从无人机机群接收到的信息包括来自该无人机机群中的至少一个无人机的触觉数据，并且用户界面模块608要用用户佩戴的可穿戴设备来协调触觉响应以重建感兴趣对象的触觉感觉。触觉信息可以使用被用来扫掠感兴趣对象的表面的物理感觉器或天线来获取。另选地或与物理数据获取相组合地，无人机可以使用高分辨率成像和其他分析来确定纹理、坚固度、或感兴趣对象的其他触觉信息。用户可能够使用提供触觉用户接口的装备远程地感觉对象。一种这样的装备是具有触觉反馈机制的手套，诸如运动学力和振动触觉反馈。在一实施例中，可穿戴设备包括手套。
在一实施例中，从无人机机群接收到的信息包括来自该无人机机群中的至少一个无人机的嗅觉数据，并且为了基于接收自无人机机群的信息来呈现用户界面，用户界面模块608要呈现与嗅觉数据相对应的气味的表示。在一实施例中，气味的表示是化学名、结构、或指示。指示可以是产生类似或相同气味的对象(例如，针对硫磺的臭鸡蛋)的图片。
例如，使用小型真空和气密、无菌罐，无人机机群中的无人机可以捕获少量环境空气。可使用各种过滤器、显微镜、化学物等来测试环境空气。另选地，无人机可以将空气样本递送给用户以供测试、嗅闻，等等。在一实施例中，接收自无人机机群的信息包括来自无人机机群中的至少一个无人机的嗅觉数据，该嗅觉数据是感兴趣对象周围的空气的样本。
在一实施例中，从无人机机群接收到的信息包括来自该无人机机群中的至少一个无人机的嗅觉数据，并且无人机遥控系统602要标识用户具有的过敏性，以及呈现用户界面，用户界面模块608要向用户呈现感兴趣对象可能是过敏原的警告。用户可以在用户偏好或控制部分中指示过敏原，这随后在测试空气样本时可被参考。过敏原测试可以通过使用显微镜、化学测试等等来执行。例如，无人机可以捕获感兴趣对象周围的少量环境空气，该空气可通过一个或多个过滤器来被排空，每一过滤器具有更小通道以捕获颗粒物。随后使用显微镜(或其他光学技术)和图像库，无人机可以标识与图像库中的过敏原相匹配的颗粒物。可使用类似机制或通过使用其他机制(诸如用于捕获花粉和霉菌的粘合表面，对粘合表面的显微分析以估计计数)来确定花粉或霉菌的颗粒计数。
图7是根据一实施例的解说实现个人感测无人机系统的方法700的流程图。在框702，从无人机控制器向无人机机群传送要由无人机机群执行的任务，无人机机群包括至少两个无人机。在一实施例中，无人机机群包括至少一个航空无人机和至少一个地面无人机。
在一实施例中，任务包括辅助导航任务，且该方法进一步包括将参数集传送给无人机机群以配置该辅助导航任务。在又一实施例中，参数集包括定义在通过一路径时要避开的一组危险的用户偏好，并且无人机机群侦察该路径以标识该组危险中的危险。在又一实施例中，该组危险包括孔洞、悬崖、或绊跌危险。
在框704，从无人机机群接收与任务相关的信息。在框706，基于接收自无人机机群的信息来呈现用户界面。
在一实施例中，方法700包括确定另选路线并在用户界面中将该另选路线呈现给用户。在又一实施例中，确定另选路线由无人机机群执行。
在一实施例中，方法700包括将地理地图传送给无人机机群。
在一实施例中，任务包括调查任务，且方法700还包括将感兴趣对象传送给无人机机群，其中从无人机机群接收到的信息包括视觉数据、音频数据、触觉数据或嗅觉数据。在一实施例中，将感兴趣对象传送给无人机机群包括将感兴趣对象的图像传送给无人机机群，无人机机群使用图像分析来在安装在该无人机机群中的至少一个无人机上的相机的视野中标识感兴趣对象。
在一实施例中，将感兴趣对象传送给无人机机群包括将地理位置传送给无人机机群。在一实施例中，地理位置包括全球定位系统坐标。
在一实施例中，从无人机机群接收到的信息包括来自无人机机群中的多个无人机的视觉数据，且方法700还包括合成来自无人机机群中的该多个无人机的视觉数据以产生经合成视觉数据并将经合成视觉数据呈现给用户。在又一实施例中，呈现经合成视觉数据包括呈现来自无人机机群中的相应多个无人机的感兴趣对象的多个视图。在另一实施例中，呈现经合成视觉数据包括呈现来自该多个无人机的图像数据的覆盖。在另一实施例中，呈现经合成视觉数据包括根据从该多个无人机提供的视觉数据构建感兴趣对象的三维模型。
在一实施例中，呈现经合成视觉数据包括呈现感兴趣对象的与用户的查看视角相对应的视图。
在一实施例中，从无人机机群接收到的信息包括来自该无人机机群中的多个无人机的音频数据，并且方法700还包括选择来自该无人机机群中的多个无人机的音频信号，该音频信号具有来自该无人机机群中的多个无人机的可用音频信号的最强信噪比。在一实施例中方法700包括将来自无人机机群中的无人机之一的音频信号与由无人机控制器提供的视频信号相组合，以产生音频-视觉演示；以及其中基于接收自无人机机群的信息来呈现用户界面包括将该音频-视觉演示呈现在用户界面中。
在一实施例中，从无人机机群接收到的信息包括来自该无人机机群中的至少一个无人机的触觉数据，并且方法700还包括用用户佩戴的可穿戴设备来协调触觉响应以重建感兴趣物体的触觉感觉。在一实施例中，可穿戴设备包括手套。
在一实施例中，从无人机机群接收到的信息包括来自该无人机机群中的至少一个无人机的嗅觉数据，并且基于接收自无人机机群的信息呈现用户界面包括呈现与嗅觉数据相对应的气味的表示。在一实施例中，气味的表示是化学名、结构、或指示。
在一实施例中，接收自无人机机群的信息包括来自无人机机群中的至少一个无人机的嗅觉数据，该嗅觉数据是感兴趣对象周围的空气的样本。
在一实施例中，从无人机机群接收到的信息包括来自该无人机机群中的至少一个无人机的嗅觉数据，并且该方法还包括标识用户具有的过敏性，以及呈现用户界面包括向用户呈现感兴趣对象可能是过敏原的警告。
各实施例可在硬件、固件和软件中的一者或组合中实现。实施例也可实现成存储于机器可读存储设备上的指令，该指令可由至少一个处理器读取并执行，以执行本文所描述的操作。机器可读存储设备可包括用于以机器(如，计算机)可读形式存储信息的任何非瞬态机构。例如，机器可读存储设备可包括只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光存储介质、闪存设备以及其他存储设备和介质。
如本文中所述，示例可以包括逻辑或多个组件、模块或机制，或可在逻辑或多个组件、模块或机制上操作。各模块可以是通信耦合到一个或多个处理器以实现本文描述的操作的硬件、软件或固件。各模块可以是硬件模块，并且如此，各模块可被认为是能够执行指定操作的有形实体且可以按特定方式来配置或布置。在示例中，能以指定方式将电路布置(例如，内部地布置，或者相对于诸如其他电路之类的外部实体)为模块。在示例中，一个或多个计算机系统(例如，独立的客户机或服务器计算机系统)的全部或部分或者一个或多个硬件处理器可由固件或软件(例如，指令、应用部分、或者应用)配置为操作以执行所指定操作的模块。在一个示例中，软件可以驻留在机器可读介质上。在示例中，软件在由模块的底层硬件执行时，使此硬件执行指定的操作。因此，术语硬件模块被理解为涵盖有形实体，该有形实体是物理地构建、具体地配置(例如，硬连线)、或者临时地(例如，瞬态地)配置(例如，编程)从而以所指定的方式操作或者执行本文中所描述的任何操作的部分或全部的实体。考虑到其中临时配置模块的示例，这些模块中的每一个不需要在任何一个时刻进行例示。例如，在模块包括使用软件而配置的通用硬件处理器的情况下，通用硬件处理器可以在不同时间被配置为相应的不同模块。软件可以相应地配置硬件处理器，例如以便在一个时间实例处构成特定的模块，并且在不同的时间实例处构成不同的模块。各模块也可以是软件或固件模块，它们操作来执行本文描述的方法。
图8是以计算机系统800的示例形式示出的机器的框图，根据示例实施例，该机器内的指令集或序列能被执行以使该机器执行本文中讨论的方法中的任意一个方法。在替代实施例中，该机器作为独立设备进行操作，或可以被连接(如，联网)到其他机器。在被联网的部署中，该机器可在服务器-客户机网络环境中作为服务器或客户机来进行操作，或者可在对等(或分布式)网络环境中担当对等机。该机器可以是交通工具机载系统、机顶盒、可穿戴设备、个人计算机(PC)、平板PC、混合平板、个人数字助理(PDA)、移动电话、或能够执行指定要由该机器采取的动作的指令(顺序地或以其他方式)的任何机器。此外，虽然只示出单个机器，但是，术语“机器”也应当包括单独或联合地执行一组(或多组)指令以执行本文所讨论的任何一种或更多种方法的机器的任意集合。类似地，术语“基于处理器的系统”应当被认为包括由处理器(例如，计算机)控制或操作以单独地或联合地执行指令来执行本文讨论的方法中的任何一者或多者的任何一组一个或多个机器。
示例计算机系统800包括处理器802(例如，中央处理单元(CPU)及图形处理单元(GPU)中的至少一个或两个、处理器核、计算节点等)、主存储器804及静态存储器806，其均通过链路808(例如，总线)彼此通信。计算机系统800可进一步包括视频显示单元810、字母数字输入设备812(例如，键盘)和用户界面(UI)导航设备814(例如，鼠标)。在一个实施例中，该视频显示单元810、输入设备812及UI导航设备814被结合进触屏显示器中。计算机系统800可以附加包括存储设备816(如：驱动单元)、信号生成设备818(如：扬声器)、网络界面设备820及一个或多个传感器(未示出)，该传感器可以是例如：全球定位系统(GPS)传感器、罗盘、加速度计或其他传感器。
存储设备816包括机器可读介质822，该机器可读介质822上储存有一组或更多组数据结构和指令824(如，软件)，该一组或更多组数据结构和指令824具体化本文所描述的任何一种或多种方法或功能，或为该任何一种或多种方法或功能所用。在计算机系统800执行指令824期间，该指令824也可完全地或至少部分地驻留在主存储器804、静态存储器806和/或处理器802之内，所述主存储器804、静态存储器806和处理器802也构成机器可读介质。
虽然机器可读介质822在示例实施例中示出为单个介质，但术语“机器可读介质”可包括存储一条或多条指令824的单个或多个介质(如，集中式或分布式数据库和/或相关联的缓存及服务器)。术语“机器可读介质”也应当包括任何有形介质，该有形介质能够存储、编码或携带由机器执行的指令并且所述指令使机器执行本公开的任何一种或多种方法；或者该有形介质对为此类指令所用或与此类指令相关联的数据结构进行存储、编码和携带。术语“机器可读介质”应当相应地包括，但不限于：固态存储器以及光和磁介质。机器可读介质的具体示例包括非易失性存储器，作为示例包括但不限于半导体存储器设备(例如，电可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM))和闪存设备；诸如内部硬盘及可移动盘之类的磁盘；磁光盘；以及CD-ROM和DVD-ROM盘。
可使用传输介质，通过网络接口设备820，利用若干熟知的传输协议(如，HTTP)中的任意一种协议，进一步在通信网络826上发送或接收指令824。通信网络的示例包括：局域网(LAN)、广域网(WAN)、因特网、移动电话网络、普通老式电话(POTS)网络及无线数据网络(例如，Wi-Fi、3G及4G LTE/LTE-A或WiMAX网络)。术语“传输介质”应当包括能够存储、编码或携带由机器执行的指令的任何无形的介质，并且包括数字或模拟通信信号或者用于促进此类软件的通信的其他无形的介质。
附加注释和示例
示例1包括用于个人感测无人机的主题(诸如设备、装备、或机器)，包括：无人机遥控系统，包括：任务模块，其将任务传送给无人机机群以供所述无人机机群执行，所述无人机机群包括至少两个无人机；收发机，其接收来自所述无人机机群的与所述任务相关的信息；以及用户界面模块，其基于接收自所述无人机机群的信息来呈现用户界面。
在示例2中，示例1的主题可包括，其中所述无人机机群包括至少一个航空无人机和至少一个地面无人机。
在示例3中，示例1到2中的任一项的主题可包括，其中所述任务包括辅助导航任务，并且所述收发机要：将参数集传送给所述无人机机群以配置所述辅助导航任务。
在示例4中，示例1到3中的任一项的主题可包括，其中所述参数集包括定义在通过一路径时要避开的一组危险的用户偏好，并且其中所述无人机机群侦察所述路径以标识所述一组危险中的危险。
在示例5中，示例1到4中的任一项的主题可包括，其中所述一组危险包括孔洞、悬崖、或绊跌危险。
在示例6中，示例1到5中的任一项的主题可包括，其中所述无人机遥控系统包括用于以下操作的导航模块：确定另选路线；以及经由所述用户界面将所述另选路线呈现给用户。
在示例7中，示例1到6中的任一项的主题可包括，其中所述无人机机群要：确定另选路线；以及经由所述用户界面将所述另选路线传达给用户。
在示例8中，示例1到7中的任一项的主题可包括，其中所述无人机遥控系统包括用于将地理地图传送给所述无人机机群的导航模块。
在示例9中，示例1到8中的任一项的主题可包括，其中所述任务包括调查任务，并且其中所述用户界面模块要：将感兴趣对象传送给所述无人机机群，其中接收自所述无人机机群的信息包括视觉数据、音频数据、触觉数据或嗅觉数据。
在示例10中，示例1到9中的任一项的主题可包括，其中为了将所述感兴趣对象传送给所述无人机机群，所述用户界面模块要：将所述感兴趣对象的图像传送给所述无人机机群，其中所述无人机机群使用图像分析来标识所述无人机机群的至少一个无人机上安装的相机的视野中的所述感兴趣对象。
在示例11中，示例1到10中的任一项的主题可包括，其中为了将所述感兴趣对象传送给所述无人机机群，所述用户界面模块要：将地理位置传送给所述无人机机群。
在示例12中，示例1到11中的任一项的主题可包括，其中所述地理位置包括全球定位系统坐标。
在示例13中，示例1到12中的任一项的主题可包括，其中接收自所述无人机机群的信息包括来自所述无人机机群中的多个无人机的视觉数据，并且其中所述用户界面模块要：合成来自所述无人机机群中的多个无人机的视觉数据以产生经合成视觉数据；以及将所述经合成视觉数据呈现给所述用户。
在示例14中，示例1到13中的任一项的主题可包括，其中为了呈现所述经合成视觉数据，所述用户界面模块要呈现来自所述无人机机群中的相应多个无人机的所述感兴趣对象的多个视图。
在示例15中，示例1到14中的任一项的主题可包括，其中为了呈现所述合成视觉数据，所述用户界面模块要呈现来自所述多个无人机的图像数据的覆盖。
在示例16中，示例1到15中的任一项的主题可包括，其中为了呈现所述经合成视觉数据，所述用户界面模块要根据从所述多个无人机提供的视觉数据来构建所述感兴趣对象的三维模型。
在示例17中，示例1到16中的任一项的主题可包括，其中为了呈现所述经合成视觉数据，所述用户界面模块要呈现所述感兴趣对象的与所述用户的查看视角相对应的视图。
在示例18中，示例1到17中的任一项的主题可包括，其中接收自所述无人机机群的信息包括来自所述无人机机群中的多个无人机的音频数据，并且其中所述用户界面模块要：选择来自所述无人机机群中的多个无人机之一的音频信号，所述音频信号具有来自所述无人机机群中的多个无人机的可用音频信号的最强信噪比。
在示例19中，示例1到18中的任一项的主题可包括，其中所述用户界面模块要：将来自所述无人机机群中的无人机之一的音频信号与由所述无人机控制器提供的视频信号相组合以产生音频-视觉演示；以及将所述音频-视觉演示呈现在所述用户界面中。
在示例20中，示例1到19中的任一项的主题可包括，其中接收自所述无人机机群的信息包括来自所述无人机机群中的至少一个无人机的触觉数据，并且其中所述用户界面模块要：用所述用户佩戴的可穿戴设备来协调触觉响应以重建所述感兴趣物体的触觉感觉。
在示例21中，示例1到20中的任一项的主题可包括，其中所述可穿戴设备包括手套。
在示例22中，示例1到21中的任一项的主题可包括，其中从所述无人机机群接收到的信息包括来自所述无人机机群中的至少一个无人机的嗅觉数据，并且其中为了基于接收自所述无人机机群的信息呈现所述用户界面，所述用户界面模块要呈现与所述嗅觉数据相对应的气味的表示。
在示例23中，示例1到22中的任一项的主题可包括，其中所述气味的表示是化学名、结构、或指示。
在示例24中，示例1到23中的任一项的主题可包括，其中接收自所述无人机机群的信息包括来自所述无人机机群中的至少一个无人机的嗅觉数据，所述嗅觉数据是所述感兴趣对象周围的空气的样本。
在示例25中，示例1到24中的任一项的主题可包括，其中从所述无人机机群接收到的信息包括来自所述无人机机群中的至少一个无人机的嗅觉数据，并且其中所述无人机遥控系统要标识用户具有的过敏性，并且其中为了呈现所述用户界面，所述用户界面模块要向所述用户呈现所述感兴趣对象可能是过敏原的警告。
示例26包括一种用于个人感测无人机的主题(诸如，方法、用于执行动作的手段、包括在机器执行时使该机器执行动作的指令的机器可读介质、或者用于执行的装置)，该主题包括：将任务从无人机控制器传送给无人机机群以供所述无人机机群执行，所述无人机机群包括至少两个无人机；接收来自所述无人机机群的与所述任务相关的信息；以及基于接收自所述无人机机群的信息呈现用户界面。
在示例27中，示例26的主题可包括，其中所述无人机机群包括至少一个航空无人机和至少一个地面无人机。
在示例28中，示例26到27中的任一项的主题可包括，其中所述任务包括辅助导航任务，并且所述方法还包括：将参数集传送给所述无人机机群以配置所述辅助导航任务。
在示例29中，示例26到28中的任一项的主题可包括，其中所述参数集包括定义在通过一路径时要避开的一组危险的用户偏好，并且其中所述无人机机群侦察所述路径以标识所述一组危险中的危险。
在示例30中，示例26到29中的任一项的主题可包括，其中所述一组危险包括孔洞、悬崖、或绊跌危险。
在示例31中，示例26到30中的任一项的主题可包括，确定另选路线；以及在所述用户界面中将所述另选路线呈现给用户。
在示例32中，示例26到31中的任一项的主题可包括，其中确定所述另选路线是由所述无人机机群执行的。
在示例33中，示例26到32中的任一项的主题可包括，将地理地图传送给所述无人机机群。
在示例34中，示例26到33中的任一项的主题可包括，其中所述任务包括调查任务，并且其中所述方法还包括：将感兴趣对象传送给所述无人机机群，其中接收自所述无人机机群的信息包括视觉数据、音频数据、触觉数据或嗅觉数据。
在示例35中，示例26到34中的任一项的主题可包括，其中将所述感兴趣对象传送给所述无人机机群包括：将所述感兴趣对象的图像传送给所述无人机机群，其中所述无人机机群使用图像分析来标识所述无人机机群的至少一个无人机上安装的相机的视野中的所述感兴趣对象。
在示例36中，示例26到35中的任一项的主题可包括，其中将所述感兴趣对象传送给所述无人机机群包括：将地理位置传送给所述无人机机群。
在示例37中，示例26到36中的任一项的主题可包括，其中所述地理位置包括全球定位系统坐标。
在示例38中，示例26到37中的任一项的主题可包括，其中接收自所述无人机机群的信息包括来自所述无人机机群中的多个无人机的视觉数据，并且其中所述方法还包括：合成来自所述无人机机群中的多个无人机的视觉数据以产生经合成视觉数据；以及将所述经合成视觉数据呈现给所述用户。
在示例39中，示例26到38中的任一项的主题可包括，其中呈现所述经合成视觉数据包括呈现来自所述无人机机群中的相应多个无人机的所述感兴趣对象的多个视图。
在示例40中，示例26到39中的任一项的主题可包括，其中呈现所述经合成视觉数据包括呈现来自所述多个无人机的图像数据的覆盖。
在示例41中，示例26到40中的任一项的主题可包括，其中呈现所述经合成视觉数据包括根据从所述多个无人机提供的视觉数据构建所述感兴趣对象的三维模型。
在示例42中，示例26到41中的任一项的主题可包括，其中呈现所述经合成视觉数据包括呈现所述感兴趣对象的与所述用户的查看视角相对应的视图。
在示例43中，示例26到42中的任一项的主题可包括，其中接收自所述无人机机群的信息包括来自所述无人机机群中的多个无人机的音频数据，并且其中所述方法还包括：选择来自所述无人机机群中的多个无人机的音频信号，所述音频信号具有来自所述无人机机群中的所述多个无人机的可用音频信号的最强信噪比。
在示例44中，示例26到43中的任一项的主题可包括，将来自所述无人机机群中的无人机之一的音频信号与由所述无人机控制器提供的视频信号相组合以产生音频-视觉演示；以及其中基于接收自所述无人机机群的信息来呈现用户界面包括将所述音频-视觉演示呈现在用户界面中。
在示例45中，示例26到44中的任一项的主题可包括，其中接收自所述无人机机群的信息包括来自所述无人机机群中的至少一个无人机的触觉数据，并且其中所述方法还包括：用所述用户佩戴的可穿戴设备来协调触觉响应以重建所述感兴趣物体的触觉感觉。
在示例46中，示例26到45中的任一项的主题可包括，其中所述可穿戴设备包括手套。
在示例47中，示例26到46中的任一项的主题可包括，其中从所述无人机机群接收到的信息包括来自所述无人机机群中的至少一个无人机的嗅觉数据，并且其中基于接收自所述无人机机群的信息来呈现用户界面包括呈现与所述嗅觉数据相对应的气味的表示。
在示例48中，示例26到47中的任一项的主题可包括，其中所述气味的表示是化学名、结构、或指示。
在示例49中，示例26到48中的任一项的主题可包括，其中接收自所述无人机机群的信息包括来自所述无人机机群中的至少一个无人机的嗅觉数据，所述嗅觉数据是感兴趣对象周围的空气的样本。
在示例50中，示例26到49中的任一项的主题可包括，其中从所述无人机机群接收到的信息包括来自所述无人机机群中的至少一个无人机的嗅觉数据，并且其中所述方法还包括标识用户具有的过敏性，并且其中呈现所述用户界面包括向所述用户呈现所述感兴趣对象可能是过敏原的警告。
示例51包括包含指令的至少一个机器可读介质，所述指令在被机器执行时致使所述机器执行如示例26-50中的任一项的操作。
示例52包括一种包括用于执行示例26-50中的任一个的装置的设备。
示例53包括用于个人感测无人机的主题(诸如设备、装备、或机器)，包括：用于将任务从无人机控制器传送给无人机机群以供所述无人机机群执行的装置，所述无人机机群包括至少两个无人机；用于接收来自所述无人机机群的与所述任务相关的信息的装置；以及用于基于接收自所述无人机机群的信息呈现用户界面的装置。
在示例54中，示例53的主题可包括，其中所述无人机机群包括至少一个航空无人机和至少一个地面无人机。
在示例55中，示例53到54中的任一项的主题可包括，其中所述任务包括辅助导航任务，并且所述装备还包括：用于将参数集传送给所述无人机机群以配置所述辅助导航任务的装置。
在示例56中，示例53到55中的任一项的主题可包括，其中所述参数集包括定义在通过一路径时要避开的一组危险的用户偏好，并且其中所述无人机机群侦察所述路径以标识所述一组危险中的危险。
在示例57中，示例53到56中的任一项的主题可包括，其中所述一组危险包括孔洞、悬崖、或绊跌危险。
在示例58中，示例53到57中的任一项的主题可包括，用于确定另选路线的装置；以及用于在所述用户界面中将所述另选路线呈现给用户的装置。
在示例59中，示例53到58中的任一项的主题可包括，其中用于确定所述另选路线的装置是由所述无人机机群执行的。
在示例60中，示例53到59中的任一项的主题可包括，用于将地理地图传送给所述无人机机群的装置。
在示例61中，示例53到60中的任一项的主题可包括，其中所述任务包括调查任务，并且其中所述装备还包括：用于将感兴趣对象传送给所述无人机机群的装置，其中接收自所述无人机机群的信息包括视觉数据、音频数据、触觉数据或嗅觉数据。
在示例62中，示例53到61中的任一项的主题可包括，用于将所述感兴趣对象传送给所述无人机机群的装置包括：用于将所述感兴趣对象的图像传送给所述无人机机群的装置，其中所述无人机机群使用图像分析来标识所述无人机机群的至少一个无人机上安装的相机的视野中的所述感兴趣对象。
在示例63中，示例53到62中的任一项的主题可包括，用于将所述感兴趣对象传送给所述无人机机群的装置包括：用于将地理位置传送给所述无人机机群的装置。
在示例64中，示例53到63中的任一项的主题可包括，其中所述地理位置包括全球定位系统坐标。
在示例65中，示例53到64中的任一项的主题可包括，其中接收自所述无人机机群的信息包括来自所述无人机机群中的多个无人机的视觉数据，并且其中所述装备还包括：用于合成来自所述无人机机群中的多个无人机的视觉数据以产生经合成视觉数据的装置；以及用于将所述经合成视觉数据呈现给所述用户的装置。
在示例66中，示例53到65中的任一项的主题可包括，其中用于呈现所述经合成视觉数据的装置包括用于呈现来自所述无人机机群中的相应多个无人机的所述感兴趣对象的多个视图的装置。
在示例67中，示例53到66中的任一项的主题可包括，其中用于呈现所述经合成视觉数据的装置包括用于呈现来自所述多个无人机的图像数据的覆盖的装置。
在示例68中，示例53到67中的任一项的主题可包括，其中用于呈现所述经合成视觉数据的装置包括用于根据从所述多个无人机提供的视觉数据构建所述感兴趣对象的三维模型的装置。
在示例69中，示例53到68中的任一项的主题可包括，其中用于呈现所述经合成视觉数据的装置包括用于呈现所述感兴趣对象的与所述用户的查看视角相对应的视图的装置。
在示例70中，示例53到69中的任一项的主题可包括，其中接收自所述无人机机群的信息包括来自所述无人机机群中的多个无人机的音频数据，并且其中所述装备还包括：用于选择来自所述无人机机群中的多个无人机的音频信号的装置，所述音频信号具有来自所述无人机机群中的所述多个无人机的可用音频信号的最强信噪比。
在示例71中，示例53到70中的任一项的主题可包括，用于将来自所述无人机机群中的无人机之一的音频信号与由所述无人机控制器提供的视频信号相组合以产生音频-视觉演示的装置；以及其中用于基于接收自所述无人机机群的信息来呈现用户界面的装置包括用于将所述音频-视觉演示呈现在用户界面中的装置。
在示例72中，示例53到71中的任一项的主题可包括，其中接收自所述无人机机群的信息包括来自所述无人机机群中的至少一个无人机的触觉数据，并且其中所述装备还包括：用于用所述用户佩戴的可穿戴设备来协调触觉响应以重建所述感兴趣物体的触觉感觉的装置。
在示例73中，示例53到72中的任一项的主题可包括，其中所述可穿戴设备包括手套。
在示例74中，示例53到73中的任一项的主题可包括，其中从所述无人机机群接收到的信息包括来自所述无人机机群中的至少一个无人机的嗅觉数据，并且其中用于基于接收自所述无人机机群的信息来呈现用户界面的装置包括用于呈现与所述嗅觉数据相对应的气味的表示的装置。
在示例75中，示例53到74中的任一项的主题可包括，其中所述气味的表示是化学名、结构、或指示。
在示例76中，示例53到75中的任一项的主题可包括，其中接收自所述无人机机群的信息包括来自所述无人机机群中的至少一个无人机的嗅觉数据，所述嗅觉数据是感兴趣对象周围的空气的样本。
在示例77中，示例53到76中的任一项的主题可包括，其中从所述无人机机群接收到的信息包括来自所述无人机机群中的至少一个无人机的嗅觉数据，并且其中所述装备还包括用于标识用户具有的过敏性的装置，并且其中用于呈现所述用户界面的装置包括用于向所述用户呈现所述感兴趣对象可能是过敏原的警告的装置。
以上具体实施方式包括对附图的引用，附图形成具体实施方式的部分。附图通过说明来示出可实践的特定实施例。这些实施例在本文中也称为“示例”。此类示例可以包括除所示或所述的那些元件以外的元件。然而，还构想了包括所示或所述元件的示例。此外，还构想出的是使用所示或所述的那些元件的任何组合或排列的示例，或参照本文中示出或描述的特定示例(或其一个或多个方面)，或参照本文中示出或描述的其他示例(或其一个或多个方面)。
在此文档中引用的出版物、专利和专利文档通过引用被整体结合在本文中，就好像通过引用单独地被结合那样。在本文档与通引用结合在的那些文档之间不一致的用法的情况下，所结合的(诸)引用文档中的用法是对此文档的用法的补充；对于不可调和的不一致性，此文档中的用法占主导。
在此文档中，如在专利文档中常见的那样，使用术语“一”(“a”或“an”)以包括一个或多于一个，这独立于“至少一个”或“一个或多个”的任何其他实例或用法。在此文档中，使用术语“或”来指非排他性的“或”，使得“A或B”包括“A但非B”、“B但非A”以及“A和B”，除非另外指示。在所附权利要求书中，术语“包括(including)”和“其中(in which)”被用作相应的术语“包括(comprising)”和“其中(wherein)”的普通英语等价词。此外，在所附权利要求书中，术语“包括”和“包含”是开放式的，也就是说，在权利要求中除此类术语之后列举的那些元件之外的元件的系统、设备、制品或过程仍被视为落在那项权利要求的范围内。此外，在所附权利要求书中，术语“第一”、“第二”和“第三”等仅被用作标记，并且不旨在表明对它们的对象的数字顺序。
以上描述旨在是说明性的，而非限制性的。例如，可结合其他实施例来使用以上描述的示例(或者其一个或多个方面)。可诸如由本领域普通技术人员在审阅以上描述之后来使用其他实施例。摘要允许读者快速地确定本技术公开的性质。提交该摘要，并且理解该摘要将不用于解释或限制权利要求的范围或含义。此外，在以上具体实施方式中，各种特征可以共同成组以使本公开流畅。然而，权利要求可以不陈述本文中公开的每一特征，因为实施例可以表征所述特征的子集。此外，实施例可以包括比特定示例中公开的特征更少的特征。因此，所附权利要求书由此被结合到具体实施方式中，一项权利要求作为单独的实施例而独立存在。本文中公开的实施例的范围应当参照所附权利要求书以及此类权利要求所赋予权利的等价方案的完整范围来确定。

Claims (25)

1.一种无人机机队管理系统，所述系统包括：
无人机遥控中心，包括：
蜂窝收发机，用于与无人机机队进行通信以接收与任务相关的信息，所述信息包括来自所述无人机机队中的多个无人机，所述任务接收自所述无人机遥控中心的用户；以及
用户界面设备，包括：
显示器；以及
模块，用于：
合成来自所述无人机机队中的多个无人机的视觉数据以产生经合成视觉数据；以及
基于接收自所述无人机机队的信息来在所述显示器上呈现用户界面，所述用户界面包括所述经合成视觉数据以及用于供所述用户选择性地以合作式规划或分布式规划部署所述无人机的控件，
其中所述用户界面设备用于向所述无人机机队传送感兴趣区域，并且其中为了将所述感兴趣区域传送给所述无人机机队，所述用户界面模块用于提供要覆盖的区域，所述合作式规划或分布式规划导致所述无人机覆盖所述区域。
2.如权利要求1所述的系统，其特征在于，所述无人机机队包括至少一个航空无人机和至少一个地面无人机。
3.如权利要求1或2所述的系统，其特征在于，所述任务包括辅助导航任务，并且所述收发机要将参数集传送给所述无人机机队以配置所述辅助导航任务。
4.如权利要求3所述的系统，其特征在于，所述参数集包括定义在通过一路径时要避开的一组危险的用户偏好，并且其中所述无人机机队侦察所述路径以标识所述一组危险中的危险。
5.如权利要求1所述的系统，其特征在于，所述任务包括调查任务，并且其中所述用户界面模块要：
将感兴趣对象传送给所述无人机机队，
其中接收自所述无人机机队的信息包括视觉数据、音频数据、触觉数据或嗅觉数据。
6.如权利要求5所述的系统，其特征在于，为了将所述感兴趣对象传送给所述无人机机队，所述用户界面模块要：
将所述感兴趣对象的图像传送给所述无人机机队，其中所述无人机机队使用图像分析来标识所述无人机机队的至少一个无人机上安装的相机的视野中的所述感兴趣对象。
7.如权利要求5所述的系统，其特征在于，接收自所述无人机机队的信息包括来自所述无人机机队中的多个无人机的视觉数据，并且其中所述用户界面模块要：
合成来自所述无人机机队中的所述多个无人机的视觉数据以产生经合成视觉数据；以及
将所述经合成视觉数据呈现给所述用户。
8.如权利要求7所述的系统，其特征在于，为了呈现所述经合成视觉数据，所述用户界面模块要呈现来自所述无人机机队中的相应多个无人机的所述感兴趣对象的多个视图。
9.如权利要求7所述的系统，其特征在于，为了呈现所述经合成视觉数据，所述用户界面模块要呈现来自所述多个无人机的图像数据的覆盖。
10.如权利要求7所述的系统，其特征在于，为了呈现所述经合成视觉数据，所述用户界面模块要根据从所述多个无人机提供的所述视觉数据来构建所述感兴趣对象的三维模型。
11.如权利要求7所述的系统，其特征在于，为了呈现所述经合成视觉数据，所述用户界面模块要呈现所述感兴趣对象的与所述用户的查看视角相对应的视图。
12.一种用于管理无人机机队的方法，所述方法包括：
使用无人机遥控中心的蜂窝收发机与无人机机队通信以接收与任务相关的信息，所述信息包括来自所述无人机机队中的多个无人机，所述任务接收自所述无人机遥控中心的用户；
合成来自所述无人机机队中的多个无人机的视觉数据以产生经合成视觉数据；
基于接收自所述无人机机队的信息在所述无人机遥控中心的显示器上呈现用户界面，所述用户界面包括所述经合成视觉数据以及用于供所述用户选择性地以合作式规划或分布式规划部署所述无人机的控件；以及
向所述无人机机队传送感兴趣区域，
其中向所述无人机机队传送感兴趣区域包括提供要覆盖的区域，所述合作式规划或分布式规划导致所述无人机覆盖所述区域。
13.如权利要求12所述的方法，其特征在于，所述任务包括辅助导航任务，并且所述方法进一步包括：
将参数集传送给所述无人机机队以配置所述辅助导航任务。
14.如权利要求13所述的方法，其特征在于，所述参数集包括定义在通过一路径时要避开的一组危险的用户偏好，并且其中所述无人机机队侦察所述路径以标识所述一组危险中的危险。
15.如权利要求12所述的方法，其特征在于，所述任务包括调查任务，并且其中所述方法还包括：
将感兴趣对象传送给所述无人机机队，
其中接收自所述无人机机队的信息包括视觉数据、音频数据、触觉数据或嗅觉数据。
16.如权利要求15所述的方法，其特征在于，将所述感兴趣对象传送给所述无人机机队包括：
将所述感兴趣对象的图像传送给所述无人机机队，其中所述无人机机队使用图像分析来标识所述无人机机队的至少一个无人机上安装的相机的视野中的所述感兴趣对象。
17.如权利要求15所述的方法，其特征在于，接收自所述无人机机队的信息包括来自所述无人机机队中的多个无人机的视觉数据，并且其中所述方法还包括：
合成来自所述无人机机队中的所述多个无人机的视觉数据以产生经合成视觉数据；以及
将所述经合成视觉数据呈现给所述用户。
18.如权利要求17所述的方法，其特征在于，呈现所述经合成视觉数据包括呈现来自所述无人机机队中的相应多个无人机的所述感兴趣对象的多个视图。
19.如权利要求17所述的方法，其特征在于，呈现所述经合成视觉数据包括呈现来自所述多个无人机的图像数据的覆盖。
20.如权利要求17所述的方法，其特征在于，呈现所述经合成视觉数据包括根据从所述多个无人机提供的所述视觉数据构建所述感兴趣对象的三维模型。
21.如权利要求17所述的方法，其特征在于，呈现所述经合成视觉数据包括呈现所述感兴趣对象的与所述用户的查看视角相对应的视图。
22.如权利要求15所述的方法，其特征在于，接收自所述无人机机队的信息包括来自所述无人机机队中的至少一个无人机的触觉数据，并且其中所述方法还包括：
用所述用户佩戴的可穿戴设备来协调触觉响应以重建所述感兴趣对象的触觉感觉。
23.如权利要求15所述的方法，其特征在于，从所述无人机机队接收到的信息包括来自所述无人机机队中的至少一个无人机的嗅觉数据，并且其中基于接收自所述无人机机队的信息呈现所述用户界面包括呈现与所述嗅觉数据相对应的气味的表示。
24.包括指令的至少一个机器可读介质，所述指令在被机器执行时致使所述机器执行如权利要求12-23中的任一项所述的方法的操作。
25.一种用于管理无人机机队的设备，所述设备包括：
用于使用无人机遥控中心的蜂窝收发机与无人机机队通信以接收与任务相关的信息的装置，所述信息包括来自所述无人机机队中的多个无人机，所述任务接收自所述无人机遥控中心的用户；
用于合成来自所述无人机机队中的多个无人机的视觉数据以产生经合成视觉数据的装置；
用于基于接收自所述无人机机队的信息在所述无人机遥控中心的显示器上呈现用户界面的装置，所述用户界面包括所述经合成视觉数据以及用于供所述用户选择性地以合作式规划或分布式规划部署所述无人机的控件；以及
用于向所述无人机机队传送感兴趣区域的装置，
其中所述用于向所述无人机机队传送感兴趣区域的装置包括用于提供要覆盖的区域的装置，所述合作式规划或分布式规划导致所述无人机覆盖所述区域。
CN201680030229.7A 2015-06-25 2016-05-25 个人感测无人机 Active CN107667521B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/750,803 2015-06-25
US14/750,803 US10694155B2 (en) 2015-06-25 2015-06-25 Personal sensory drones
PCT/US2016/034119 WO2016209504A1 (en) 2015-06-25 2016-05-25 Personal sensory drones

Publications (2)

Publication Number Publication Date
CN107667521A CN107667521A (zh) 2018-02-06
CN107667521B true CN107667521B (zh) 2021-09-21

Family

ID=57586544

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680030229.7A Active CN107667521B (zh) 2015-06-25 2016-05-25 个人感测无人机

Country Status (7)

Country Link
US (2) US10694155B2 (zh)
EP (2) EP3314343B1 (zh)
JP (1) JP6863555B2 (zh)
KR (1) KR102424180B1 (zh)
CN (1) CN107667521B (zh)
PL (2) PL3314343T3 (zh)
WO (1) WO2016209504A1 (zh)

Families Citing this family (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11159484B2 (en) 2004-03-16 2021-10-26 Icontrol Networks, Inc. Forming a security network including integrated security system components and network devices
US11811845B2 (en) 2004-03-16 2023-11-07 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US11343380B2 (en) 2004-03-16 2022-05-24 Icontrol Networks, Inc. Premises system automation
US11582065B2 (en) 2007-06-12 2023-02-14 Icontrol Networks, Inc. Systems and methods for device communication
US11277465B2 (en) 2004-03-16 2022-03-15 Icontrol Networks, Inc. Generating risk profile using data of home monitoring and security system
US11201755B2 (en) 2004-03-16 2021-12-14 Icontrol Networks, Inc. Premises system management using status signal
US10200504B2 (en) 2007-06-12 2019-02-05 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US11244545B2 (en) 2004-03-16 2022-02-08 Icontrol Networks, Inc. Cross-client sensor user interface in an integrated security network
US11489812B2 (en) 2004-03-16 2022-11-01 Icontrol Networks, Inc. Forming a security network including integrated security system components and network devices
US10156959B2 (en) 2005-03-16 2018-12-18 Icontrol Networks, Inc. Cross-client sensor user interface in an integrated security network
US10237237B2 (en) 2007-06-12 2019-03-19 Icontrol Networks, Inc. Communication protocols in integrated systems
US11368429B2 (en) 2004-03-16 2022-06-21 Icontrol Networks, Inc. Premises management configuration and control
US11368327B2 (en) 2008-08-11 2022-06-21 Icontrol Networks, Inc. Integrated cloud system for premises automation
US11316958B2 (en) 2008-08-11 2022-04-26 Icontrol Networks, Inc. Virtual device systems and methods
US10127802B2 (en) 2010-09-28 2018-11-13 Icontrol Networks, Inc. Integrated security system with parallel processing architecture
US10339791B2 (en) 2007-06-12 2019-07-02 Icontrol Networks, Inc. Security network integrated with premise security system
US10721087B2 (en) 2005-03-16 2020-07-21 Icontrol Networks, Inc. Method for networked touchscreen with integrated interfaces
US9141276B2 (en) 2005-03-16 2015-09-22 Icontrol Networks, Inc. Integrated interface for mobile device
US9531593B2 (en) 2007-06-12 2016-12-27 Icontrol Networks, Inc. Takeover processes in security network integrated with premise security system
US20160065414A1 (en) 2013-06-27 2016-03-03 Ken Sundermeyer Control system user interface
US10142392B2 (en) 2007-01-24 2018-11-27 Icontrol Networks, Inc. Methods and systems for improved system performance
US11916870B2 (en) 2004-03-16 2024-02-27 Icontrol Networks, Inc. Gateway registry methods and systems
US9729342B2 (en) 2010-12-20 2017-08-08 Icontrol Networks, Inc. Defining and implementing sensor triggered response rules
US10522026B2 (en) 2008-08-11 2019-12-31 Icontrol Networks, Inc. Automation system user interface with three-dimensional display
US11113950B2 (en) 2005-03-16 2021-09-07 Icontrol Networks, Inc. Gateway integrated with premises security system
US20090077623A1 (en) 2005-03-16 2009-03-19 Marc Baum Security Network Integrating Security System and Network Devices
US7711796B2 (en) 2006-06-12 2010-05-04 Icontrol Networks, Inc. Gateway registry methods and systems
US11677577B2 (en) 2004-03-16 2023-06-13 Icontrol Networks, Inc. Premises system management using status signal
WO2005091218A2 (en) 2004-03-16 2005-09-29 Icontrol Networks, Inc Premises management system
US20170180198A1 (en) 2008-08-11 2017-06-22 Marc Baum Forming a security network including integrated security system components
US11700142B2 (en) 2005-03-16 2023-07-11 Icontrol Networks, Inc. Security network integrating security system and network devices
US10999254B2 (en) 2005-03-16 2021-05-04 Icontrol Networks, Inc. System for data routing in networks
US20120324566A1 (en) 2005-03-16 2012-12-20 Marc Baum Takeover Processes In Security Network Integrated With Premise Security System
US11496568B2 (en) 2005-03-16 2022-11-08 Icontrol Networks, Inc. Security system with networked touchscreen
US20110128378A1 (en) 2005-03-16 2011-06-02 Reza Raji Modular Electronic Display Platform
US9306809B2 (en) 2007-06-12 2016-04-05 Icontrol Networks, Inc. Security system with networked touchscreen
US11615697B2 (en) 2005-03-16 2023-03-28 Icontrol Networks, Inc. Premise management systems and methods
US10079839B1 (en) 2007-06-12 2018-09-18 Icontrol Networks, Inc. Activation of gateway device
US11706279B2 (en) 2007-01-24 2023-07-18 Icontrol Networks, Inc. Methods and systems for data communication
US7633385B2 (en) 2007-02-28 2009-12-15 Ucontrol, Inc. Method and system for communicating with and controlling an alarm system from a remote server
US8451986B2 (en) 2007-04-23 2013-05-28 Icontrol Networks, Inc. Method and system for automatically providing alternate network access for telecommunications
US11218878B2 (en) 2007-06-12 2022-01-04 Icontrol Networks, Inc. Communication protocols in integrated systems
US11423756B2 (en) 2007-06-12 2022-08-23 Icontrol Networks, Inc. Communication protocols in integrated systems
US11237714B2 (en) 2007-06-12 2022-02-01 Control Networks, Inc. Control system user interface
US11646907B2 (en) 2007-06-12 2023-05-09 Icontrol Networks, Inc. Communication protocols in integrated systems
US10523689B2 (en) 2007-06-12 2019-12-31 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US11212192B2 (en) 2007-06-12 2021-12-28 Icontrol Networks, Inc. Communication protocols in integrated systems
US11089122B2 (en) 2007-06-12 2021-08-10 Icontrol Networks, Inc. Controlling data routing among networks
US11316753B2 (en) 2007-06-12 2022-04-26 Icontrol Networks, Inc. Communication protocols in integrated systems
US11601810B2 (en) 2007-06-12 2023-03-07 Icontrol Networks, Inc. Communication protocols in integrated systems
US11831462B2 (en) 2007-08-24 2023-11-28 Icontrol Networks, Inc. Controlling data routing in premises management systems
US11916928B2 (en) 2008-01-24 2024-02-27 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US20170185278A1 (en) 2008-08-11 2017-06-29 Icontrol Networks, Inc. Automation system user interface
US10530839B2 (en) 2008-08-11 2020-01-07 Icontrol Networks, Inc. Integrated cloud system with lightweight gateway for premises automation
US11258625B2 (en) * 2008-08-11 2022-02-22 Icontrol Networks, Inc. Mobile premises automation platform
US11758026B2 (en) 2008-08-11 2023-09-12 Icontrol Networks, Inc. Virtual device systems and methods
US11729255B2 (en) 2008-08-11 2023-08-15 Icontrol Networks, Inc. Integrated cloud system with lightweight gateway for premises automation
US11792036B2 (en) * 2008-08-11 2023-10-17 Icontrol Networks, Inc. Mobile premises automation platform
US8638211B2 (en) 2009-04-30 2014-01-28 Icontrol Networks, Inc. Configurable controller and interface for home SMA, phone and multimedia
US8836467B1 (en) 2010-09-28 2014-09-16 Icontrol Networks, Inc. Method, system and apparatus for automated reporting of account and sensor zone information to a central station
US11750414B2 (en) 2010-12-16 2023-09-05 Icontrol Networks, Inc. Bidirectional security sensor communication for a premises security system
US9147337B2 (en) 2010-12-17 2015-09-29 Icontrol Networks, Inc. Method and system for logging security event data
US11405463B2 (en) 2014-03-03 2022-08-02 Icontrol Networks, Inc. Media content management
US11146637B2 (en) 2014-03-03 2021-10-12 Icontrol Networks, Inc. Media content management
US10144527B2 (en) * 2015-03-25 2018-12-04 Skyfront Corp. Flight controller with generator control
US10694155B2 (en) 2015-06-25 2020-06-23 Intel Corporation Personal sensory drones
JP6845227B2 (ja) * 2015-09-25 2021-03-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ビデオ放送のためのシステム
US10933997B2 (en) 2015-10-02 2021-03-02 Insitu, Inc. Aerial launch and/or recovery for unmanned aircraft, and associated systems and methods
US11263461B2 (en) * 2015-10-05 2022-03-01 Pillar Vision, Inc. Systems and methods for monitoring objects at sporting events
KR101815394B1 (ko) * 2015-10-27 2018-01-05 한국과학기술원 벽면 이동을 위한 비행로봇 메커니즘 및 제어방법
US10540901B2 (en) * 2015-11-23 2020-01-21 Kespry Inc. Autonomous mission action alteration
US10665115B2 (en) * 2016-01-05 2020-05-26 California Institute Of Technology Controlling unmanned aerial vehicles to avoid obstacle collision
US11461912B2 (en) 2016-01-05 2022-10-04 California Institute Of Technology Gaussian mixture models for temporal depth fusion
US11386383B2 (en) * 2016-02-02 2022-07-12 Mikko Vaananen Social drone
US10553122B1 (en) * 2016-03-22 2020-02-04 Amazon Technologies, Inc. Unmanned aerial vehicle data collection for routing
US20170322628A1 (en) * 2016-05-05 2017-11-09 Jamie Tan Airborne haptic feedback device
WO2017205291A1 (en) * 2016-05-23 2017-11-30 Ecolab Usa Inc. Device and method for managing bird populations
US10118698B2 (en) * 2016-07-06 2018-11-06 At&T Intellectual Property I, L.P. Remote forensic investigation
US10170011B2 (en) * 2016-07-26 2019-01-01 International Business Machines Corporation Guide drones for airplanes on the ground
US10820574B2 (en) * 2016-07-29 2020-11-03 International Business Machines Corporation Specialized contextual drones for virtual fences
US9987971B2 (en) 2016-07-29 2018-06-05 International Business Machines Corporation Drone-enhanced vehicle external lights
US10474144B2 (en) * 2016-08-01 2019-11-12 The United States Of America, As Represented By The Secretary Of The Navy Remote information collection, situational awareness, and adaptive response system for improving advance threat awareness and hazardous risk avoidance
KR101908435B1 (ko) * 2017-01-19 2018-10-16 금오공과대학교 산학협력단 생체 모방 알고리즘을 이용한 다수 드론의 수색 및 정찰 방법
US11112395B2 (en) * 2017-02-24 2021-09-07 Particles Plus, Inc. Networked air quality monitoring system
US10329017B2 (en) 2017-03-13 2019-06-25 General Electric Company System and method for integrating flight path and site operating data
US10375289B2 (en) * 2017-03-31 2019-08-06 Hangzhou Zero Zero Technology Co., Ltd. System and method for providing autonomous photography and videography
US11495118B2 (en) * 2017-06-27 2022-11-08 Oneevent Technologies, Inc. Augmented reality of a building
CN107610212B (zh) * 2017-07-25 2020-05-12 深圳大学 场景重建方法、装置、计算机设备以及计算机存储介质
WO2019023416A1 (en) * 2017-07-27 2019-01-31 Westinghouse Electric Company Llc METHOD FOR LOCATING A REMOTE CONTROLLED VEHICLE IN A WORKSPACE, AND A REMOTE INSPECTION SYSTEM USING SUCH A METHOD
CN107291103A (zh) * 2017-08-07 2017-10-24 联想(北京)有限公司 一种控制方法和电子设备
US20190107845A1 (en) * 2017-10-09 2019-04-11 Intel Corporation Drone clouds for video capture and creation
US20190112049A1 (en) * 2017-10-17 2019-04-18 Top Flight Technologies, Inc. Portable launch system
WO2019119185A1 (zh) * 2017-12-18 2019-06-27 深圳市大疆创新科技有限公司 用于控制无人机的方法和设备
RU2683993C1 (ru) * 2018-01-23 2019-04-03 Общество с ограниченной ответственностью "НЕОСФЕРА" Способ определения локальных координат и система для осуществления указанного способа
US10800039B2 (en) 2018-01-23 2020-10-13 General Electric Company Controlling and commanding an unmanned robot using natural interfaces
KR102229267B1 (ko) 2018-01-29 2021-03-19 이스라엘 에어로스페이스 인더스트리즈 리미티드 무인 운송 수단의 근접 항법
US20190266901A1 (en) * 2018-02-28 2019-08-29 Walmart Apollo, Llc Systems and methods for assisting unmanned vehicles in delivery transactions
WO2019190870A1 (en) * 2018-03-30 2019-10-03 Walmart Apollo, Llc Unmanned vehicle antennae contact sensor systems and methods
US10909712B2 (en) 2018-05-21 2021-02-02 Microsoft Technology Licensing, Llc Precision mapping using autonomous devices
JP7037436B2 (ja) * 2018-05-29 2022-03-16 京セラ株式会社 飛行装置、飛行装置の制御方法、飛行装置の制御プログラム、及び飛行装置の経路を成す構造物
JP2020001005A (ja) * 2018-06-29 2020-01-09 株式会社星光技研 液体放出装置
CA3158552A1 (en) 2018-07-12 2020-01-16 TerraClear Inc. Object identification and collection system and method
JP2020027574A (ja) * 2018-08-17 2020-02-20 株式会社東芝 自律移動装置、方法及び３次元モデリングシステム
US11378975B1 (en) 2019-01-03 2022-07-05 The Johns Hopkins University Autonomous navigation technology
US11259195B1 (en) * 2019-03-15 2022-02-22 Alarm.Com Incorporated Security camera drone communication coupling to control and computing station
GB201906420D0 (en) * 2019-05-07 2019-06-19 Farley Adam Virtual augmented and mixed reality systems with physical feedback
US11401033B2 (en) * 2019-05-09 2022-08-02 Noa, Inc. Remote sensor data acquisition using autonomous drones
US10965914B2 (en) * 2019-07-08 2021-03-30 Andrae T. D'Acquisto Trail camera
DE102019211048A1 (de) 2019-07-25 2020-07-02 Thyssenkrupp Ag Verfahren und Einrichtung zur automatisierbaren Personenzugangskontrolle zu einem im Freien befindlichen Anlagengelände
GB2586996B (en) * 2019-09-11 2022-03-09 Canon Kk A method, apparatus and computer program for acquiring a training set of images
JP7302431B2 (ja) * 2019-10-24 2023-07-04 横河電機株式会社 測定システムおよび測定方法
KR102366604B1 (ko) * 2020-02-04 2022-02-23 금오공과대학교 산학협력단 무인항공기를 이용한 동물 퇴치 방법
CN111452960A (zh) * 2020-04-17 2020-07-28 桂林理工大学 一种基于无人机注浆的危岩加固方法及装置
US11815914B2 (en) * 2020-05-20 2023-11-14 Jonathan Ralph Burdick Adaptive anti-laser system
US11809176B2 (en) 2020-12-16 2023-11-07 Rockwell Collins, Inc. Formation management and guidance system and method for automated formation flight
CN112666980B (zh) * 2020-12-30 2023-03-14 青海大学 一种无人机集群协作系统、协作方法及无人机集群
JP7459808B2 (ja) 2021-01-20 2024-04-02 トヨタ自動車株式会社 サーバ装置、システム、飛行体、及びシステムの動作方法
CN113031637B (zh) * 2021-03-05 2023-03-10 北京理工大学 一种多飞行机器人的集联操作平台
CN113225706A (zh) * 2021-05-06 2021-08-06 中国人民解放军空军军医大学 基于无人机集群的战场伤员搜索方法与系统
US20230058405A1 (en) * 2021-08-20 2023-02-23 Sony Group Corporation Unmanned aerial vehicle (uav) swarm control
CN113433977B (zh) * 2021-08-26 2021-11-16 汕头大学 基于无人机群的高层建筑火场探测方法及系统
TWI819569B (zh) * 2022-04-14 2023-10-21 實踐大學 架構於無人機群飛之零時差巨幅空照圖拍攝裝置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102160005A (zh) * 2008-05-21 2011-08-17 波音公司 由远程无人交通工具的集群检查结构和物体的系统和方法
CN102628690A (zh) * 2012-04-19 2012-08-08 清华大学 两架无人机任务协同可视导航方法
CN103608749A (zh) * 2011-04-26 2014-02-26 加利福尼亚大学董事会 用于记录和重现感觉的系统和装置
CN103686084A (zh) * 2013-12-10 2014-03-26 中国航天科工集团第四研究院 一种用于多无人机协同实时侦察的全景视频监控方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4109806B2 (ja) * 1999-08-31 2008-07-02 株式会社東芝 触覚を利用した方向提示装置及びその方法
CA2370580A1 (en) 2002-02-05 2003-08-05 Handshake Interactive Technologies Inc Thin client based intelligent transportation system
JP4792823B2 (ja) 2005-06-09 2011-10-12 ソニー株式会社 ネットワーク・システム、移動体装置及びその制御方法、並びにコンピュータ・プログラム
JP2007093045A (ja) * 2005-09-27 2007-04-12 Mitsubishi Electric Corp 指令装置及び指令方法
US7581702B2 (en) 2006-06-09 2009-09-01 Insitu, Inc. Wirelessly controlling unmanned aircraft and accessing associated surveillance data
WO2010101749A1 (en) 2009-03-05 2010-09-10 Massachusetts Institute Of Technology Predictive semi-autonomous vehicle navigation system
US8896696B2 (en) 2009-05-01 2014-11-25 Aai Corporation Method apparatus system and computer program product for automated collection and correlation for tactical information
JP5618840B2 (ja) 2011-01-04 2014-11-05 株式会社トプコン 飛行体の飛行制御システム
US8874360B2 (en) 2012-03-09 2014-10-28 Proxy Technologies Inc. Autonomous vehicle and method for coordinating the paths of multiple autonomous vehicles
US20130289858A1 (en) * 2012-04-25 2013-10-31 Alain Anthony Mangiat Method for controlling and communicating with a swarm of autonomous vehicles using one-touch or one-click gestures from a mobile platform
US9198363B2 (en) 2012-12-12 2015-12-01 The Boeing Company Tree metrology system
US9540102B2 (en) 2012-12-19 2017-01-10 Elwha Llc Base station multi-vehicle coordination
JP6150531B2 (ja) * 2013-01-21 2017-06-21 三菱重工業株式会社 地形情報取得装置、地形情報取得システム、地形情報取得方法及びプログラム
US9643722B1 (en) * 2014-02-28 2017-05-09 Lucas J. Myslinski Drone device security system
US10694155B2 (en) 2015-06-25 2020-06-23 Intel Corporation Personal sensory drones
US9692498B2 (en) * 2015-10-16 2017-06-27 At&T Intellectual Property I, L.P. Extending wireless signal coverage with drones
US9836049B1 (en) * 2017-05-05 2017-12-05 Pinnacle Vista, LLC Relay drone system
US10600295B2 (en) * 2017-05-05 2020-03-24 Tg-17, Inc. System and method for threat monitoring, detection, and response
US10555152B2 (en) * 2017-09-28 2020-02-04 At&T Intellectual Property I, L.P. Drone-to-drone information exchange

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102160005A (zh) * 2008-05-21 2011-08-17 波音公司 由远程无人交通工具的集群检查结构和物体的系统和方法
CN103608749A (zh) * 2011-04-26 2014-02-26 加利福尼亚大学董事会 用于记录和重现感觉的系统和装置
CN102628690A (zh) * 2012-04-19 2012-08-08 清华大学 两架无人机任务协同可视导航方法
CN103686084A (zh) * 2013-12-10 2014-03-26 中国航天科工集团第四研究院 一种用于多无人机协同实时侦察的全景视频监控方法

Also Published As

Publication number Publication date
JP6863555B2 (ja) 2021-04-21
EP3314343A4 (en) 2019-01-30
US10694155B2 (en) 2020-06-23
KR20180012876A (ko) 2018-02-06
JP2018522302A (ja) 2018-08-09
EP3786753A1 (en) 2021-03-03
EP3786753C0 (en) 2023-06-07
KR102424180B1 (ko) 2022-07-25
US11076134B2 (en) 2021-07-27
CN107667521A (zh) 2018-02-06
US20200322577A1 (en) 2020-10-08
US20160378109A1 (en) 2016-12-29
PL3786753T3 (pl) 2023-10-16
PL3314343T3 (pl) 2021-12-06
EP3786753B1 (en) 2023-06-07
WO2016209504A1 (en) 2016-12-29
EP3314343B1 (en) 2021-06-23
EP3314343A1 (en) 2018-05-02

Similar Documents

Publication Publication Date Title
CN107667521B (zh) 个人感测无人机
US11386672B2 (en) Need-sensitive image and location capture system and method
Kyrkou et al. Drones: Augmenting our quality of life
US10824141B2 (en) Systems and methods for UAV flight control
CN109154499A (zh) 用于增强立体显示的系统和方法
US10719710B2 (en) Capturing media moments of people using an aerial camera system
US11313663B2 (en) Location estimation apparatus, moving object, location estimation method, and computer-readable storage medium
US20220221857A1 (en) Information processing apparatus, information processing method, program, and information processing system
JP2023059553A (ja) 体験装置、体験システム、及び、表示方法
JP7130409B2 (ja) 管制装置
Gowroju et al. Applications of Drones—A Review
KR102495287B1 (ko) 증강현실 기술을 이용한 생활 안전 관리 시스템
Sharma et al. An insight on UAV/drone autonomous navigation methods and applications: a review
US20240142978A1 (en) Systems and Methods for Fusing Sensor Data from Drones in a Virtual Environment
Renardi et al. Using Multi-Quadrotor System for Effective Road Mapping
Haiyan 14 Drone media in the perspective of urban communication
CN117423240A (zh) 预警方法、装置及系统
Morris et al. Map interface for geo-registering and monitoring distributed events

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant