CN109658435A - 用于视频捕获和创建的无人机云 - Google Patents

用于视频捕获和创建的无人机云 Download PDF

Info

Publication number
CN109658435A
CN109658435A CN201811158205.7A CN201811158205A CN109658435A CN 109658435 A CN109658435 A CN 109658435A CN 201811158205 A CN201811158205 A CN 201811158205A CN 109658435 A CN109658435 A CN 109658435A
Authority
CN
China
Prior art keywords
unmanned plane
media
scene
cloud
equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811158205.7A
Other languages
English (en)
Inventor
G·D·凯恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN109658435A publication Critical patent/CN109658435A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/104—Simultaneous control of position or course in three dimensions specially adapted for aircraft involving a plurality of aircrafts, e.g. formation flying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H04B7/18506—Communications with or from aircraft, i.e. aeronautical mobile service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/102—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] adapted for flying in formations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Astronomy & Astrophysics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

根据一个实施例，描述一种用于促进无人机云进行视频捕获和创建的机构。本文所描述的实施例的方法包括：由计算设备接收在物理区域内跟踪具有一个或多个对象的场景的指令。该方法可以还包括：基于指令生成引导计划，其中，引导计划被发送到具有多个无人机的无人机云，以执行对场景的实时跟踪，其中，实时跟踪包括对场景的媒体的实时捕获。该方法可以还包括：通过通信介质将场景的媒体发送到一个或多个媒体设备。

Description

用于视频捕获和创建的无人机云
技术领域
本文所描述的实施例总体上涉及数据处理，更具体地说，涉及促 进用于视频捕获和创建的无人机云。
背景技术
常规技术需要大的，固定的并且刚性的底盘以支撑相机阵列，这 样进而使得相机是静止的并且对于使用是棘手的。这种关于相机阵列 的物理位置的灵活性的缺乏通常意味着需要若干相机以获得大区域或 场地的变化观看或更大捕获。
附图说明
在类似标号指代相似要素的附图的图中，通过示例的方式而不是 限制的方式示出实施例。
图1示出根据一个实施例的采用无人机云机构的计算设备。
图2示出根据一个实施例的无人机云机构。
图3A示出根据一个实施例的具有无人机云媒体捕获对象/场景的 无人机设置。
图3B示出根据一个实施例的具有无人机云媒体捕获对象/场景的 无人机设置。
图4A示出根据一个实施例的用于视频捕获和/或创建的事务序 列。
图4B示出根据一个实施例的用于由服务器计算机使用无人机云 进行视频捕获和/或创建执行动作的方法。
图4C示出根据一个实施例的用于由无人机云使用无人机云进行 视频捕获和/或创建的无人机动作的方法。
图5示出根据一个实施例的能够支持并且实现一个或多个实施例 的计算机设备。
图6示出根据一个实施例的能够支持并且实现一个或多个实施例 的计算环境的实施例。
具体实施方式
在以下描述中，阐述大量具体细节。然而，可以在没有这些具体 细节的情况下实践本文所描述的实施例。在其它实例中，尚未详细示 出公知电路、结构和技术，以免模糊该描述的理解。
实施例提供一种用于使用无人机群聚(swarm)或云以用于捕获 和/或创建高分辨率和体积式视频的新颖技术。在一个实施例中，无人 机云的该新颖技术是便携的，可配置的，可扩展的，并且动态的，以 支持任何数量的环境。此外，无人机云的这种新颖用法是坚定的并且 可扩展的，使得可以仅需要少数无人机以捕获具有高层次细节和体象 素精度的任何数量和类型的大区域(例如体育场地等)的视图。
预期贯穿本文献可以可互换地引用例如“请求”、“询问”、“作 业”、“工作”、“工作项”和“工作量”的术语。相似地，“应用” 或“代理”可以指代或包括通过应用编程接口(API)(例如免费渲 染API(例如开放图形库等))提供的计算机程序、软件应用、游戏、工作站应用等，其中， “调度(dispatch)”可以可互换地称为“工作单元”或“绘制”，并 且相似地，“应用”可以可互换地称为“工作流”或简单地“代理”。 例如，工作量(例如三维(3D)游戏的工作量)可以包括并且发行任 何数量和类型的“帧”，其中，每个帧可以表示图像(例如帆船、人 脸)。此外，每个帧可以包括并且提供任何数量和类型的工作单元， 其中，每个工作单元可以表示其对应帧所表示的图像(例如帆船、人 脸)的部分(例如帆船的桅杆、人脸的额头)。然而，为了一致性， 贯穿本文献，每个条目可以由单个项(例如“调度”、“代理”等) 引用。
在一些实施例中，可以可互换地使用指代显示设备的可视部分的 例如“显示屏”和“显示表面”的术语，而其余显示设备可以嵌入到 计算设备(例如智能电话、可穿戴设备等)中。预期并且注意，实施 例并非受限于任何特定计算设备、软件应用、硬件组件、显示设备、 显示屏或表面、协议、标准等。例如，实施例可以应用于并且用以任 何数量和类型的计算机(例如台式、膝上型、平板计算机、智能电话、 头戴式显示器和其它可穿戴设备等)上的任何数量和类型的实时应用。 此外，例如，用于使用该新颖技术的高效性能的渲染情形可以范围从 简单情形(例如桌面合成)到复杂情形(例如3D游戏、增强现实应 用等)。
要注意，贯穿本文献，可以可互换地引用例如卷积神经网络 (CNN)、CNN、神经网络(NN)、NN、深度神经网络(DNN)、 DNN、递归神经网络(RNN)、RNN等的术语或缩写。此外，贯穿本文献可以可互换地引用例如“自主机器”或简单地“机器”、“自 主载具”或简单地“载具”、“自主代理”或简单地“代理”、“自 主设备”或“计算设备”、“机器人”等的术语。
图1示出根据一个实施例的采用无人机云机构110的计算设备 100。计算设备100指代用于掌控无人机云机构110的宿主机器(例如 服务器计算机)。计算设备100示出与其它计算设备(例如自主机器 150A、150B、150N(例如无人机、飞行机器、驾驶机器等))以及计算设备170(例如客户端机器(例如客户端计算机、电视、移动设 备等))进行通信。计算设备100、自主机器150A-N以及客户端机器 170中的每一个包括通信和数据处理设备。为了简明并且清楚，贯穿 本文献，计算设备170称为“客户端计算机”，而自主机器150A-N 称为“无人机”；然而，如本文献稍后将描述的那样，实施例不限于 此。
在一个实施例中，所示无人机150A-N表示并且称为“无人机云” (又称为“无人机群聚”、“无人机群组”、“无人机团队”)，但 这些无人机云并不限于任何数量或类型的无人机。预期无人机云可以 具有能够执行一个或多个任务的任何数量、类型和范围的无人机，如 贯穿本文献所描述的那样。然而，为了简明、清楚并且易于理解，示 出并且讨论仅三个无人机150A、150B和150N；相似地，参照无人机 150A示出并且讨论移动和媒体机构151以及任何其它组件(例如I/O 设备153)，但预期作为无人机云的部分的任何其它无人机(例如无人机云150A-150N中的无人机150B、150N)可以掌控或包括移动和 媒体机构151、I/O设备153以及任何其它组件和设备。
客户端机器170可以包括(但不限于)智能可穿戴设备、智能电 话、虚拟现实(VR)设备、头戴式显示器(HMD)、移动计算机、 物联网(IoT)设备、膝上型计算机、台式计算机等。
无人机150A-N中的每一个可以包括(但不限于)人工智能代理 (例如机械代理或机器、电子代理或机器、虚拟代理或机器、机电代 理或机器等)。自主机器或人工智能代理的示例可以包括(但不限于) 机器人、自主载具(例如无人机、自动驾驶汽车、自动飞行飞机、自 动航行船只等)、自主设备(自动操作建筑载具、自动操作医疗设备 等)等。
此外，虽然贯穿本文献可以引用“自主载具”和“自主驾驶”， 但实施例不限于此。例如，“自主载具”不限于无人机或汽车，而是 其可以包括任何数量和类型的自主机器(例如机器人、自主设备、家 用自主设备等)，并且与这些自主机器有关的任何一个或多个任务或 操作可以与自主驾驶可互换地引用。
计算设备100可以还包括(但不限于)大型计算系统(例如服务 器计算机、台式计算机等)，并且可以还包括与机顶盒(例如基于互 联网的有线电视机顶盒等)、基于全球定位系统(GPS)的设备等进 行通信。
客户端机器170可以包括充当通信设备的移动计算设备(例如包 括智能电话的蜂窝电话、个人数字助理(PDA)、平板计算机、膝上 型计算机、电子阅读器、智能电视、电视平台、可穿戴设备(例如眼 镜、手表、手镯、智能卡、珠宝、服装物品)、媒体播放器等)。
如所示，在一个实施例中，计算设备100可以包括任何数量和类 型的硬件和/或软件组件，例如(但不限于)图形处理单元(“GPU” 或简单地“图形处理器”)114、图形驱动器(又称为“GPU驱动器”、 “图形驱动器逻辑”、“驱动器逻辑”、用户模式驱动器(UMD)、 UMD、用户模式驱动器框架(UMDF)、UMDF或简单地“驱动器”) 116、中央处理单元(“CPU”或简单地“应用处理器”)112、存储 器108、网络设备、驱动器等以及输入/输出(I/O)源104(例如触摸屏、触摸板、触摸盘、虚拟或常规键盘、虚拟或常规鼠标、端口、连 接器等)。计算设备100可以包括操作系统(OS)106，其充当计算 机设备100的硬件和/或物理资源与用户之间的接口。
应理解，对于特定实现方式，比上述示例更少或更多的所装配的 系统可以是优选的。因此，取决于大量因素(例如价格约束、性能要 求、技术改进或其它情况)，计算设备100的配置可以随着实现方式 而变化。
实施例可以实现为任何以下项或其组合：使用主板互连的一个或 多个微芯片或集成电路、硬引线逻辑、存储器设备所存储的并且由微 处理器执行的软件、固件、专用集成电路(ASIC)和/或现场可编程门 阵列(FPGA)。此外，术语“逻辑”、“模块”、“组件”、“引擎”和“机构”可以例如包括软件或硬件和/或软件和硬件的组合。
在一个实施例中，如所示，无人机云机构110可以由计算设备100 的操作系统106掌控。在另一实施例中，无人机云机构110可以由图 形驱动器116掌控或促进。在又一实施例中，无人机云机构110可以 由图形处理单元(“GPU”或简单地“图形处理器”)114或图形处理器114的固件掌控或成为其部分。例如，无人机云机构110可以嵌 入或实现为图形处理器114的处理硬件的部分。相似地，在又一实施 例中，无人机云机构110可以由中央处理单元(“CPU”或简单地“应 用处理器”)112掌控或成为其部分。例如，无人机云机构110可以 嵌入或实现为应用处理器112的处理硬件的部分。
在又一实施例中，无人机云机构110可以由任何数量或类型的计 算设备100的组件掌控或成为其部分，例如，无人机云机构110的部 分可以由操作系统116掌控或成为其部分，另一部分可以由图形处理 器114掌控或成为其部分，另一部分可以由应用处理器112掌控或成 为其部分，而视图合成机构110的一个或多个部分可以由计算设备100 的操作系统116和/或任何数量和类型的设备掌控或成为其部分。预期 实施例不限于无人机云机构110的任何特定实现方式或掌控，并且无 人机云机构110的一个或多个部分或组件可以采用或实现为硬件、软 件或其任何组合(例如固件)。
在一个实施例中，如参照图2将进一步描述的那样，无人机150A (以及无人机150B、150N)可以掌控移动和媒体机构151以及一个 或多个输入/输出设备153。相似地，客户端机器170可以提供用户接 口171(例如图形用户接口(GUI)、web浏览器、基于应用的用户接 口等)，以允许用户控制无人机150A-N所执行的移动和其它任务。 此外，客户端机器170可以包括通信逻辑173，以与其它设备(例如 计算设备100)进行通信和/或对其进行接入。相似地，客户端机器170 可以包括一个或多个显示设备或与之进行通信，以显示通过无人机 150A-N和计算100所捕获或生成的视频的任何结果，如参照图2将进 一步讨论的那样。
计算设备100、无人机150A-N和客户端机器170可以掌控网络接 口，以提供对网络(例如LAN、广域网(WAN)、城域网(MAN)、 个域网(PAN)、蓝牙、云网络、移动网络(例如第3代(3G)、第 4代(4G)等)、内部网、互联网等)的接入。网络接口可以包括例 如具有天线(其可以表示一个或多个天线)的无线网络接口。网络接 口可以还包括例如有线网络接口，以经由网络缆线(其可以是例如以 太网缆线、同轴缆线、光纤缆线、串行缆线或并行缆线)与远程设备 进行通信。
实施例可以提供为例如计算机程序产品，其可以包括一个或多个 机器可读介质，具有其上所存储的机器可执行指令，其当由一个或多 个机器(例如计算机、计算机的网络或其它电子设备)执行时可以使 得一个或多个机器执行根据本文所描述的操作。机器可读介质可以包 括但不限于软盘、光盘、CD-ROM(压缩盘-只读存储器)以及磁光盘、 ROM、RAM、EPROM(可擦除可编程只读存储器)、EEPROM(电 可擦除可编程只读存储器)、磁或光卡、闪存、或适合于存储机器可 执行指令的其它类型的介质/机器可读介质。
此外，实施例可以下载为计算机程序产品，其中，程序可以经由 通信链路(例如调制解调器和/或网络连接)通过载波或其它传输介质 中实施的和/或调制的一个或多个数据信号的方式从远程计算机(例如 服务器)传送到请求计算机(例如客户端)。
贯穿本文献，术语“用户”可以可互换地称为“观看者”、“观 测者”、“人”、“个人”、“终端用户”等。要注意，贯穿本文献， 例如“图形域”的术语可以与“图形处理单元”、“图形处理器”或 简单地“GPU”可互换地引用，并且相似地，“CPU域”或“主机域” 可以与“计算机处理单元”、“应用处理器”或简单地“CPU”可互 换地引用。
要注意，贯穿本文献，可以可互换地使用例如“节点”、“计算 机节点”、“服务器”、“服务器设备”、“云计算机”、“云服务 器”、“云服务器计算机”、“机器”、“主机机器”、“设备”、 “计算设备”、“计算机”、“计算系统”等的术语。还要注意，贯 穿本文献可以可互换地使用例如“应用”、“软件应用”、“程序”、 “软件程序”、“包”、“软件包”等的术语。此外，贯穿本文献可 以可互换地使用例如“作业”、“输入”、“请求”“消息”等的术 语。
图2示出根据一个实施例的图1的无人机云机构110。为了简明， 下文中不重复或讨论已经参照图1描述的很多细节。在一个实施例中， 无人机云机构110可以包括任何数量和类型的组件，例如(但不限于) 接收/检测逻辑201、目标位置/视图逻辑203、引导/移动逻辑205、处 理/执行逻辑207、通信/兼容性逻辑209以及接口/连网逻辑211。
计算设备100进一步示出为具有通过一个或多个通信介质230(例 如网络(例如云网络、接近度网络、互联网)等)对一个或多个数据 库225和/或一个或多个其它计算设备(例如客户端机器170、无人机 150A-N)的接入和/或与之进行通信。
在一些实施例中，数据库225可以包括存储介质或设备、库、数 据源等中的一个或多个，其具有与任何数量和类型的应用有关的任何 量或类型的信息(例如数据、元数据等)(例如与一个或多个用户、 物理位置或区域、适用的法律、政策和/或规章、用户偏好和/或简档、 安全和/或鉴权数据、历史和/或偏好细节等有关的数据和/或元数据)。
计算设备100示出为与客户端机器170进行通信，客户端机器170 可以是用户可访问的或由用户使用，以通过用户接口171发出对无人 机云机构110的请求或偏好，其中，这些请求或偏好通过一个或多个 通信介质230(例如云网络、接近度网络、互联网等)传递到计算设 备100处的无人机云机构110上。
例如，在一个实施例中，能够访问客户端机器170(例如台式计 算机、移动设备、可穿戴设备等)的用户可以请求或选择无人机群聚 的模式，以跟随对象(例如快速汽车、列车等)或个人(例如名人、 逃亡者等)或捕获来自事件(例如私人事件(例如婚礼、聚会等)或公共事件(例如球赛、政治集会等))的场景。这种请求或选择可以 由用户通过用户接口171(例如基于GUI的用户接口、Web浏览器、 基于云的平台用户接口、基于软件应用的用户接口、其它用户或应用 编程接口(API)等)发出。该请求可以然后使用通信逻辑173和通 信/兼容性逻辑209通过通信介质230(例如互联网)从客户端机器170 传递到计算设备100(例如服务器计算机)处的无人机云机构110。
一旦请求在接收/检测201处被接收并且通过无人机云机构110和 移动和媒体机构151的其它组件进行处理，如稍后将进一步描述的那 样，结果(例如体育事件的视频等)就可以发送回到客户端机器170， 在此，可以使用显示设备175(例如显示监视器或屏幕、投影仪、扬 声器、发光二极管(LED)、一个或多个扬声器和/或振动电机等)中 的一个或多个展示或显示它。在一个实施例中，这些结果可以由计算 设备100的接口/连网逻辑211广播到任何数量和类型的客户端机器 (例如全世界的电视机)。
例如，客户端机器170可以包括电视机、移动设备、膝上型计算 机等，其中，可以使用无人机150的移动和媒体机构151捕获来自范 围从实际比赛的国歌到开球的足球比赛、演讲仪式、采访等的各种场 景，同时由计算设备100的无人机云机构110管辖并且广播，可以然 后由接口/连网逻辑211广播到全世界的数十亿接收设备(包括客户端 机器170)，以观看从运动场捕获的场景的图像或帧。可以使用一个 或多个通信介质230(例如电视广播网络、互联网等)进行该广播。 在此情况下，客户端机器170的用户可以使用接口171，以用于接收 他可以使用一个或多个显示设备175通过用户接口171(例如web浏 览器)观看的广播的设置和偏好。预期在该示例中，客户端机器170 充当能够接收无人机150所捕获的图像的结果的被动设备，但在一些 实施例中，客户端机器170可以是负责无人机150的移动和操纵的管 理者可访问的控制设备。
例如，客户端机器170可以是电视广播公司的部分，其中，个人 可以负责确保在球赛期间正确使用无人机150A-N。在此情况下，用户 接口171可以用以设置用于无人机云机构110的偏好或指令，以准备 引导并且将其传递到无人机150A(和/或其它无人机150B-N)的移动 和媒体机构151，以执行特定任务(例如，从各种角度捕获特定场景 或场景的分段的音频/视频)。用户可以使用一个或多个显示设备175 观看无人机150A-N所捕获的媒体的结果，并且使用该信息以继续监 控和管理无人机150A-N。在该实施例中，客户端机器170可以看作主 动或控制设备。
在一个实施例中，无人机150A-N中的每一个可以掌控移动和媒 体机构151以及I/O设备153(例如键盘、鼠标、显示屏幕、扬声器、 麦克风等)。预期所有所示设备100、150A-N、170可以包含用于输 入和/或输出内容的任何数量和类型的设备以及接口。例如，I/O源108可以包括捕获/感测组件231(例如传感器、麦克风、相机(例如 RealSenseTM相机))和/或输出组件233(例如扬声器、显示器(例如 集成显示器、张量(tensor)显示器、投影仪、显示屏幕等))。相似 地，I/O设备153包括捕获/感测设备251(例如传感器、麦克风、相 机(例如RealSenseTM相机))以及输出设备253(例如扬声器、 显示器(例如集成显示器、张量显示器、投影仪、显示屏幕等))。
例如，捕获/感测组件231和/或设备251可以包括传感器阵列(例 如麦克风或麦克风阵列(例如超声麦克风))、相机或相机阵列(例 如二维(2D)相机、三维(3D)相机、红外(IR)相机、深度感测相 机等)、电容器、无线电组件、雷达组件等)、扫描仪、加速计等。 相似地，输出组件233和/或设备253可以包括任何数量或类型的显示 设备或屏幕、投影仪、扬声器、发光二极管(LED)、一个或多个扬 声器和/或振动电机等。
例如，捕获/感测组件231和/或设备251的相机可以包括已知用于 捕获媒体(例如个人媒体)的静止和/或视频红绿蓝(RGB)和/或RGB 深度(RGB-D)图像的任何数量和类型的相机(例如深度感测相机或 捕获设备(例如RealSenseTM深度感测相机))。具有深度信息 的这些图像已经有效地用于各种计算机视觉和计算摄影效果(例如(但 不限于)场景理解、重新聚焦、合成、影院图形等)。相似地，例如， 输出组件233和/或设备253的显示设备可以包括任何数量和类型的显 示器(例如集成显示器、张量显示器、立体显示器等，包括(但不限 于)嵌入式或连接式显示屏、显示设备、显示投影屏等)。
在一个实施例中，无人机150正掌控的移动和媒体机构151可以 包括任何数量和类型的组件，例如(但不限于)：接收/解释逻辑261、 实时移动和跟踪逻辑(“实时逻辑”)263；分段/群聚逻辑265；捕获 /处理逻辑267；调节和防碰撞逻辑269；以及通信/接口逻辑271。
实施例提供用于允许使得能够生成用于对象/场景的每个所捕获 的时刻的点云的新颖技术，允许一个或多个无人机150A-N的输出设 备253的虚拟相机的合成，以生成来自任何角度的对象/场景的真实感 表示。例如，在一个实施例中，可以通过使用精确受控并且受管理的 无人机群聚150A-N从位于不同位置和角度中(作为一个或多个无人 机150A-N的部分或安装在其上或嵌入在其中)的多个捕获设备(例 如一个或多个无人机150A-N的捕获/感测设备251的多个相机)同时 捕获事件(例如体育事件、婚礼、政治集会、私人聚会、商务会议等) 的对象/场景的视频。
实施例提供从并非受限于或固定到物理位置(例如安装在固定位 置中的相机)的多个位置和/或角度同时捕获相同或不同场景的视频 流。该新颖技术提供运动方面的各种自由度和灵活性，以在允许各种 角度和位置以及无人机云编队内的单元的动态配置的同时允许无人机 云150A-N跟随任何对象或场景。
例如，在从客户端计算机170接收到请求时，或基于预定准则， 或由接收/检测逻辑201接收或检测到的事件触发(例如到达比赛时间 等)，任何有关信息可以然后传递到目标位置/视图逻辑203。在一个 实施例中，目标位置/视图逻辑203可以访问一个或多个数据库225， 以响应于从接收/检测逻辑201接收到的信息获得任何有关数据，例如 以验证足球比赛的开始时间，确认待跟踪并且视频捕获的场地的分段 (包括比赛、玩家、人群、事件(例如开球、犯规等))，确定哪些 视频流待处理和/或广播给用户设备(例如客户端计算机170)等。此 外，该附加数据可以包括关于频繁捕获的事件的所准备的或预定的计 划，例如用于一个或多个无人机150A-N的移动路线、当地规则、规 章和/或法律或它们的例外、组织或个人政策和偏好、一个或多个无人 机150A-N的系统限制或优点等。
在一个实施例中，目标位置/视图逻辑203可以生成具有移动和媒 体细节的目标计划，例如，指定用于无人机150A-N的行驶路径、飞 行高度等、待用于捕获对象/场景的视频/图像的相机和/或无人机 150A-N、待捕获的视图、要保持距对象/场景的距离、时间限制等。在 一个实施例中，目标位置/视图逻辑203可以将目标计划转发到引导/ 移动逻辑205，以用于进一步处理。
在接收到目标计划时，引导/移动逻辑205然后准备用于无人机 150A-N的引导计划，使得引导计划包括用于无人机150A-N中的每一 个的精确指令，范围是对于移动的精确选择，以用于一个或多个无人 机150A-N。例如，当正踢球射门时，一个无人机150A可以被指示对 踢球者进行特写，但所有无人机150A-N被指示在国歌和比赛之后仪 式期间参与，等。
进一步提供用于通过包括描述一个或多个无人机150A-N的每个 相机的位置和角度的精确空间数据流生成点云(例如无人机云 150A-N)的改进的处理。此外，在使用一个或多个无人机150A-N的 深度相机(例如RGB+深度相机)的情况下，该新颖技术提供用于生 成包括任何数量和类型的无人机(例如无人机150A-N)的精密并且精 确的点云的甚至更大广度的数据。此外，通信/兼容性逻辑209可以用 以确保引导计划与无人机150A-N兼容，而无论它们的制作或型号如 何。
一旦准备好引导计划，就可以然后从接口/网络逻辑211传递到无 人机150A-N处的移动和媒体机构151的接收/解释逻辑261。如上所 述，为了简明，移动和媒体机构151示出为由无人机150A掌控，但 预期无人机云150A-N中的所有无人机(例如无人机150B和150N) 也可以采用或掌控移动和媒体机构151以及任何其它有关组件或设备 (例如I/O设备153)。
在通过一个或多个通信介质230(例如互联网、云网络等)从接 口/连网逻辑211接收到引导计划时，接收/解释逻辑261可以然后解释 引导计划，以用于在无人机150A-N处实现并且由无人机150A-N使用。 例如，接收/解释逻辑261可以审阅引导计划中所阐述的准则和/或指 令，并且对于实时逻辑263解释它，以执行无人机150A-N的移动以 及将要由捕获/感测设备251的相机捕获的对象和/或场景的跟踪。
虽然体育事件(例如足球比赛)正用作示例，但实施例不限于此。 例如，通过简单地通过客户端计算机170提供将要由无人机云机构110 处理并且由移动和媒体机构151执行的指令、偏好和/或简档，该新颖 技术可以由当地警察用以跟踪罪犯。例如，无人机150A-N中的一个 或多个可以用以按警察进行的请求并且在引导/移动逻辑205整合的并 且由无人机150A-N中的一个或多个使用的引导计划中阐述的那样跟 踪和/或追踪罪犯。
继续于足球示例，在一个实施例中，在从接收/解释逻辑261接收 到引导计划的解释时，实时逻辑263可以被触发以关于它们在所指定 的区域周围(例如在比赛场上及其周围等)的移动以及对象/场景(例 如个人玩家、人群部分、场地的分段、在比赛期间的特定玩家以及正 进行比赛的城市的部分)的跟踪而精确地服从引导计划。
例如，按引导计划，无人机150A-N可以群聚在不同群组中，以 分段离开对象/场景，例如，无人机150B-N可以继续在主要事件处(例 如在比赛/赛场处)捕获场景，而无人机150A可以分段偏离自身或与 其它无人机群聚，以覆盖可能在场地之外正酝酿的事件(例如人群聚 集或庆祝)，或简单地捕获城市闹市区或附近兴趣点(例如海滩、纪 念碑等)的场景。
在一个实施例中，调节和防碰撞逻辑269可以用以确保无人机 150A-150N遵从所有有关规则、规章、法律、组织/公司政策和/或偏好、 个人偏好和/或简档、无人机150A-N的技术限制、其它约束(例如天 气状况、政治环境等)。此外，调节和防碰撞逻辑269通过在保护无 人机150A-N的左右或附近的个人或财产的同时保卫不仅无人机 150A-N不撞向结构、人群等提供必要的安全性。
在一个实施例中，捕获/处理逻辑267可以用以促进捕获/感测设备 251中的一个或多个(例如一个或多个相机)如引导计划中所阐述的 那样捕获有关对象和/或场景的视频流或图像。这些视频流可以然后由 捕获/处理逻辑267根据引导计划处理，例如，通过以下操作执行视频 的初步编辑：移除特定无关部分，添加预定部分，引入字幕等，然后 将视频转发到无人机云机构110。
例如，一旦执行初步处理，通信/接口逻辑271就可以于是将所得 视频流转发到计算设备100处的接收/检测逻辑201，以用于进一步处 理。例如，接收/检测逻辑201可以将视频流转发到处理/执行逻辑207， 以用于视频流的内容的附加浏览和处理，以用于提供对视频流的最终 编辑。一旦视频流由处理/执行逻辑207终定，它们于是就由通信/兼容 性逻辑209促进而转发到接口/连网逻辑211上，以在一个或多个公共 和/或私有设备(例如客户端计算机170)处传递或广播视频流。
在一个实施例中，处理/执行逻辑207可以基于预定偏好、准则、 协议等确定是否以及向谁以及何时公开地广播或私有地传递这些视频 流中的一个或多个。
例如，在足球比赛的情况下，除非捕获异常的、敏感的或非法的 事物(例如裸体人、暴乱、污秽语言等)，否则视频流将看作对于公 开广播是适当的。然而，并非所有地理区域可以接收这些视频流实况， 例如，正进行比赛的城市可能不接收实况广播，而其它城市却可以。
相似地，继续于警察示例，并非所有关于跟踪或追捕罪犯的信息 可以是适当的。例如，在一些实施例中，可以通过一个或多个警察可 访问设备(例如客户端计算机170)仅与警察共享信息。在其它情况 下，追捕罪犯(类似于足球比赛)可以在公共设备(例如电视机、移 动设备、计算机等(例如客户端计算机170))上实况广播。
此外，在一个实施例中，与所捕获的图像的特定像素对应的捕获/ 感测设备251的一个或多个传感器所捕获的深度信息(例如RGB-D 相机)可以用以生成无人机150A-N的点云内的用于每个体像素的精 确位置，其中，可以通过与目标像素的视图并未受阻挡的群聚中的无 人机150A-N的对应相机进行通信的捕获/处理逻辑267所计算的三角 位置获得这些精确位置。
如所讨论的那样，在一个实施例中，实时逻辑263可以用于在足 够开阔以允许无人机云150A-N的操作的任何开阔空间中的移动对象 或场景(例如从警方逃跑的罪犯或逃离家的狗或马拉松跑者等的示例) 的实时跟踪。该新颖技术消除对于用于支撑并且保持相机和其它有关 设备的昂贵且不灵活的结构的常规需要。此外，该新颖技术允许制作 工作室在任何环境中的位置上生成体积式虚拟现实(VR)视频，与受 限于固定工作室环境相反。使用该新颖技术，甚至小型商业机构和个 人可以在它们挑选的位置中创建它们自己的体积式VR视频。实施例 提供支持不同环境的便携式、可配置、可扩展和动态的技术。
捕获/感测组件231和/或设备251可以还包括以下中的一个或多 个：振动组件、触觉组件、传导元件、生物计量传感器、化学检测器、 信号检测器、脑电图、功能近红外光谱法、波检测器、力传感器(例 如加速计)、照射器、眼部跟踪或注视跟踪系统、头部跟踪等，其可 以用于捕获任何量或类型的视觉数据(例如图像(例如照片、视频、 电影、音频/视频流等))以及非视觉数据(例如音频流或信号(例如 声音、噪声、振动、超声等)、无线电波(例如无线信号(例如具有 数据、元数据、符号等的无线信号))、化学改变或性质(例如湿度、 体温等)、生物计量读数(例如指纹等)、脑波、脑血循环、环境/ 气象状况、地图等)。预期贯穿本文献可以互换地引用“传感器”和“检 测器”。还预期一个或多个捕获/感测组件231和/或设备251可以还包 括用于捕获和/或感测数据的支持或补充设备(例如照射器(例如IR 照射器)、灯夹具、发生器、声音阻挡器等)中的一个或多个。
还预期在一个实施例中，捕获/感测组件231和/或设备251可以还 包括任何数量和类型的上下文传感器(例如线性加速计)，以用于感 测或检测任何数量和类型的上下文(例如估计与移动计算设备等有关 的水平、线性加速等)。例如，捕获/感测组件231和/或设备251可以 包括任何数量和类型的传感器，例如(但不限于)：加速计(例如线 性加速计，用于测量线性加速度等)；惯性设备(例如惯性加速计、 惯性陀螺仪、微电机系统(MEMS)陀螺仪、惯性导航仪等)；以及 重力梯度计，用于研究并且测量归因于重力的重力加速度的变化等。
此外，例如，捕获/感测组件231和设备251可以包括(但不限于)： 音频/视觉设备(例如相机麦克风、扬声器等)；上下文意识传感器(例 如温度传感器、通过音频/视觉设备的一个或多个相机工作的面部表情 和特征特征测量传感器、环境传感器(例如，用于感测背景色彩、光 等)；生物计量传感器(例如，用于检测指纹等)、日历维护和读取 设备等)；全球定位系统(GPS)传感器；资源请求器；和/或TEE逻 辑。TEE逻辑可以被单独地采用，或成为资源请求器和/或I/O子系统 等的部分。捕获/感测组件231和/或设备251可以还包括语音识别设备、 照片识别设备、面部和其它身体识别组件、语音到文本转换组件等。
相似地，输出组件233和/或设备253可以包括具有触觉效应器的 动态触觉触碰屏幕作为呈现触摸的可视化的示例，其中，其实施例可 以是超声发生器，其可以在空间中发送信号，信号当到达例如人手指 时可以在手指上产生触觉感受或类似感觉。此外，例如，并且在一个 实施例中，输出组件233和/或设备253可以包括(但不限于)以下项 中的一个或多个：光源、显示设备和/或屏幕、音频扬声器、触觉组件、 传导元件、骨传导扬声器、嗅觉或气味视觉和/或非/视觉呈现设备、触 感或触摸视觉和/或非视觉呈现设备、动画显示设备、生物计量显示设 备、X射线显示设备、高分辨率显示器、高动态范围显示器、多视图 显示器以及用于虚拟现实(VR)和增强现实(AR)中的至少一个的 头戴式显示器(HMD)等。
预期实施例不限于任何特定数量或类型的使用情况情形、架构放 置或组件设置；然而，为了简明和清楚，为了示例性的目的贯穿本文 献提供并且讨论说明和描述，但实施例不限于此。此外，贯穿本文献， “用户”可以指代能够访问一个或多个计算设备(例如计算设备100、 客户端计算机170、无人机150A-N等)的某人，并且可以与“人”、“个 人”、“人类”、“他”、“她”、“孩子”、“成人”、“观看者”、“玩家”、“比 赛者”、“开发者”、“编程者”等可互换地引用。
在确保与改变中的技术、参数、协议、标准等的兼容性的同时， 通信/兼容性逻辑209可以用以促进各种组件、网络、计算设备170、 150A-N、数据库225和/或通信介质230等与任何数量和类型的其它计 算设备(例如可穿戴计算设备、移动计算设备、台式计算机、服务器 计算设备等)、处理设备(例如中央处理单元(CPU)、图形处理单 元(GPU)等)、捕获/感测组件(例如非视觉数据传感器/检测器(例 如音频传感器、嗅觉传感器、触感传感器、信号传感器、振动传感器、 化学检测器、无线电波检测器、力传感器、气象/温度传感器、身体/生物计量传感器、扫描仪等)以及视觉数据传感器/检测器(例如相机 等))、用户/上下文意识组件和/或标识/验证传感器/设备(例如生物 计量传感器/检测器、扫描仪等)、存储器或存储设备、数据源和/或数 据库(例如数据存储设备、硬驱、固态驱动器、硬盘、存储卡或设备、 存储器电路等)、网络(例如云网络、互联网、物联网、内部网、蜂 窝网络、接近度网络(例如蓝牙、低功耗蓝牙(BLE)、蓝牙智能、 Wi-Fi接近度、无线电频率标识、近场通信、体域网等))、无线或 有线通信和有关协议(例如WiMAX、以太网等)、连接和 位置管理技术、软件应用/网站(例如社交和/或商业连网网站、商业应 用、游戏和其它娱乐应用等)、编程语言等之间的动态通信和兼容性。
贯穿本文献，例如“逻辑”、“组件”、“模块”、“框架”、“引擎”、“工 具”等的术语可以可互换地使用，并且通过示例的方式包括软件、硬件 和/或软件和硬件的任何组合(例如固件)。在一个示例中，“逻辑”可 以指代或包括能够工作于计算设备(例如计算设备100、170、150A-N) 的操作系统、图形驱动器等中的一个或多个的软件组件。在另一示例 中，“逻辑”可以指代或包括能够连同一个或多个计算设备(例如计算 设备100、170、150A-N)的系统硬件元件(例如应用处理器、图形处 理器等)一起以物理方式安装的或成为其部分的硬件组件。在又一实 施例中，“逻辑”可以指代或包括能够成为计算设备(例如计算设备100、 170、150A-N)的系统固件(例如应用处理器或图形处理器等的固件) 的部分的固件组件。
此外，特定品牌、词语、术语、短语、名称和/或缩写(例如“自 主机器”、“无人机”、“无人机群聚”、“无人机云”、“分段”、“移动”、“捕 获”、“漫游”、“体育事件”、“足球”、“视频流”、“视频”、“图像”、“帧”、 “视图”、“神经网络”、“CNN”、“RealSenseTM相机”、“实时”、“自动化”、 “动态”、“用户接口”、“相机”、“传感器”、“麦克风”、“显示屏幕”、“扬 声器”、“验证”、“鉴权”、“隐私”、“用户”、“用户简档”、“用户偏好”、 “发送器”、“接收器”、“个人设备”、“智能设备”、“移动计算机”、“可 穿戴设备”、“IoT设备”、“接近度网络”、“云网络”、“服务器计算机” 等)的任何使用不应解读为将实施例限制为在产品中或在本文献之外 的文献中携带该标记的软件设备。
预期可以从无人机云机构110和/或移动和媒体机构151添加和/ 或移除任何数量以及任何类型的组件，以促进包括添加、移除和/或增 强特定特征的各个实施例。为了简明、清楚并且易于理解无人机云机 构110和/或移动和媒体机构151，在此并未示出或讨论很多标准和/ 或公知组件(例如计算设备的组件)。预期本文所描述的实施例不限 于任何特定技术、拓扑、系统、架构和/或标准，并且对于对任何特征 改变的改动或适配是足够动态的。
图3A示出根据一个实施例的具有用于在区域内具有对象的场景 的跟踪和媒体捕获的无人机云150A-N的无人机设置300。为了简明， 下文中可以不讨论或重复先前参照图1-图2描述的很多细节。与所示 设置300有关的事务的任何处理可以由处理逻辑执行，处理逻辑可以 包括硬件(例如电路、专用逻辑、可编程逻辑等)、软件(例如处理 设备上运行的指令)或其组合，如图1的无人机云机构110和/或移动 和媒体机构151所促进的那样。在陈述中为了简明和清楚可以按线性 顺序示出或陈述与该说明关联的处理或事务；然而，预期可以按并行、 异步或不同顺序执行任何数量的它们。
如所示，在一个实施例中，无人机云150A-N可以包括任何数量 或类型的无人机，其中，无人机云150A-N中的每个无人机可以具有 一个或多个相机305A-N，以捕获区域310A、310B中及其周围的场景 /对象315A、315B的一个或多个图像和/或视频流。例如，可以分配无 人机云150A-N中的一个或多个无人机，以覆盖在表示目标区域310A 的足球场地处正进行的足球比赛。相似地，如参照图2所描述的那样， 可以对无人机云150A-N中的一个或多个无人机分配更小的目标区域 310B(例如球门区)以覆盖触地和有关其它活动。继续所示，无人机 云150A-N中的一个或多个无人机可以覆盖目标对象315A所表示的场 上活动和对象(例如玩家、裁判等)，而无人机云150A-N中的另外 一个或多个无人机可以被分配以目标对象315B所表示的覆盖区域 310A周围的其它对象(例如人群、观众等)。
图3B示出根据一个实施例的具有用于在区域内具有对象的场景 的跟踪和媒体捕获的无人机云150A、150B的无人机设置350。为了 简明，下文中可以不讨论或重复先前参照图1-图3A描述的很多细节。 与所示设置350有关的事务的任何处理可以由处理逻辑执行，处理逻 辑可以包括硬件(例如电路、专用逻辑、可编程逻辑等)、软件(例 如处理设备上运行的指令)或其组合，如图1的无人机云机构110和/ 或移动和媒体机构151所促进的那样。在陈述中为了简明和清楚可以 按线性顺序示出或陈述与该说明关联的处理或事务；然而，预期可以 按并行、异步或不同顺序执行任何数量的它们。
在所示实施例中，目标对象是快速移动对象(例如目标移动对象 360A、360B)、预期实施例绝不受限于此或任何其它说明，例如，在 说明中无需目标移动对象360B所表示的警车或任何其它组件。然而， 在该所示实施例中，使用其相机355A、355B的无人机150A可以被 分配以覆盖正连续地改变并且表示为改变中的目标区域365的目前道 路连同目标移动对象360A、360B。
在一个实施例中，可以给予无人机150B距具有有关活动的更好 并且更广的视图的更大距离观测场景的任务。从无人机150A、150B 以及该操作中所涉及的任何其它无人机获得的任何结果可以将它们的 观测报告回到警察可访问的一个或多个计算设备(例如警察局的台式 机、警察队长可访问的移动电话等)。
图4A示出根据一个实施例的用于媒体捕获和/或创建的事务序列 400。为了简明，下文中可以不讨论或重复先前参照图1-图3B描述的 很多细节。与所示电影式空间-时间视图合成有关的事务的任何处理可 以由处理逻辑执行，处理逻辑可以包括硬件(例如电路、专用逻辑、 可编程逻辑等)、软件(例如处理设备上运行的指令)或其组合，如 图1的无人机云机构110和/或移动和媒体机构151所促进的那样。在 陈述中为了简明和清楚可以按线性顺序示出或陈述与该说明关联的处 理或事务；然而，预期可以按并行、异步或不同顺序执行任何数量的 它们。
在所示实施例中，事务序列400分散在图2的计算设备100、客 户端计算机170和无人机150A-N分别初步执行的处理动作401、用户 指引的动作403以及无人机动作405上。在一个实施例中，在411， 能够访问图2的客户端计算机170的用户可以选择用于无人机群聚(例 如无人机群聚150A-N)的模式，以跟随对象，其中，可以通过在通过 web浏览器所提供的网站上或通过基于应用的软件所提供的下拉菜单 等选择模式来执行该操作。在413，一旦选择模式，用户就可以然后 从视频馈源选择要跟随的对象，从而该用户可以随着正使用一个或多 个无人机150A-N跟踪并且视频捕获对象而继续观看并且保持跟踪对 象。
在415，在图2的计算设备100处，用户经由图2的客户端计算 机170所指定的目标对象然后被分段，以用于使用一个或多个无人机 150A-N的场景的跟踪和媒体捕获。在417，请求和/或指导对象的跟踪 和媒体捕获以及一个或多个无人机150A-N的任何对应移动的命令从 计算设备100发送到无人机150A-N。在419，响应于该命令，无人机 150A-N中的每一个被指示以根据包括于命令中或关联于命令的指导 到处移动以便跟踪并且媒体捕获对象。
图4B示出根据一个实施例的用于由服务器计算机关于使用无人 机云的媒体捕获和/或创建执行动作的方法430。为了简明，下文中可 以不讨论或重复先前参照图1-图3B描述的很多细节。与所示电影式 空间-时间视图合成有关的事务的任何处理可以由处理逻辑执行，处理 逻辑可以包括硬件(例如电路、专用逻辑、可编程逻辑等)、软件(例 如处理设备上运行的指令)或其组合，如图4A的无人机云机构110 和/或移动和媒体机构151所促进的那样。在陈述中为了简明和清楚可 以按线性顺序示出或陈述与该说明关联的处理或事务；然而，预期可 以按并行、异步或不同顺序执行任何数量的它们。
方法430开始于方框431，其中，(从客户端计算机)接收指令 或检测预定计划，以用于区域内的对象/场景的跟踪和视频/图像捕获。 在方框433，确定或获得对象/场景、区域以及一个或多个无人机云的 精确位置以及与之有关的其它有关信息(例如政策、偏好、当地法律、 规章等)。在方框435，生成指导计划，以引导具有一个或多个无人 机(例如自主机器)的无人机云的移动和相机任务。在方框440，引 导计划通过通信介质从服务器计算机发送到无人机云，以针对跟踪并 且媒体捕获场景/对象及其有关移动而指示并且帮助无人机云。
在方框445，从无人机云接收与对象和/或场景的跟踪和媒体捕获 关联的图像和/或视频流。在方框447，使用一个或多个客户端计算机 (例如个人计算机、电视、移动计算机等)处理这些图像和/或视频流， 以用于传递和/或广播。在方框449，这些图像和/或视频流传递到一个 或多个客户端计算机上，其中，该信息得以广播。
图4C示出根据一个实施例的用于由无人机云关于使用无人机云 的视频捕获和/或创建的无人机动作的方法460。为了简明，下文中可 以不讨论或重复先前参照图1-图4A描述的很多细节。与所示电影式 空间-时间视图合成有关的事务的任何处理可以由处理逻辑执行，处理 逻辑可以包括硬件(例如电路、专用逻辑、可编程逻辑等)、软件(例 如处理设备上运行的指令)或其组合，如图4A的无人机云机构110 和/或移动和媒体机构151所促进的那样。在陈述中为了简明和清楚可 以按线性顺序示出或陈述与该说明关联的处理或事务；然而，预期可 以按并行、异步或不同顺序执行任何数量的它们。
方法460开始于方框461，其中，从服务器计算机接收并且解释 与移动和相机任务有关的指导计划。在方框463，按指导计划执行无 人机云中的一个或多个无人机的实时移动以及区域中的对象/场景的 跟踪。在方框465，使用无人机云中的一个或多个无人机处的一个或 多个相机捕获区域中的所跟踪的对象/场景的图像和/或视频流。在 467，然后关于打字、错误、移除不必要或无关数据、添加必要和有关 数据等处理并且编辑图像和/或视频流。在方框469，所处理的图像和/ 或视频流的文件发送到服务器计算机，以用于进一步处理以及私有和/ 或公共传递/广播。
图5示出根据一个实现方式的计算设备500。所示的计算设备500 可以与图1的计算设备100相同或相似。计算设备500容纳系统板502。 板502可以包括多个组件，包括但不限于处理器504以及至少一个通 信包506。通信包耦合到一个或多个天线516。处理器504以物理方式 和电方式耦合到板502。
取决于其应用，计算设备500可以包括可以通过物理方式和电方 式耦合到或不耦合到板502的其它组件。这些其它组件包括但不限于 易失性存储器(例如DRAM)508、非易失性存储器(例如ROM)509、 闪存(未示出)、图形处理器512、数字信号处理器(未示出)、加 密处理器(未示出)、芯片组514、天线516、显示器518(例如触摸 屏显示器)、触摸屏控制器520、电池522、音频编解码器(未示出)、 视频编解码器(未示出)、功率放大器524、全球定位系统(GPS)设 备526、罗盘528、加速计(未示出)、陀螺仪(未示出)、扬声器 530、相机532、麦克风阵列534以及海量存储设备(例如硬盘驱动器) 510、压缩盘(CD)(未示出)、数字多功能盘(DVD)(未示出) 等。这些组件可以连接到系统板502，安装到系统板，或与任何其它 组件组合。
通信包506使得能够进行无线和/或有线通信，以用于数据去往以 及来自计算设备500的传送。术语“无线”及其派生词可以用于描述可 以通过使用通过非固体介质的调制电磁辐射来传递数据的电路、设备、 系统、方法、技术、通信信道等。虽然在一些实施例中关联设备可以 不包含任何引线，但该术语并非暗指它们不包含任何引线。通信包506 可以实现任何数量的无线或有线标准或协议，包括但不限于WiFi (IEEE 802.11族)、WiMAX(IEEE802.16族)、IEEE 802.20、长期 演进(LTE)、Ev-DO、HSPA+、HSDPA+、HSUPA+、EDGE、GSM、GPRS、CDMA、TDMA、DECT、蓝牙、以太网其衍生以及指定为3G、 4G、5G以及更高的任何其它无线和有线协议。计算设备500可以包 括多个通信包506。例如，第一通信包506可以专用于较短距离无线 通信(例如Wi-Fi和蓝牙)，而第二通信包506可以专用于较长距离 无线通信(例如GPS、EDGE、GPRS、CDMA、WiMAX、LTE、LTE-A、 Ev-DO等)。
包括任何深度传感器或接近度传感器的相机532耦合到可选图像 处理器536，以执行本文所描述的转换、分析、降噪、比较、深度或 距离分析、图像理解和其它处理。处理器504耦合到图像处理器，以 通过图像处理器和相机的中断、设置参数以及控制操作驱动处理。可 以另外在处理器504、图形CPU 512、相机532中或在任何其它设备 中执行图像处理。
在各个实现方式中，计算设备500可以是膝上型设备、上网本、 笔记本、超级本、智能电话、平板、个人数字助理(PDA)、超级移 动PC、移动电话、台式计算机、服务器、机顶盒、娱乐控制单元、数 字相机、便携式音乐播放器或数字视频记录器。计算设备可以是固定的、便携的或可穿戴的。在其它实现方式中，计算设备500可以是处 理数据或记录数据以用于另外处理的任何其它电子设备。
可以使用一个或多个存储器芯片、控制器、CPU(中央处理单元)、 使用主板互连的微芯片或集成电路、专用集成电路(ASIC)和/或现场 可编程门阵列(FPGA)实现实施例。术语“逻辑”通过示例的方式包括 软件或硬件和/或软件和硬件的组合。
对“一个实施例”、“实施例”、“示例实施例”、“各个实施例”等的引 用指示所描述的实施例可以包括特定特征、结构或特性，但并非每一 实施例必须包括该特定特征、结构或特性。此外，一些实施例可以具 有关于其它实施例所描述的一些、所有特征或没有其特征。
在以下描述和权利要求中，可以使用术语“耦合”连同其派生词。 “耦合”用以指示两个或更多个元件彼此共同操作或交互，但它们可以 具有或没有它们之间的介入物理或电子组件。
如权利要求中所使用的那样，除非另外指定，用于描述共同要素 的序数形容词“第一”、“第二”、“第三”等的使用仅指示相同要素的不 同实例被指代，而非旨在暗指所描述的要素在时间上、空间上、等级 上或按任何其它方式必须是给定的顺序。
附图和前述描述给出了实施例的示例。本领域技术人员将理解，所 描述的要素中的一个或多个可以很好地组合成单个功能要素。替换地， 某些要素可以分成多个功能要素。可以将来自一个实施例的要素添加到 另一个实施例。例如，可以改变这里描述的过程的顺序，并且不限于这 里描述的方式。而且，任何流程图的动作都不需要按所示的顺序实现； 也不一定需要执行所有动作。此外，那些不依赖于其他动作的动作可以 与其他动作并行执行。实施例的范围决不受这些具体示例的限制。无论 是否在说明书中明确给出，许多变化是可能的，例如结构、尺寸和材料 使用的差异。实施例的范围至少与以下权利要求所给出的一样宽。
实施例可以提供为例如计算机程序产品，其可以包括一个或多个 瞬时性或非瞬时性机器可读存储介质，具有其上所存储的机器可执行 指令，其当由一个或多个机器(例如计算机、计算机的网络或其它电 子设备)执行时可以使得一个或多个机器执行根据本文所描述的操作。 机器可读介质可以包括但不限于软盘、光盘、CD-ROM(压缩盘-只读 存储器)以及磁光盘、ROM、RAM、EPROM(可擦除可编程只读存 储器)、EEPROM(电可擦除可编程只读存储器)、磁或光卡、闪存、 或适合于存储机器可执行指令的其它类型的介质/机器可读介质。
图6示出能够支持以上所讨论的操作的计算环境600的实施例。 可以通过包括图5所示的各种不同硬件架构以及形数实现模块和系 统。
命令执行模块601包括中央处理单元，以缓存并且执行命令而且 在所示的其它模块与系统之间分布任务。其可以包括指令栈、用于存 储中间和最终结果的缓存存储器以及用于存储应用和操作系统的海量 存储器。命令执行模块也可以充当用于系统的中央协调和任务分派单 元。
屏幕渲染模块621在一个或多个屏幕上绘制对象，以用于用户观 看。其可以适用于从虚拟对象行为模块604接收数据，如下所述，并 且在适当的一个或多个屏幕上渲染虚拟对象以及任何其它对象和力。 因此，来自虚拟对象行为模块的数据将确定虚拟对象的位置和动态以 及关联手势、力和对象，例如，并且屏幕渲染模块将相应地在屏幕上 描述虚拟对象以及关联对象和环境。屏幕渲染模块可以进一步适用于 从相邻屏幕透视模块607接收数据，如下所述，如果虚拟对象可以移 动到相邻屏幕透视模块关联于的设备的显示器，则描述用于虚拟对象 的目标着陆区域。因此，例如，如果虚拟对象正从主屏幕移动到辅屏幕，则相邻屏幕透视模块2可以将数据发送到屏幕渲染模块，以例如 在对用户的手移动或眼移动的该跟踪时以阴影形式暗示用于虚拟对象 的一个或多个目标着陆区域。
对象和手势识别模块622可以适用于识别并且跟踪用户的手和臂 姿势。该模块可以用以识别手、手指、手指姿势、手移动以及手相对 于显示器的位置。例如，对象和手势识别模块可以例如确定用户作出 身体部分手势以将虚拟对象投掷或抛掷到多个屏幕中的一个或另一个 上，或用户作出身体部分手势以将虚拟对象移动到多个屏幕中的一个 或另一个的边框。对象和手势识别系统可以耦合到相机或相机阵列、 麦克风或麦克风阵列、触摸屏幕或触摸表面、或指点设备、或这些项 的某种组合，以检测来自用户的手势和命令。
对象和手势识别系统的触摸屏幕或触摸表面可以包括触摸屏幕传 感器。来自传感器的数据可以馈送到硬件、软件、固件或其组合，以 将屏幕或表面上的用户的手的触摸手势映射到虚拟对象的对应动态行 为。传感器日期可以用以动量和惯性因子，以允许基于来自用户的手 的输入(例如用户的手指相对于屏幕的扫动速率)的用于虚拟对象的 各种动量行为。捏夹手势可以解释为用于从显示屏幕提升虚拟对象或 用于开始生成与虚拟对象关联的虚拟绑定或用于在显示器上进行放大 或缩小的命令。对象和手势识别系统可以使用一个或多个相机生成相 似命令，而非借助触摸表面。
关注方向模块623可以装配有相机或其它传感器，以跟踪用户的 面部或手的位置或定向。当发出手势或语音命令时，系统可以确定用 于手势的适当屏幕。在一个示例中，相机安装在每个显示器附近，以 检测用户是否正面对该显示器。如果是，则关注方向模块信息提供给 对象和手势识别模块622，以确保手势或命令与用于有效显示器的适 当库关联。相似地，如果用户并非看着所有屏幕，则可以省略命令。
设备接近度检测模块625可以使用接近度传感器、罗盘、GPS(全 球定位系统)接收机、个域网无线电装置以及其它类型的传感器连同 三角测量法和其它技术一起确定其它设备的接近度。一旦检测到附近 设备，其就可以注册到系统，并且其类型可以确定为输入设备或显示 设备或二者。对于输入设备，接收到的数据可以于是应用于对象手势 和识别模块622。对于显示设备，其可以由相邻屏幕透视模块607考 虑。
虚拟对象行为模块604适用于从对象速度和方向模块接收输入， 并且将该输入应用于显示器中正显示的虚拟对象。因此，例如，对象 和手势识别系统将解释用户手势，并且通过将所捕获的用户的手的移 动映射为识别的移动，虚拟对象跟踪器模块将把虚拟对象的位置和移 动关联于对象和手势识别系统识别的移动，对象和速度和方向模块将 捕获虚拟对象的移动的动态，并且虚拟对象行为模块将从对象和速度 和方向模块接收输入，以生成将指引虚拟对象的移动以与来自对象和 速度和方向模块的输入对应的数据。
虚拟对象跟踪器模块606另一方面可以适用于基于来自对象和手 势识别模块的输入跟踪虚拟对象应位于显示器附近的三维空间中的何 处以及用户的哪个身体部分正握持虚拟对象。虚拟对象跟踪器模块 606可以例如随着虚拟对象在屏幕上并且在屏幕之间移动而跟踪虚拟 对象，并且跟踪用户的哪个身体部分正握持该虚拟对象。跟踪正握持 虚拟对象的身体部分允许连续获知身体部分的空气移动，并且因此最 终获知虚拟对象是否已经释放到一个或多个屏幕上。
视图和屏幕同步手势模块608从关注方向模块623接收视图或屏 幕或二者的选择，并且在一些情况下，语音命令以确定哪个视图是有 效视图以及哪个屏幕是有效屏幕。其然后使得加载相关手势库，以用 于对象和手势识别模块622。一个或多个屏幕上的应用的各种视图可 以与用于给定视图的替选手势库或一组手势模板关联。
可以包括或耦合到设备接近度检测模块625的相邻屏幕透视模块 607可以适用于确定一个显示器相对于另一显示器的角度和位置。投 影显示器包括例如投影到墙壁或屏幕上的图像。可以例如要么通过红 外发射机和接收机要么电磁或光检测感测能力实现用于检测附近屏幕 的接近度以及从其投影的对应角度或定向的能力。对于允许具有触摸 输入的投影显示器的技术，可以分析到来视频，以确定所投影的显示 器的位置并且按某角度校正显示所产生的失真。加速计、磁力计、罗 盘或相机可以用以确定正握持设备的角度，而红外发射机和相机可以 允许结合相邻设备上的传感器确定屏幕设备的定向。相邻屏幕透视模 块607可以以此方式确定相邻屏幕相对于其自身的屏幕坐标的坐标。 因此，相邻屏幕透视模块可以确定哪些设备彼此接近以及用于在屏幕 上移动一个或多个虚拟对象的其它潜在目标。相邻屏幕透视模块可以 进一步允许将屏幕的位置与表示所有现有对象和虚拟对象的三维空间 的模型相关。
对象和速度和方向模块603可以适用于通过从虚拟对象跟踪器模 块接收输入估计正移动的虚拟对象的动态(例如其轨迹(线性的还是 有角度的)、动量(线性还是有角度的)等)。对象和速度和方向模 块可以进一步适用于通过例如估计虚拟绑定的加速度、偏转、伸展程 度等以及一旦用户的身体部分释放就通过虚拟对象的动态行为估计任 何物理力的动态。对象和速度和方向模块也可以使用图像运动、大小 和角度改变以估计对象的速度(例如手和手指的速度)。
动量和惯性模块602可以使用图像平面中或三维空间中的对象的 图像运动、图像大小和角度改变以估计空间中或显示器上的对象的速 度和方向。动量和惯性模块耦合到对象和手势识别模块622，以估计 手、手指以及其它身体部分执行的手势的速度，并且然后将那些估计 应用于确定将被手势影响的虚拟对象的动量和速度。
3D图像交互和效果模块605跟踪用户与显现为延伸出一个或多 个屏幕的3D图像的交互。可以连同这些对象对彼此的相对影响一起 计算对象在z轴中(朝向以及离开屏幕的平面)的影响。例如，在虚 拟对象到达屏幕的平面之前，用户手势所抛掷的对象可以受前景中的 3D对象影响。对象可以改变抛射的方向或速度或完全毁灭它。3D图 像交互和效果模块可以在显示器中的一个或多个上的前景中渲染对 象。如所示，各个组件(例如组件601、602、603、604、605、606、 607和608)经由互连或总线(例如总线609)连接。
以下条款和/或示例属于其它实施例或示例。示例中的细节可以用 在一个或多个实施例中的任何地方。不同实施例或示例的各个特征可 以与所包括的一些特征以及所排除的其它特征多样地组合，以适合于 各种不同应用。示例可以包括主题，例如方法、用于执行方法的动作 或块的手段、包括指令的至少一个机器可读介质，所述指令当由机器 执行时使得机器执行根据本文所描述的实施例和示例用于促进混合通 信的所述方法或装置或系统的动作。
一些实施例属于示例1，其包括一种用于促进无人机云进行视频捕 获和创建的装置，所述装置包括：接收/检测逻辑，用于：接收在物理 区域内跟踪具有一个或多个对象的场景的指令；引导/移动逻辑，用于： 基于所述指令生成引导计划，其中，所述引导计划被发送到具有多个 无人机的无人机云，以执行对场景的实时跟踪，其中，实时跟踪包括 对所述场景的媒体的实时捕获；和接口/连网逻辑，用于：通过通信介 质将所述场景的媒体发送到一个或多个媒体设备。
示例2包括示例1的主题，还包括目标位置/视图逻辑，用于：搜 寻所述场景、所述场景的所述一个或多个对象、所述区域以及所述区 域的一个或多个部分中的至少一个的位置和其它规范，其中，所述引 导计划进一步基于所述位置和其它规范。
示例3包括示例1-2的主题，其中，所述引导计划包括所述无人机 云的与所述多个无人机的垂直和水平移动中的至少一个有关的方向、 与所述场景、所述一个或多个对象和所述区域有关的跟踪信息、法定 管束、政策约束、偏好或特殊指令、天气报告或环境状况。
示例4包括示例3所述的装置，其中，所述引导计划还包括命令， 所述命令包括分段命令，用于指示所述多个无人机中的一个或多个无 人机分段离开所述多个无人机中的其它无人机，以执行跟踪所述区域 的所述一个或多个部分中的一部分或驶向与所述场景不同的另一场 景。
示例5包括示例1-4的主题，还包括：处理/执行逻辑，用于：在 将所述引导计划发送到所述无人机云之前验证所述引导计划，以及在 从所述无人机云接收到所述媒体时处理所述媒体，其中，处理所述媒 体包括：在将所述媒体的部分发送到所述一个或多个媒体设备之前编 辑所述媒体的部分。
示例6包括示例1-5的主题，其中，所述媒体包括图像和视频中的 至少一个，使得所述媒体由耦合到所述无人机云中的所述多个无人机 中的一个或多个无人机的一个或多个相机捕获。
示例7包括示例1-6的主题，其中，所述装置包括一个或多个处理 器，所述处理器包括图形处理器，其中，所述图形处理器与应用处理 器共同位于公共半导体封装上。
一些实施例属于示例8，其包括一种促进无人机云进行视频捕获和 创建的方法，所述方法包括：由计算设备接收在物理区域内跟踪具有 一个或多个对象的场景的指令；基于所述指令生成引导计划，其中， 所述引导计划被发送到具有多个无人机的无人机云，以执行对场景的 实时跟踪，其中，实时跟踪包括对所述场景的媒体的实时捕获；以及 通过通信介质将所述场景的媒体发送到一个或多个媒体设备。
示例9包括示例8的主题，还包括：搜寻所述场景、所述场景的 所述一个或多个对象、所述区域以及所述区域的一个或多个部分中的 至少一个的位置和其它规范，其中，所述引导计划进一步基于所述位 置和其它规范。
示例10包括示例8-9的主题，其中，所述引导计划包括所述无人 机云的与所述多个无人机的垂直和水平移动中的至少一个有关的方 向、与所述场景、所述一个或多个对象和所述区域有关的跟踪信息、 法定管束、政策约束、偏好或特殊指令、天气报告或环境状况。
示例11包括示例8-10的主题，其中，所述引导计划还包括命令， 所述命令包括分段命令，用于指示所述多个无人机中的一个或多个无 人机分段离开所述多个无人机中的其它无人机，以执行跟踪所述区域 的所述一个或多个部分中的一部分或驶向与所述场景不同的另一场 景。
示例12包括示例8-11的主题，还包括：执行以下中的一个或多个： 在将所述引导计划发送到所述无人机云之前验证所述引导计划，以及 在从所述无人机云接收到所述媒体时处理所述媒体，其中，处理所述 媒体包括：在将所述媒体的部分发送到所述一个或多个媒体设备之前 编辑所述媒体的部分。
示例13包括示例8-12的主题，其中，所述媒体包括图像和视频中 的至少一个，使得所述媒体由耦合到所述无人机云中的所述多个无人 机中的一个或多个无人机的一个或多个相机捕获。
示例14包括示例8-13的主题，其中，所述计算设备包括一个或多 个处理器，所述处理器包括图形处理器，其中，所述图形处理器与应 用处理器共同位于公共半导体封装上。
一些实施例属于示例15，其包括数据处理系统，包括具有耦合到 处理器的存储器的计算设备，所述处理器用于：接收在物理区域内跟 踪具有一个或多个对象的场景的指令；基于所述指令生成引导计划， 其中，所述引导计划被发送到具有多个无人机的无人机云，以执行对 场景的实时跟踪，其中，实时跟踪包括对所述场景的媒体的实时捕获； 以及通过通信介质将所述场景的媒体发送到一个或多个媒体设备。
示例16包括示例15的主题，所述处理器还用于：搜寻所述场景、 所述场景的所述一个或多个对象、所述区域以及所述区域的一个或多 个部分中的至少一个的位置和其它规范，其中，所述引导计划进一步 基于所述位置和其它规范。
示例17包括示例15-16的主题，其中，所述引导计划包括所述无 人机云的与所述多个无人机的垂直和水平移动中的至少一个有关的方 向、与所述场景、所述一个或多个对象和所述区域有关的跟踪信息、 法定管束、政策约束、偏好或特殊指令、天气报告或环境状况。
示例18包括示例15-17的主题，其中，所述引导计划还包括命令， 所述命令包括分段命令，用于指示所述多个无人机中的一个或多个无 人机分段离开所述多个无人机中的其它无人机，以执行跟踪所述区域 的所述一个或多个部分中的一部分或驶向与所述场景不同的另一场 景。
示例19包括示例15-18的主题，还包括：执行以下中的一个或多 个：在将所述引导计划发送到所述无人机云之前验证所述引导计划， 以及在从所述无人机云接收到所述媒体时处理所述媒体，其中，处理 所述媒体包括：在将所述媒体的部分发送到所述一个或多个媒体设备 之前编辑所述媒体的部分。
示例20包括示例15-19的主题，其中，所述媒体包括图像和视频 中的至少一个，使得所述媒体由耦合到所述无人机云中的所述多个无 人机中的一个或多个无人机的一个或多个相机捕获。
示例21包括示例15-20的主题，其中，所述计算设备包括一个或 多个处理器，所述处理器包括图形处理器，其中，所述图形处理器与 应用处理器共同位于公共半导体封装上。
示例22包括至少一种非瞬时性或有形机器可读介质，包括多个指 令，所述指令当在计算设备上执行时实现或执行如权利要求或示例 8-14中任一项所述的方法。
示例23包括至少一种机器可读介质，包括多个指令，所述指令当 在计算设备上执行时实现或执行如权利要求或示例8-14中任一项所述 的方法。
示例24包括一种系统，包括用于实现或执行如权利要求或示例 8-14中任一项所述的方法的机构。
示例25包括一种装置，包括用于执行如权利要求或示例8-14中任 一项所述的方法的模块。
示例26包括一种计算设备，被布置为实现或执行如权利要求或示 例8-14中任一项所述的方法。
示例27包括一种通信设备，被布置为实现或执行如权利要求或示 例8-14中任一项所述的方法。
示例28包括至少一种机器可读介质，包括多个指令，所述指令当 在计算设备上执行时实现或执行如前述权利要求中任一项所述的方法 或实现前述权利要求中任一项所述的装置。
示例29包括至少一种非瞬时性或有形机器可读介质，包括多个指 令，所述指令当在计算设备上执行时实现或执行如前述权利要求中任 一项所述的方法或实现前述权利要求中任一项所述的装置。
示例30包括一种系统，包括用于实现或执行如前述权利要求中任 一项所述的方法或实现前述权利要求中任一项所述的装置。
示例31包括一种装置，包括执行如前述权利要求中任一项所述的方 法的模块。
示例32包括一种计算设备，被布置为实现或执行如前述权利要求中 任一项所述的方法或实现前述权利要求中任一项所述的装置。
示例33包括一种通信设备，被布置为实现或执行如前述权利要求中 任一项所述的方法或实现前述权利要求中任一项所述的装置。
附图和前述描述给出了实施例的示例。本领域技术人员将理解，所 描述的要素中的一个或多个可以很好地组合成单个功能要素。替换地， 某些要素可以分成多个功能要素。可以将来自一个实施例的要素添加到 另一个实施例。例如，可以改变这里描述的过程的顺序，并且不限于这 里描述的方式。而且，任何流程图的动作都不需要按所示的顺序实现； 也不一定需要执行所有动作。此外，那些不依赖于其他动作的动作可以 与其他动作并行执行。实施例的范围决不受这些具体示例的限制。无论 是否在说明书中明确给出，许多变化是可能的，例如结构、尺寸和材料 使用的差异。实施例的范围至少与以下权利要求所给出的一样宽。

Claims (19)

1.一种用于促进无人机云进行视频捕获和创建的装置，所述装置包括：
一个或多个处理器，用于执行：
接收/检测逻辑，用于：接收在物理区域内跟踪具有一个或多个对象的场景的指令；
引导/移动逻辑，用于：基于所述指令生成引导计划，其中，
所述引导计划被发送到具有多个无人机的无人机云，以执行对场景的实时跟踪，其中，实时跟踪包括对所述场景的媒体的实时捕获；和
接口/连网逻辑，用于：通过通信介质将所述场景的媒体发送到一个或多个媒体设备。
2.如权利要求1所述的装置，其中，所述一个或多个处理器执行目标位置/视图逻辑，用于：
搜寻所述场景、所述场景的所述一个或多个对象、所述区域以及所述区域的一个或多个部分中的至少一个的位置和其它规范，其中，所述引导计划进一步基于所述位置和其它规范。
3.如权利要求1所述的装置，其中，所述引导计划包括所述无人机云的与所述多个无人机的垂直和水平移动中的至少一个有关的方向、与所述场景、所述一个或多个对象和所述区域有关的跟踪信息、法定管束、政策约束、偏好或特殊指令、天气报告或环境状况。
4.如权利要求3所述的装置，其中，所述引导计划还包括命令，所述命令包括分段命令，用于指示所述多个无人机中的一个或多个无人机分段离开所述多个无人机中的其它无人机，以执行跟踪所述区域的所述一个或多个部分中的一部分或驶向与所述场景不同的另一场景。
5.如权利要求1所述的装置，其中，所述一个或多个处理器执行处理/执行逻辑，用于执行以下中的一个或多个：
在将所述引导计划发送到所述无人机云之前验证所述引导计划，以及
在从所述无人机云接收到所述媒体时处理所述媒体，其中，处理所述媒体包括：在将所述媒体的部分发送到所述一个或多个媒体设备之前编辑所述媒体的部分。
6.如权利要求1所述的装置，其中，所述媒体包括图像和视频中的至少一个，使得所述媒体由耦合到所述无人机云中的所述多个无人机中的一个或多个无人机的一个或多个相机捕获。
7.如权利要求1所述的装置，其中，所述装置包括一个或多个处理器，所述处理器包括图形处理器，其中，所述图形处理器与应用处理器共同位于公共半导体封装上。
8.一种促进无人机云进行视频捕获和创建的方法，所述方法包括：
由计算设备接收在物理区域内跟踪具有一个或多个对象的场景的指令；
基于所述指令生成引导计划，其中，所述引导计划被发送到具有多个无人机的无人机云，以执行对场景的实时跟踪，其中，实时跟踪包括对所述场景的媒体的实时捕获；以及
通过通信介质将所述场景的媒体发送到一个或多个媒体设备。
9.如权利要求8所述的方法，还包括：搜寻所述场景、所述场景的所述一个或多个对象、所述区域以及所述区域的一个或多个部分中的至少一个的位置和其它规范，其中，所述引导计划进一步基于所述位置和其它规范。
10.如权利要求8所述的方法，其中，所述引导计划包括所述无人机云的与所述多个无人机的垂直和水平移动中的至少一个有关的方向、与所述场景、所述一个或多个对象和所述区域有关的跟踪信息、法定管束、政策约束、偏好或特殊指令、天气报告或环境状况。
11.如权利要求10所述的方法，其中，所述引导计划还包括命令，所述命令包括分段命令，用于指示所述多个无人机中的一个或多个无人机分段离开所述多个无人机中的其它无人机，以执行跟踪所述区域的所述一个或多个部分中的一部分或驶向与所述场景不同的另一场景。
12.如权利要求8所述的方法，还包括：执行以下中的一个或多个：
在将所述引导计划发送到所述无人机云之前验证所述引导计划，以及
在从所述无人机云接收到所述媒体时处理所述媒体，其中，处理所述媒体包括：在将所述媒体的部分发送到所述一个或多个媒体设备之前编辑所述媒体的部分。
13.如权利要求8所述的方法，其中，所述媒体包括图像和视频中的至少一个，使得所述媒体由耦合到所述无人机云中的所述多个无人机中的一个或多个无人机的一个或多个相机捕获。
14.如权利要求8所述的方法，其中，所述计算设备包括一个或多个处理器，所述处理器包括图形处理器，其中，所述图形处理器与应用处理器共同位于公共半导体封装上。
15.至少一种机器可读介质，包括多个指令，所述指令当在计算设备上执行时实现或执行如权利要求8-14中任一项所述的方法。
16.一种系统，包括用于实现或执行如权利要求8-14中任一项所述的方法的机构。
17.一种装置，包括用于执行如权利要求8-14中任一项所述的方法的模块。
18.一种计算设备，被布置为实现或执行如权利要求8-14中任一项所述的方法。
19.一种通信设备，被布置为实现或执行如权利要求8-14中任一项所述的方法。
CN201811158205.7A 2017-10-09 2018-09-30 用于视频捕获和创建的无人机云 Pending CN109658435A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/727,767 2017-10-09
US15/727,767 US20190107845A1 (en) 2017-10-09 2017-10-09 Drone clouds for video capture and creation

Publications (1)

Publication Number Publication Date
CN109658435A true CN109658435A (zh) 2019-04-19

Family

ID=63524094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811158205.7A Pending CN109658435A (zh) 2017-10-09 2018-09-30 用于视频捕获和创建的无人机云

Country Status (3)

Country Link
US (1) US20190107845A1 (zh)
EP (1) EP3468181A1 (zh)
CN (1) CN109658435A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673650A (zh) * 2019-11-21 2020-01-10 梅州市晟邦科技有限公司 无人机控制方法
CN112130588B (zh) * 2020-08-27 2022-03-01 东风汽车集团有限公司 一种搜寻目标人物的方法、车载终端及无人机
WO2022183367A1 (zh) * 2021-03-02 2022-09-09 深圳市大疆创新科技有限公司 一种用户终端、信息处理方法及信息处理系统

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10683088B2 (en) * 2016-05-27 2020-06-16 International Business Machines Corporation Unmanned aerial vehicle for crowd visual feedback
US11539712B2 (en) * 2018-03-29 2022-12-27 Snapwise Inc. Event verification engine
WO2019233595A1 (en) * 2018-06-08 2019-12-12 Telefonaktiebolaget Lm Ericsson (Publ) A method and system for media content production
US11090806B2 (en) * 2018-08-17 2021-08-17 Disney Enterprises, Inc. Synchronized robot orientation
JP7124624B2 (ja) * 2018-10-12 2022-08-24 トヨタ自動車株式会社 エンターテイメントシステムおよびプログラム
US11388326B2 (en) * 2019-01-18 2022-07-12 Justin Dion Cowell Camera collaboration configuration
US11074697B2 (en) 2019-04-16 2021-07-27 At&T Intellectual Property I, L.P. Selecting viewpoints for rendering in volumetric video presentations
US10970519B2 (en) 2019-04-16 2021-04-06 At&T Intellectual Property I, L.P. Validating objects in volumetric video presentations
US11153492B2 (en) 2019-04-16 2021-10-19 At&T Intellectual Property I, L.P. Selecting spectator viewpoints in volumetric video presentations of live events
US11012675B2 (en) * 2019-04-16 2021-05-18 At&T Intellectual Property I, L.P. Automatic selection of viewpoint characteristics and trajectories in volumetric video presentations
CN111832358A (zh) * 2019-04-19 2020-10-27 北京京东叁佰陆拾度电子商务有限公司 一种点云语义解析方法和装置
CN109992005B (zh) * 2019-05-10 2022-03-01 上海歌尔泰克机器人有限公司 无人机控制方法、装置、计算机可读存储介质及相关设备
WO2021026797A1 (en) * 2019-08-14 2021-02-18 Intel Corporation Automatic generation of 3d bounding boxes from multi-camera 2d image data
US11958183B2 (en) 2019-09-19 2024-04-16 The Research Foundation For The State University Of New York Negotiation-based human-robot collaboration via augmented reality
US11166050B2 (en) * 2019-12-11 2021-11-02 At&T Intellectual Property I, L.P. Methods, systems, and devices for identifying viewed action of a live event and adjusting a group of resources to augment presentation of the action of the live event
CN111123978B (zh) * 2019-12-26 2023-08-22 一飞智控(天津)科技有限公司 基于位置的集群无人机自动编号处理系统、方法、无人机
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
US11625037B2 (en) * 2020-02-13 2023-04-11 Honeywell International Inc. Methods and systems for searchlight control for aerial vehicles
US20210289194A1 (en) * 2020-03-12 2021-09-16 Amdocs Development Limited System, method, and computer program for generating volumetric video
US11460867B2 (en) * 2020-06-30 2022-10-04 Sony Group Corporation System of multi-swarm drone capturing
ES2890715B2 (es) * 2020-07-09 2024-02-07 Univ Nacional De Educacion A Distancia Uned Sistema para analizar una practica de actividad motora con participantes
US20220081125A1 (en) * 2020-09-17 2022-03-17 Laura Leigh Donovan Personal paparazzo drones
CN112631322B (zh) * 2020-11-19 2023-05-09 一飞(海南)科技有限公司 生成集群无人机表演动画的方法、系统、无人机及终端
US11617149B2 (en) * 2021-03-01 2023-03-28 Honeywell International Inc. Mobile application based commissioning of smart city devices
WO2022208143A1 (en) * 2021-03-30 2022-10-06 Sensetime International Pte. Ltd. Generating point cloud completion network and processing point cloud data
WO2022208142A1 (en) * 2021-03-30 2022-10-06 Sensetime International Pte. Ltd. Completing point cloud data and processing point cloud data
KR20220136884A (ko) * 2021-03-30 2022-10-11 센스타임 인터내셔널 피티이. 리미티드. 포인트 클라우드 완성 네트워크 생성 및 포인트 클라우드 데이터 처리
US11790776B1 (en) 2022-07-01 2023-10-17 State Farm Mutual Automobile Insurance Company Generating virtual reality (VR) alerts for challenging streets
CN117557929B (zh) * 2023-12-28 2024-04-05 国网山东省电力公司电力科学研究院 基于多应用场景的机组协同优化方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8060270B2 (en) * 2008-02-29 2011-11-15 The Boeing Company System and method for inspection of structures and objects by swarm of remote unmanned vehicles
US9643722B1 (en) * 2014-02-28 2017-05-09 Lucas J. Myslinski Drone device security system
EP3757709B1 (en) * 2014-06-13 2021-12-15 Twitter, Inc. Messaging-enabled unmanned aerial vehicle
US10162351B2 (en) * 2015-06-05 2018-12-25 At&T Intellectual Property I, L.P. Remote provisioning of a drone resource
US10694155B2 (en) * 2015-06-25 2020-06-23 Intel Corporation Personal sensory drones
AU2016331221B2 (en) * 2015-09-30 2020-02-27 Alarm.Com Incorporated Drone-augmented emergency response services
US11263461B2 (en) * 2015-10-05 2022-03-01 Pillar Vision, Inc. Systems and methods for monitoring objects at sporting events
US10600295B2 (en) * 2017-05-05 2020-03-24 Tg-17, Inc. System and method for threat monitoring, detection, and response

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110673650A (zh) * 2019-11-21 2020-01-10 梅州市晟邦科技有限公司 无人机控制方法
CN110673650B (zh) * 2019-11-21 2022-09-23 梅州市晟邦科技有限公司 无人机控制方法
CN112130588B (zh) * 2020-08-27 2022-03-01 东风汽车集团有限公司 一种搜寻目标人物的方法、车载终端及无人机
WO2022183367A1 (zh) * 2021-03-02 2022-09-09 深圳市大疆创新科技有限公司 一种用户终端、信息处理方法及信息处理系统

Also Published As

Publication number Publication date
EP3468181A1 (en) 2019-04-10
US20190107845A1 (en) 2019-04-11

Similar Documents

Publication Publication Date Title
CN109658435A (zh) 用于视频捕获和创建的无人机云
CN109074750B (zh) 对无人驾驶飞行器的飞行管理和控制
CN109840586A (zh) 自主机器中对有问题的传感器的基于深度学习的实时检测和校正
US10132633B2 (en) User controlled real object disappearance in a mixed reality display
US10366508B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
US10410328B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous device
CN107111361B (zh) 促进用于增强现实的动态非视觉标记的方法和装置
US9878209B2 (en) Facilitating dynamic monitoring of body dimensions over periods of time based on three-dimensional depth and disparity
CN110033783A (zh) 声学环境中的声学信号的基于上下文的消除和放大
CN107077548A (zh) 虚拟可穿戴物
US20180309955A1 (en) User interest-based enhancement of media quality
US10726630B1 (en) Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
Khan et al. Recent advances in vision-based indoor navigation: A systematic literature review
US20240104744A1 (en) Real-time multi-view detection of objects in multi-camera environments
US11516296B2 (en) Location-based application stream activation
CA3069813C (en) Capturing, connecting and using building interior data from mobile devices
US10846901B2 (en) Conversion of 2D diagrams to 3D rich immersive content
Huang et al. Intelligent video surveillance of tourist attractions based on virtual reality technology
US11546721B2 (en) Location-based application activation
Gunethilake Blind navigation using deep learning-based obstacle detection
US20240231096A9 (en) Electronic device and method for obtaining media corresponding to location by controlling camera based on location
US20240134195A1 (en) Electronic device and method for obtaining media corresponding to location by controlling camera based on location
JP2024515248A (ja) 拡張現実のためのパノプティック・セグメンテーション予測
KR20240055584A (ko) 위치에 기반하여 카메라를 제어하여 위치에 대응하는 미디어를 획득하기 위한 전자 장치 및 그 방법
Hou et al. Quadcopter localization and health monitoring method based on multiple virtual silhouette sensor integration

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination