CN109561282A - 一种用于呈现地面行动辅助信息的方法与设备 - Google Patents

Abstract

本申请的目的是提供一种用于呈现地面行动辅助信息的方法和设备，无人机控制设备获取关于无人机所在场景的无人机图像信息，并向对应的决策设备发送所述无人机图像信息；所述决策设备确定关于所述无人机图像信息的第一叠加信息，并向对应的地面用户设备发送所述第一叠加信息；所述地面用户设备获取所述无人机图像信息以及关于所述无人机图像信息的叠加呈现信息，并呈现地面行动辅助信息。本申请能够提高团队的行动效率。

Description

一种用于呈现地面行动辅助信息的方法与设备

技术领域

本申请涉及计算机领域，尤其涉及一种用于呈现地面行动辅助信息的技术。

背景技术

随着技术的发展，无人机逐渐得到广泛应用。一般而言，一组无人机设备包括无人机(本体)以及用于控制无人机的无人机控制设备。由于行动灵活，无人机经常被用于拍摄场景画面，通常由操作无人机控制设备的用户(或称为无人机“飞手”)根据无人机拍摄的场景画面(或称为“航拍画面”)向其他人员提供行动指引，例如飞手向其他人员描述周围环境、提供行动路线建议等。其中无人机飞手和其他人员可通过无线电等手段联络。

虽然无人机丰富了其他人员能够获得的信息，但是其他人员获得的信息仍具有较大的局限性，这就降低了其他人员做出决策的效率，进而降低了团队的行动效率。

发明内容

本申请的一个目的是提供一种用于呈现地面行动辅助信息的方法。

根据本申请的一个方面，提供了一种在地面用户设备端用于呈现地面行动辅助信息的方法，该方法包括：

获取对应的无人机控制设备所发送的无人机图像信息；

获取关于所述无人机图像信息的叠加呈现信息；

呈现地面行动辅助信息，其中所述地面行动辅助信息包括所述无人机图像信息以及所述叠加呈现信息。

根据本申请的另一个方面，提供了一种在决策设备端用于呈现地面行动辅助信息的方法，该方法包括：

获取对应的无人机控制设备所发送的无人机图像信息；

确定关于所述无人机图像信息的第一叠加信息；

向对应的地面用户设备发送所述第一叠加信息。

根据本申请的另一个方面，提供了一种在无人机控制设备端用于呈现地面行动辅助信息的方法，该方法包括：

获取关于无人机所在场景的无人机图像信息；

确定关于所述无人机图像信息的第二叠加信息；

向对应的决策设备发送所述第二叠加信息。

根据本申请的一个方面，提供了一种用于呈现地面行动辅助信息的方法，该方法包括：

无人机控制设备获取关于无人机所在场景的无人机图像信息，并向对应的决策设备发送所述无人机图像信息；

所述决策设备确定关于所述无人机图像信息的第一叠加信息，并向对应的地面用户设备发送所述第一叠加信息；

所述地面用户设备获取所述无人机图像信息以及关于所述无人机图像信息的叠加呈现信息，并呈现地面行动辅助信息，其中所述地面行动辅助信息包括所述无人机图像信息以及所述叠加呈现信息，所述叠加呈现信息包括所述第一叠加信息。

根据本申请的另一个方面，提供了一种在决策设备端用于呈现地面行动辅助信息的方法，该方法包括：

接收对应的无人机控制设备所发送的无人机图像信息；

根据决策用户的地图标注操作，确定所述地图标注操作所对应的地理位置信息；

向对应的地面用户设备发送所述地理位置信息。

根据本申请的另一个方面，提供了一种用于呈现地面行动辅助信息的方法，该方法包括：

无人机控制设备获取关于无人机所在场景的无人机图像信息，并向对应的决策设备发送所述无人机图像信息；

所述决策设备在接收到所述无人机图像信息后，根据决策用户的地图标注操作，确定所述地图标注操作所对应的地理位置信息，并向对应的地面用户设备发送所述地理位置信息；

所述地面用户设备接收所述地理位置信息，并基于所述地理位置信息呈现地面行动辅助信息。

根据本申请的一个方面，提供了一种用于呈现地面行动辅助信息的地面用户设备，该地面用户设备包括：

第一一模块，用于获取对应的无人机控制设备所发送的无人机图像信息；

第一二模块，用于获取关于所述无人机图像信息的叠加呈现信息；

第一三模块，用于呈现地面行动辅助信息，其中所述地面行动辅助信息包括所述无人机图像信息以及所述叠加呈现信息。

根据本申请的另一个方面，提供了一种用于呈现地面行动辅助信息的决策设备，该决策设备包括：

第二一模块，用于获取对应的无人机控制设备所发送的无人机图像信息；

第二二模块，用于确定关于所述无人机图像信息的第一叠加信息；

第二三模块，用于向对应的地面用户设备发送所述第一叠加信息。

根据本申请的另一个方面，提供了一种用于呈现地面行动辅助信息的无人机控制设备，该无人机控制设备包括：

第三一模块，用于获取关于无人机所在场景的无人机图像信息；

第三二模块，用于确定关于所述无人机图像信息的第二叠加信息；

第三三模块，用于向对应的决策设备发送所述第二叠加信息。

根据本申请的另一个方面，提供了一种用于呈现地面行动辅助信息的决策设备，该决策设备包括：

第二一模块，用于接收对应的无人机控制设备所发送的无人机图像信息；

第二二模块，用于根据决策用户的地图标注操作，确定所述地图标注操作所对应的地理位置信息；

第二三模块，用于向对应的地面用户设备发送所述地理位置信息。

根据本申请的一个方面，提供了一种用于呈现地面行动辅助信息的地面用户设备，该地面用户设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以上所述方法的操作。

根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统执行以上所述方法的操作。

与现有技术相比，本申请提供了无人机飞手、指挥人员和地面行动人员(例如警员)的协作方案。基于无人机所拍摄的静态图像、视频等图像信息，无人机飞手、指挥人员和地面行动人员能获得更丰富的信息以辅助沟通、协作与行动。在无人机飞手或指挥人员分别在无人机图像的基础上提供识别内容或者标注内容的情形下，无人机飞手、指挥人员和地面行动人员之间的协作将更为紧密，例如指挥人员能够获得无人机图像以及相应的叠加内容以供决策参考；在地面行动人员向指挥人员提供其第一视角的图像信息的情况下，指挥人员还可以得到地面行动人员第一视角的图像信息，以供决策参考，从而提高决策效率；而地面行动人员则能够获取多方的信息以供辅助地面行动，从而提高地面行动效率。特别地，在无人机飞手从指挥人员和/或地面行动人员获取信息时，无人机飞手也能获得更丰富的信息，从而大大加强各方的协作。总之，本申请能够提高团队的行动效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1示出根据本申请一个实施例的无人机、无人机控制设备、决策设备和地面用户设备之间进行协作以呈现地面行动辅助信息的系统拓扑；

图2示出根据本申请另一个实施例的无人机、无人机控制设备、决策设备和地面用户设备之间进行协作以呈现地面行动辅助信息的系统拓扑；

图3是根据本申请一个实施例的用于呈现地面行动辅助信息的方法的流程图；

图4是根据本申请一个实施例的在地面用户设备端用于呈现地面行动辅助信息的方法的流程图；

图5是根据本申请一个实施例的在决策设备端用于呈现地面行动辅助信息的方法的流程图；

图6是根据本申请一个实施例的在无人机控制设备端用于呈现地面行动辅助信息的方法的流程图；

图7是根据本申请另一个实施例的用于呈现地面行动辅助信息的方法的流程图；

图8是根据本申请另一个实施例的在决策设备端用于呈现地面行动辅助信息的方法的流程图；

图9示出根据本申请一个实施例的地面用户设备的功能模块；

图10示出根据本申请一个实施例的决策设备的功能模块；

图11示出根据本申请一个实施例的无人机控制设备的功能模块；

图12示出根据本申请另一个实施例的决策设备的功能模块；

图13示出根据本申请一个实施例的实例性系统的功能模块。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备。所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如Android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。

当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。

本申请所指的决策设备包括但不限于智能手机、平板电脑、个人电脑(包括但不限于台式计算机、笔记本计算机等)、智能眼镜或头盔等计算设备。为便于用户进行操作，在一些实施例中，所述决策设备还包括显示装置，用于向用户呈现和/或用于设置相关内容；其中，该显示装置在一些实施例中为触控屏幕，该触控屏幕不仅能用于输出图形画面，还可用作决策设备的输入装置以接收用户的操作指令(例如与前述增强现实内容互动的操作指令)。当然，本领域技术人员应能理解，决策设备的输入装置不仅限于触控屏幕，其他现有的输入技术如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，在一些实施例中，用于接收用户的操作指令的输入技术是基于语音控制、手势控制等实现的。

本申请所指的地面用户设备包括但不限于智能手机、平板电脑、智能眼镜或头盔等计算设备。在一些实施例中，该地面用户设备还包括用于采集图像信息的摄像装置，该摄像装置一般包括用于将光信号转换为电信号的感光元件，根据需要还可包含用于调整入射光线的传播路径的光线折/反射部件(例如镜头或镜头组件)。为便于用户进行操作，在一些实施例中，所述地面用户设备还包括显示装置，用于向用户呈现和/或用于设置增强现实内容，其中，在一些实施例中，该增强现实内容叠加呈现于目标装置上，而目标装置通过地面用户设备(例如透射式眼镜或具有显示屏幕的其他地面用户设备)呈现；其中，该显示装置在一些实施例中为触控屏幕，该触控屏幕不仅能用于输出图形画面，还可用作地面用户设备的输入装置以接收用户的操作指令(例如与前述增强现实内容互动的操作指令)。当然，本领域技术人员应能理解，地面用户设备的输入装置不仅限于触控屏幕，其他现有的输入技术如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，在一些实施例中，用于接收用户的操作指令的输入技术是基于语音控制、手势控制和/或眼球追踪实现的。

在本申请的一些实施例中，无人机控制设备、决策设备和地面用户设备之间通过有线或者无线方式进行通信，参考图1示出的系统拓扑；而在本申请的另一些实施例中，无人机控制设备、决策设备和地面用户设备之间经由一台或者多台网络设备进行通信，例如其中一台设备将信息发送至该网络设备，其他设备则向该网络设备发送用于获取该信息的请求，并由该网络设备向相应的设备发送该信息，参考图2示出的系统拓扑。经由网络设备的通讯方式可以实现多端的信息共享。例如在存在多个协作方的情况下，各协作参与方均可通过该网络设备获取相关信息。例如，由无人机所拍摄的无人机图像信息(例如视频信息)由无人机控制设备推流至所述网络设备，各参与方即可实时查看或者回调翻查相应的图像资料。

仍然参考图1或者图2示出的系统拓扑，无人机控制设备与无人机进行通讯以传输数据，以供无人机飞手控制无人机的飞行方向、姿态等，以及无人机向无人机控制设备发送数据(例如包括但不限于无人机自身状态、场景图像信息等一项或多项传感信息)。同时，无人机控制设备和其他人员的设备(例如地面用户设备或者决策设备)进行通讯，以供无人机控制设备向其他设备发送相关信息(例如包括无人机拍摄的场景画面，或者根据无人机飞手的操作确定的其他信息)，并由其他人员的设备呈现对应的信息，以辅助指挥人员了解现场状况和进行决策，或者辅助地面行动人员向目标移动。其中，无人机可搭载多种传感器，这些传感器用于感测无人机自身的方位、姿态等数据或者用于采集外部环境的相关信息。例如，无人机基于GPS传感器、实时动态(Real-Time Kinematic,RTK)模块、、激光测距仪、气压传感器、陀螺仪、电子罗盘等采集自身的角速率、姿态、位置、加速度、高度、空速、距离等信息，并基于图像传感器拍摄场景画面，该场景画面可传输至无人机控制设备。在一些情形下，可在无人机上设置云台以安装相机，以隔离无人机姿态变化、机体震动和外界风阻力矩等外部扰动对拍摄工作带来的不利影响，保证机载相机的视轴稳定。

参考图3，根据本申请的一个方面，提供了一种用于呈现地面行动辅助信息的方法，其中，该方法包括：

无人机控制设备获取关于无人机所在场景的无人机图像信息，并向对应的决策设备发送所述无人机图像信息；

所述决策设备在接收到所述无人机图像信息后，根据决策用户的地图标注操作，确定所述地图标注操作所对应的地理位置信息，并向对应的地面用户设备发送所述地理位置信息；

所述地面用户设备接收所述地理位置信息，并基于所述地理位置信息呈现地面行动辅助信息。

以下将分别从地面用户设备、决策设备和无人机控制设备三个角度，对本申请的具体实施方式进行详细描述。

根据本申请的一个方面，提供了一种在地面用户设备端用于呈现地面行动辅助信息的方法。参考图4，该方法包括步骤S11、步骤S12和步骤S13。

在步骤S11中，地面用户设备获取对应的无人机控制设备所发送的无人机图像信息。在一些实施例中，所述无人机图像信息包括但不限于静态图像信息和动态图像信息(例如视频)，而地面用户设备获取该无人机图像信息的途径，包括但不限于：

1)地面用户设备与无人机控制设备直接通信，例如通过有线方式(例如基于通信线缆)或者无线方式(例如基于移动数据、无线网络连接等)实现信号传输，其中通信各方包括但不限于位于同一局域网中、或者位于广域网中不同的局域网中；

2)地面用户设备向对应的网络设备(例如云端服务器)请求该无人机图像，例如该无人机图像在此之前已由无人机控制设备发送至所述网络设备；

3)地面用户设备与对应的其他设备(例如决策设备)进行通信并接收该无人机图像，而该无人机图像在此之前已由无人机控制设备发送至所述其他设备。

在步骤S12中，地面用户设备获取关于所述无人机图像信息的叠加呈现信息。在一些实施例中，所述叠加呈现信息包括但不限于其他设备(例如无人机控制设备或者对应的决策设备)所发送的用于叠加呈现于所述无人机图像信息上的信息，例如用于叠加的信息包括其他设备响应于对应用户的相关操作而生成的标注信息，或者用于叠加的信息包括其他设备根据所述无人机图像进行目标识别操作而获得的目标识别结果或用于跟踪目标在画面中的位置的、静态或者动态的目标跟踪信息。其中，所述目标跟踪信息可以通过包括但不限于目标周围高亮的轮廓线、方框、色条、色点、箭头、图片/视频、动画、三维模型等形式呈现，用于对识别出的目标进行静态的或动态的跟踪，以标注被识别的目标。

在步骤S13中，地面用户设备呈现地面行动辅助信息，其中所述地面行动辅助信息包括所述无人机图像信息以及所述叠加呈现信息，例如所述叠加呈现信息被叠加在所述无人机图像信息上。

其中，以上所述的地面用户设备可以是智能眼镜/头盔等头戴式智能设备，或者移动电话、平板电脑、导航设备(例如手持的或者固定在交通工具上的计算设备)；在一些情形下，以上所述的地面用户设备可用于捕获地面人员的第一视角视频、与其他用户的互动信息、负责指挥地面行动的指挥平台所发送的指挥调度信息等。在一些实施例中，相关信息(例如所述叠加呈现信息)在地面用户设备的显示装置上的固定区域(例如矩形区域，或者整个可显示区域)中呈现；在另一些实施例中，相关信息以增强现实的方式呈现，例如基于透射式眼镜的投射装置呈现，从而在现实世界的相关区域叠加虚拟信息，以实现虚实结合的体验。本领域技术人员应能理解，以上所述的地面用户设备仅为举例，其他现有的或者今后可能出现的地面用户设备如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。

在一些实施例中，所述叠加呈现信息的全部或其中一部分是由对应的决策设备(例如对应于地面行动的指挥中心，供指挥人员获取所需信息并协助决策)发送的。在步骤S12中，地面用户设备接收对应的决策设备所发送的第一叠加信息，以获取关于所述无人机图像信息的叠加呈现信息，其中所述叠加呈现信息包括所述第一叠加信息，从而指挥中心能够向地面人员提供补充信息或者发送行动指引、调度指令等，以提高协作效率。当然，除了指挥中心能够向地面行动人员提供信息以供叠加之外，无人机飞手也可向地面行动人员提供信息，以弥补地面人员视野和信息来源的不足。在一些实施例中，地面用户设备接收对应的决策设备所发送的第一叠加信息，以及对应的无人机控制设备所发送的第二叠加信息，以获取关于所述无人机图像信息的叠加呈现信息，其中所述叠加呈现信息包括所述第一叠加信息以及所述第二叠加信息。例如，用于叠加的信息包括其他设备响应于对应用户的相关操作而生成的标注信息，或者用于叠加的信息包括其他设备根据所述无人机图像进行目标识别操作而获得的目标识别结果或用于跟踪目标在画面中的位置的目标跟踪信息。

此外，标注信息除了根据用户的标注操作确定之外，在一些实施例中也可由无人机控制设备自行计算添加，例如无人机控制设备根据无人机所拍摄的图像确定周边地标信息。例如，无人机安装了各种机载传感器，包括GPS传感器、实时动态(Real-TimeKinematic,RTK)模块、激光测距仪、气压计、陀螺仪、指南针以及地磁感应等，可以采集角速率、姿态、位置(经纬度)、加速度、高度和空速、距离等信息；无人机控制设备获取无人机的经纬度数据，然后向地理信息系统(Geographic Information System,GIS)发出请求，GIS根据接收到无人机经纬度数据返回周边的建筑地标。结合无人机的高度、指南针和三轴云台等数据，无人机控制设备把周边的建筑地标叠加到当前无人机拍摄的图像中，以供相关人员(例如指挥人员或者地面行动人员)了解无人机所拍摄目标周边的地理信息。

其中，在一些实施例中，所述无人机图像信息和所述叠加呈现信息中的至少一个，是经由对应的网络设备(例如云端服务器)获取的，例如相关设备将所述无人机图像信息推流至所述网络设备，或者相关设备将所述叠加呈现信息发送至所述网络设备，以便各参与方实时查看或者回调翻查相应的图像资料，以及获取所述叠加呈现信息，实现信息的多方共享，从而提高系统的带宽利用率并提高各方协作效率。

在一些实施例中，所述叠加呈现信息包括叠加元素及其呈现位置信息；相应地，在步骤S13中，地面用户设备基于所述叠加元素及其呈现位置信息，呈现地面行动辅助信息，其中所述地面行动辅助信息包括所述无人机图像信息以及所述叠加呈现信息。其中，所述叠加元素包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等。例如，所述无人机图像信息为视频。在忽略网络延迟的前提下，无人机控制设备或者决策设备向其他设备发送该视频以及上述叠加呈现信息(包括叠加元素及其呈现位置信息)后，其他设备呈现该视频，并基于叠加元素的呈现位置信息呈现该叠加元素，从而在其他设备端实现对叠加内容的实时呈现，以便相关用户基于该叠加内容快速反应，以提升各方的协作效率。在一些情形下，例如包括但不限于而在网络延迟无法忽略的情形和需要回调翻查视频及叠加呈现信息的情形，所述叠加呈现信息还包括所述叠加元素所对应的时间轴位置信息，该时间轴位置信息用于确定该叠加元素所精确对应的视频帧(例如，通过确定相关视频帧在时间轴上的位置)，并在该视频帧上叠加该叠加元素，从而避免因叠加元素叠加于不对应的视频帧而造成的叠加错位。

上述叠加元素的呈现位置除了由用户指定之外，也可由无人机控制设备自行添加或更新。在一些实施例中，上述叠加呈现信息通过即时定位与地图构建(SimultaneousLocalization and Mapping,SLAM)算法或二维跟踪算法对相关目标进行跟踪而获得，从而在画面发生变化时叠加元素仍然实时地叠加呈现在对应目标的位置。例如，当飞手添加目标区域的标注时，将目标区域输入SLAM算法，以进行SLAM初始化；随着无人机缓慢移动，借助SLAM算法获得目标区域的空间位置关系；当无人机拍摄画面发生改变后，标注信息仍然可以正确叠加在画面中的目标区域上。

在一些实施例中，为使各方充分交流和协作，上述叠加呈现信息除了可由无人机控制设备或者决策设备添加之外，也可由地面用户设备添加。例如，地面用户以图像标注的形式添加叠加呈现信息；在步骤S12中，地面用户设备基于地面用户的图像标注操作，确定关于所述无人机图像信息的第三叠加信息(例如包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等)，以获取关于所述无人机图像信息的叠加呈现信息，其中所述叠加呈现信息包括所述第三叠加信息。另外，在无人机拍摄的图像上，地面用户还可以选中需要其他设备(例如决策设备或者无人机控制设备)端用户重点关注的目标并添加相应的标注信息，或者在画面中选中需要其他设备进行识别的目标所在的区域；其他设备对上述目标或者目标所在的区域进行识别或跟踪，并将识别或跟踪的结果发送给地面用户设备，以供地面用户设备呈现。又例如，地面用户设备进行图像识别后添加叠加呈现信息；在步骤S12中，地面用户设备对所述无人机图像信息执行目标识别操作，并基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第三叠加信息(例如包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等)，以获取关于所述无人机图像信息的叠加呈现信息，其中所述叠加呈现信息包括所述第三叠加信息。在一些实施例中，上述方法还包括步骤S14(未示出)。在步骤S14中，地面用户设备将所述第三叠加信息发送至对应的无人机控制设备以及对应的决策设备中的至少一个，例如地面用户设备将所述第三叠加信息发送至对应的无人机控制设备或者对应的决策设备，或者地面用户设备将所述第三叠加信息同时发送至对应的无人机控制设备以及决策设备。

为了进一步提高协作效率，地面人员也可向其他协作参与方提供地面信息以供参考。在一些实施例中，上述方法还包括步骤S15(未示出)。在步骤S15中，地面用户设备获取地面图像信息，并将所述地面图像信息发送至对应的无人机控制设备以及对应的决策设备中的至少一个。其中，所述地面图像信息包括但不限于静态图像信息(例如静态图片)和动态图像信息(例如视频)。

其中，在一些实施例中，在步骤S15中，地面用户设备首先获取地面图像信息，并对所述地面图像信息执行目标识别操作以获取对应的地面目标跟踪信息；随后，地面用户设备将所述地面图像信息以及第四叠加信息发送至对应的无人机控制设备以及对应的决策设备中的至少一个，其中所述第四叠加信息包括所述地面目标跟踪信息。上述第四叠加信息可用于“锁定”已经被识别的地面目标(包括但不限于人员、车辆、建筑物)。

在一些实施例中，上述第四叠加信息亦可用于供地面人员添加标注，例如选中需要其他设备(例如决策设备或者无人机控制设备)端用户重点关注的目标，或者在画面中选中需要其他设备进行识别的目标所在的区域，其他设备进行识别或跟踪，结果发送给地面用户设备呈现。在步骤S15中，地面用户设备首先获取地面图像信息，并基于地面用户的图像标注操作确定关于所述地面图像信息的第四叠加信息；随后，地面用户设备将所述地面图像信息以及所述第四叠加信息发送至对应的无人机控制设备以及对应的决策设备中的至少一个。

在一些情形下，无人机所拍摄画面的视角大小会影响画面所覆盖内容的多少。若图像上关键位置较远或尺寸较小，则该相应的细节就不能充分呈现，从而影响地面人员的判断；若图像所覆盖的范围太小而不能提供足够多的场景信息，同样也会影响地面人员的判断。一般而言，在地面用户设备获得无人机图像后，为了获得关键位置的更多信息或者为了查看更多的场景信息，地面用户会对图像进行缩放处理，但是对于通过固定参数的无人机机载摄像装置所拍摄得到的画面而言，单纯地对图像进行放大会造成图像不清晰，而查看更多的场景信息更无法实现。此外，地面人员还可能需要对无人机所拍摄的画面进行其他调整，例如调整白平衡或者调整分辨率。

为了使地面人员能够放大无人机所拍摄图像的局部以进一步辨认相关细节，或者扩大无人机所拍摄图像所覆盖的场景范围，在一些实施例中，上述方法还包括步骤S16(未示出)。在步骤S16中，地面用户设备根据地面用户的、关于所述无人机控制设备所对应无人机的硬件参数调整操作，生成关于所述无人机的机载摄像装置的硬件参数调整指令，并将所述硬件参数调整指令发送至所述无人机控制设备，以供所述无人机控制设备根据该硬件参数调整指令调整无人机的机载摄像装置的硬件参数。其中，所述硬件参数包括但不限于焦距、对焦参数、光圈值、感光度、曝光补偿、白平衡、图像分辨率、视频码率，并且本领域技术人员应能理解，这些硬件参数仅为举例，其他现有的或者今后可能出现的硬件参数如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。

根据本申请的另一个方面，提供了一种在决策设备端用于呈现地面行动辅助信息的方法。参考图5，该方法包括步骤S21、步骤S22和步骤S23。

在步骤S21中，决策设备获取对应的无人机控制设备所发送的无人机图像信息。在一些实施例中，所述无人机图像信息包括但不限于静态图像信息和动态图像信息(例如视频)，而决策设备获取该无人机图像信息的途径，包括但不限于：

1)决策设备与无人机控制设备直接通信，例如通过有线方式(例如基于通信线缆)或者无线方式(例如基于移动数据、无线网络连接等)实现信号传输，其中通信各方包括但不限于位于同一局域网中、或者位于广域网中不同的局域网中；

2)决策设备向对应的网络设备(例如云端服务器)请求该无人机图像，例如该无人机图像在此之前已由无人机控制设备发送至所述网络设备；

3)决策设备与对应的其他设备(例如地面用户设备)进行通信并接收该无人机图像，而该无人机图像在此之前已由无人机控制设备发送至所述其他设备。

在步骤S22中，决策设备确定关于所述无人机图像信息的第一叠加信息。在一些实施例中，所述第一叠加信息用于供对应的地面用户设备叠加呈现以协助地面人员行动。例如，决策设备对应于协作抓捕行动中的指挥中心并由指挥人员操作；而地面用户设备对应于协作抓捕行动中由警员佩戴的移动智能设备，该移动智能设备包括但不限于移动电话、平板电脑、智能眼镜/头盔。其中，所述第一叠加信息包括但不限于用于叠加呈现于所述无人机图像信息上的信息，例如第一叠加信息包括决策设备响应于指挥人员的相关操作而生成的标注信息，或者第一叠加信息包括决策设备根据所述无人机图像进行目标识别操作而获得的目标识别结果或用于跟踪目标在画面中的位置的目标跟踪信息。

在步骤S23中，决策设备向对应的地面用户设备发送所述第一叠加信息。其中，所述第一叠加信息的发送方式包括但不限于：

1)通过有线方式(例如基于通信线缆)或者无线方式(例如基于移动数据、无线网络连接等)实现，其中通信各方包括但不限于位于同一局域网中、或者位于广域网中不同的局域网中；或者

2)向对应的网络设备(例如云端服务器)发送该第一叠加信息，而其他设备向网络设备请求该第一叠加信息即可获得该第一叠加信息。

在一些实施例中，上述第一叠加信息基于决策用户(例如协作抓捕行动中的指挥人员)的标注操作而确定。其中，在步骤S22中，决策设备基于决策用户的第一标注操作，确定关于所述无人机图像信息的第一叠加信息，例如包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等。

上述第一叠加信息除了基于决策用户的标注操作而确定之外，亦可基于决策设备对无人机图像信息的目标识别操作而确定。在一些实施例中，决策设备对所述无人机图像信息执行目标识别操作，并基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第一叠加信息。

其中，本申请中所述的目标识别操作用于识别特定的物体(固定或不固定，例如该物体为建筑物或者交通工具)或者人物。在一个具体实施例中，该目标识别操作基于深度学习算法实现，首先准备训练集(例如穿着不同颜色衣服的行人的图像)和对应标签(例如行人在图像中的位置)；接着训练深度学习模型，并根据训练集不断迭代该模型的参数直至模型收敛；最后将相应的图像输入训练好的深度学习模型，即可得到具有特定衣服颜色的行人在画面中的位置，从而目标识别操作完成。

其中，上述由决策设备进行的目标识别操作可由决策设备主动执行，也可在无人机控制设备首先已经对无人机图像信息执行目标识别操作、但是识别效果不理想(例如识别失败)的情况下，再由决策设备对无人机图像信息执行补充的目标识别操作，以最大化地利用各方的计算资源，并避免遗漏目标。相应地，在步骤S22中，决策设备获取对应的无人机控制设备所发送的目标识别结果信息；若所述目标识别结果信息包括识别失败，对所述无人机图像信息执行目标识别操作，并基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第一叠加信息。

在一些实施例中，所述无人机图像信息是经由对应的网络设备(例如云端服务器)获取的。

在一些实施例中，上述方法还包括步骤S24(未示出)。在步骤S24中，决策设备接收并呈现所述地面用户设备所发送的关于所述无人机图像信息的第三叠加信息，例如所述第三叠加信息包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等，用于在所述无人机图像信息的基础上突出相应的部分或者提供额外的信息。

为了进一步提高协作效率，地面人员也可向其他协作参与方提供地面信息以供参考。在一些实施例中，上述方法还包括步骤S25(未示出)。在步骤S25中，决策设备接收并呈现所述地面用户设备所发送的地面图像信息。在此基础上，决策设备还可根据地面用户设备所发送的数据叠加呈现相应信息，从而向决策用户(例如指挥人员)提供更详尽的信息。在一些实施例中，上述方法还包括步骤S26(未示出)。在步骤S26中，决策设备接收并呈现所述地面用户设备所发送的地面图像信息以及关于所述地面图像信息的第四叠加信息。

与以上有关地面用户设备部分的描述相类似，为了使决策人员能够放大无人机所拍摄图像的局部以进一步辨认相关细节，或者扩大无人机所拍摄图像所覆盖的场景范围，在一些实施例中，上述方法还包括步骤S27(未示出)。在步骤S27中，决策设备根据决策用户(例如指挥人员)的、关于所述无人机控制设备所对应无人机的硬件参数调整操作，生成关于所述无人机的机载摄像装置的硬件参数调整指令，并将所述硬件参数调整指令发送至所述无人机控制设备，以供所述无人机控制设备根据该硬件参数调整指令调整无人机的机载摄像装置的硬件参数。其中，所述硬件参数包括但不限于焦距、对焦参数、光圈值、感光度、曝光补偿、白平衡、图像分辨率、视频码率，并且本领域技术人员应能理解，这些硬件参数仅为举例，其他现有的或者今后可能出现的硬件参数如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。

根据本申请的另一个方面，提供了一种在无人机控制设备端用于呈现地面行动辅助信息的方法。参考图6，该方法包括步骤S31、步骤S32和步骤S33。在步骤S31中，无人机控制设备获取关于无人机所在场景的无人机图像信息；在步骤S32中，无人机控制设备确定关于所述无人机图像信息的第二叠加信息；在步骤S33中，无人机控制设备向对应的决策设备发送所述无人机图像信息以及所述第二叠加信息。

在一些实施例中，用于供其他设备叠加的信息包括无人机控制设备设备响应于无人机用户的相关操作而生成的标注信息，或者用于供其他设备叠加的信息包括无人机控制设备根据所述无人机图像进行目标识别操作而获得的目标识别结果或用于跟踪目标在画面中的位置的目标跟踪信息。在一些实施例中，在步骤S32中，无人机控制设备对所述无人机图像信息执行目标识别操作，并基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第二叠加信息。

在一些实施例中，无人机控制设备首先已经对无人机图像信息执行目标识别操作、但是识别效果不理想(例如识别失败)的情况下，再由决策设备对无人机图像信息执行补充的目标识别操作，以最大化地利用各方的计算资源，并避免遗漏目标。在步骤S32中，无人机控制设备对所述无人机图像信息执行目标识别操作，以获取对应的无人机控制设备所发送的目标识别结果信息；若所述目标识别结果信息包括识别成功，基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第二叠加信息。相应地，在步骤S33中，无人机控制设备若所述目标识别结果信息包括识别成功，则向对应的决策设备发送所述第二叠加信息，否则向所述决策设备发送所述目标识别结果信息。

为使各方充分交流和协作，上述叠加呈现信息除了可由无人机控制设备或者决策设备添加之外，也可由地面用户设备添加。例如，地面用户以图像标注的形式添加叠加呈现信息。在一些实施例中，上述方法还包括步骤S34(未示出)。在步骤S34中，无人机控制设备接收并呈现所述地面用户设备所发送的关于所述无人机图像信息的第三叠加信息，例如所述第三叠加信息包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等。

为了进一步提高协作效率，地面人员也可向其他协作参与方提供地面信息以供参考。在一些实施例中，上述方法还包括步骤S35(未示出)。在步骤S35中，无人机控制设备接收并呈现所述地面用户设备所发送的地面图像信息。在此基础上，无人机控制设备还可根据地面用户设备所发送的数据叠加呈现相应信息，从而向无人机用户提供更详尽的信息。在一些实施例中，上述方法还包括步骤S36(未示出)。在步骤S36中，无人机控制设备接收并呈现所述地面用户设备所发送的地面图像信息以及关于所述地面图像信息的第四叠加信息。

与以上有关地面用户设备部分的描述相类似，为了使无人机用户能够放大无人机所拍摄图像的局部以进一步辨认相关细节，或者扩大无人机所拍摄图像所覆盖的场景范围，在一些实施例中，上述方法还包括步骤S37(未示出)。在步骤S37中，无人机控制设备接收所述决策设备以及所述地面用户设备中的至少一个所发送的硬件参数调整指令，并基于所述硬件参数调整指令调整所述无人机的机载摄像装置的硬件参数。其中，所述硬件参数包括但不限于焦距、对焦参数、光圈值、感光度、曝光补偿、白平衡、图像分辨率、视频码率，并且本领域技术人员应能理解，这些硬件参数仅为举例，其他现有的或者今后可能出现的硬件参数如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。

在一些情形下，在决策人员、无人机“飞手”、地面行动人员协作行动时，地面行动人员无需获取无人机所拍摄的图像信息，亦可根据决策人员提供的行动指引，向目标地点移动；此时，决策人员根据无人机所拍摄的视频判断现场状况，结合电子地图即可确定目标地点的地理位置信息，并将该地理位置信息发送至地面行动人员以指引地面行动人员行动。以这种方式，决策人员、无人机“飞手”、地面行动人员能够协作行动，且地面行动人员无需获取无人机所拍摄的图像信息，因此地面用户设备无需满足高带宽的需求，实时性也较强。

基于此，根据本申请的另一个方面，提供了一种用于呈现地面行动辅助信息的方法。参考图7，该方法包括：

无人机控制设备获取关于无人机所在场景的无人机图像信息，并向对应的决策设备发送所述无人机图像信息；

所述决策设备在接收到所述无人机图像信息后，根据决策用户的地图标注操作，确定所述地图标注操作所对应的地理位置信息，并向对应的地面用户设备发送所述地理位置信息；

所述地面用户设备接收所述地理位置信息，并基于所述地理位置信息呈现地面行动辅助信息。

根据本申请的另一个方面，提供了一种在决策设备端用于呈现地面行动辅助信息的方法。参考图8，该方法包括步骤S21’、步骤S22’和步骤S23’。

在步骤S21’中，决策设备接收对应的无人机控制设备所发送的无人机图像信息，具体实现方式与以上所述的决策设备接收对应的无人机控制设备所发送的无人机图像信息的方式相同或基本相同，不再赘述，并以引用的方式包含于此。

在步骤S22’中，决策设备根据决策用户的地图标注操作，确定所述地图标注操作所对应的地理位置信息。例如，决策方(例如指挥人员)在指挥中心的显示屏幕上将无人机图像信息所对应的电子地图缩放至与该无人机图像信息相同或相近的尺度，或者将该电子地图旋转至与拍摄该无人机图像信息的无人机的视角相同或者相近；决策设备检测决策方用户的地图标注操作(例如上述显示屏幕是触敏屏幕，而指挥人员在该触敏屏幕上进行点击、拖动、圈定等地图标注操作；或者，指挥人员通过其他输入设备——例如鼠标等指针设备——进行地图标注操作)，并根据决策方用户的地图标注操作以及电子地图信息确定相应标注位置或标注区域的地理位置信息，例如当前电子地图上多个位置所对应的地理位置信息(例如经纬度信息)已经确定，因此决策设备能够基于用户的地图标注操作，确定标注位置或标注区域的地理位置信息(例如经纬度信息)。

在步骤S23’中，决策设备向对应的地面用户设备发送所述地理位置信息，以供所述地面用户设备呈现对应的地面行动辅助信息，例如该地面行动辅助信息包含由地面用户设备当前位置到达上述地理位置信息所对应位置的导航信息。

根据本申请的一个方面，还提供了一种用于呈现地面行动辅助信息的地面用户设备。参考图9，该地面用户设备包括第一一模块11、第一二模块12和第一三模块13。

第一一模块11获取对应的无人机控制设备所发送的无人机图像信息。在一些实施例中，所述无人机图像信息包括但不限于静态图像信息和动态图像信息(例如视频)，而地面用户设备获取该无人机图像信息的途径，包括但不限于：

1)地面用户设备与无人机控制设备直接通信，例如通过有线方式(例如基于通信线缆)或者无线方式(例如基于移动数据、无线网络连接等)实现信号传输，其中通信各方包括但不限于位于同一局域网中、或者位于广域网中不同的局域网中；

2)地面用户设备向对应的网络设备(例如云端服务器)请求该无人机图像，例如该无人机图像在此之前已由无人机控制设备发送至所述网络设备；

3)地面用户设备与对应的其他设备(例如决策设备)进行通信并接收该无人机图像，而该无人机图像在此之前已由无人机控制设备发送至所述其他设备。

第一二模块12获取关于所述无人机图像信息的叠加呈现信息。在一些实施例中，所述叠加呈现信息包括但不限于其他设备(例如无人机控制设备或者对应的决策设备)所发送的用于叠加呈现于所述无人机图像信息上的信息，例如用于叠加的信息包括其他设备响应于对应用户的相关操作而生成的标注信息，或者用于叠加的信息包括其他设备根据所述无人机图像进行目标识别操作而获得的目标识别结果或用于跟踪目标在画面中的位置的、静态或者动态的目标跟踪信息。其中，所述目标跟踪信息可以通过包括但不限于目标周围高亮的轮廓线、方框、色条、色点、箭头、图片/视频、动画、三维模型等形式呈现，用于对识别出的目标进行静态的或动态的跟踪，以标注被识别的目标。

第一三模块13呈现地面行动辅助信息，其中所述地面行动辅助信息包括所述无人机图像信息以及所述叠加呈现信息，例如所述叠加呈现信息被叠加在所述无人机图像信息上。

其中，以上所述的地面用户设备可以是智能眼镜/头盔等头戴式智能设备，或者移动电话、平板电脑、导航设备(例如手持的或者固定在交通工具上的计算设备)；在一些情形下，以上所述的地面用户设备可用于捕获地面人员的第一视角视频、与其他用户的互动信息、负责指挥地面行动的指挥平台所发送的指挥调度信息等。在一些实施例中，相关信息(例如所述叠加呈现信息)在地面用户设备的显示装置上的固定区域(例如矩形区域，或者整个可显示区域)中呈现；在另一些实施例中，相关信息以增强现实的方式呈现，例如基于透射式眼镜的投射装置呈现，从而在现实世界的相关区域叠加虚拟信息，以实现虚实结合的体验。本领域技术人员应能理解，以上所述的地面用户设备仅为举例，其他现有的或者今后可能出现的地面用户设备如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。

在一些实施例中，所述叠加呈现信息的全部或其中一部分是由对应的决策设备(例如对应于地面行动的指挥中心，供指挥人员获取所需信息并协助决策)发送的。第一二模块12接收对应的决策设备所发送的第一叠加信息，以获取关于所述无人机图像信息的叠加呈现信息，其中所述叠加呈现信息包括所述第一叠加信息，从而指挥中心能够向地面人员提供补充信息或者发送行动指引、调度指令等，以提高协作效率。当然，除了指挥中心能够向地面行动人员提供信息以供叠加之外，无人机飞手也可向地面行动人员提供信息，以弥补地面人员视野和信息来源的不足。在一些实施例中，地面用户设备接收对应的决策设备所发送的第一叠加信息，以及对应的无人机控制设备所发送的第二叠加信息，以获取关于所述无人机图像信息的叠加呈现信息，其中所述叠加呈现信息包括所述第一叠加信息以及所述第二叠加信息。例如，用于叠加的信息包括其他设备响应于对应用户的相关操作而生成的标注信息，或者用于叠加的信息包括其他设备根据所述无人机图像进行目标识别操作而获得的目标识别结果或用于跟踪目标在画面中的位置的目标跟踪信息。

此外，标注信息除了根据用户的标注操作确定之外，在一些实施例中也可由无人机控制设备自行计算添加，例如无人机控制设备根据无人机所拍摄的图像确定周边地标信息。例如，无人机安装了各种机载传感器，包括GPS传感器、实时动态(Real-TimeKinematic,RTK)模块、气压计、陀螺仪、指南针以及地磁感应等，可以采集角速率、姿态、位置(经纬度)、加速度、高度和空速、距离等信息；无人机控制设备获取无人机的经纬度数据，然后向地理信息系统(Geographic Information System,GIS)发出请求，GIS根据接收到无人机经纬度数据返回周边的建筑地标。结合无人机的高度、指南针和三轴云台等数据，无人机控制设备把周边的建筑地标叠加到当前无人机拍摄的图像中，以供相关人员(例如指挥人员或者地面行动人员)了解无人机所拍摄目标周边的地理信息。

其中，在一些实施例中，所述无人机图像信息和所述叠加呈现信息中的至少一个，是经由对应的网络设备(例如云端服务器)获取的，例如相关设备将所述无人机图像信息推流至所述网络设备，或者相关设备将所述叠加呈现信息发送至所述网络设备，以便各参与方实时查看或者回调翻查相应的图像资料，以及获取所述叠加呈现信息，实现信息的多方共享，从而提高系统的带宽利用率并提高各方协作效率。

在一些实施例中，所述叠加呈现信息包括叠加元素及其呈现位置信息；相应地，第一三模块13基于所述叠加元素及其呈现位置信息，呈现地面行动辅助信息，其中所述地面行动辅助信息包括所述无人机图像信息以及所述叠加呈现信息。其中，所述叠加元素包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等。例如，所述无人机图像信息为视频。在忽略网络延迟的前提下，无人机控制设备或者决策设备向其他设备发送该视频以及上述叠加呈现信息(包括叠加元素及其呈现位置信息)后，其他设备呈现该视频，并基于叠加元素的呈现位置信息呈现该叠加元素，从而在其他设备端实现对叠加内容的实时呈现，以便相关用户基于该叠加内容快速反应，以提升各方的协作效率。在一些情形下，例如包括但不限于而在网络延迟无法忽略的情形和需要回调翻查视频及叠加呈现信息的情形，所述叠加呈现信息还包括所述叠加元素所对应的时间轴位置信息，该时间轴位置信息用于确定该叠加元素所精确对应的视频帧(例如，通过确定相关视频帧在时间轴上的位置)，并在该视频帧上叠加该叠加元素，从而避免因叠加元素叠加于不对应的视频帧而造成的叠加错位。

上述叠加元素的呈现位置除了由用户指定之外，也可由无人机控制设备自行添加或更新。在一些实施例中，上述叠加呈现信息通过即时定位与地图构建(SimultaneousLocalization and Mapping,SLAM)算法或二维跟踪算法对相关目标进行跟踪而获得，从而在画面发生变化时叠加元素仍然实时地叠加呈现在对应目标的位置。例如，当飞手添加目标区域的标注时，将目标区域输入SLAM算法，以进行SLAM初始化；随着无人机缓慢移动，借助SLAM算法获得目标区域的空间位置关系；当无人机拍摄画面发生改变后，标注信息仍然可以正确叠加在画面中的目标区域上。

在一些实施例中，为使各方充分交流和协作，上述叠加呈现信息除了可由无人机控制设备或者决策设备添加之外，也可由地面用户设备添加。例如，地面用户以图像标注的形式添加叠加呈现信息；第一二模块12基于地面用户的图像标注操作，确定关于所述无人机图像信息的第三叠加信息(例如包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等)，以获取关于所述无人机图像信息的叠加呈现信息，其中所述叠加呈现信息包括所述第三叠加信息。另外，在无人机拍摄的图像上，地面用户还可以选中需要其他设备(例如决策设备或者无人机控制设备)端用户重点关注的目标并添加相应的标注信息，或者在画面中选中需要其他设备进行识别的目标所在的区域；其他设备对上述目标或者目标所在的区域进行识别或跟踪，并将识别或跟踪的结果发送给地面用户设备，以供地面用户设备呈现。又例如，地面用户设备进行图像识别后添加叠加呈现信息；第一二模块12对所述无人机图像信息执行目标识别操作，并基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第三叠加信息(例如包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等)，以获取关于所述无人机图像信息的叠加呈现信息，其中所述叠加呈现信息包括所述第三叠加信息。在一些实施例中，上述地面用户设备还包括第一四模块14(未示出)。第一四模块14将所述第三叠加信息发送至对应的无人机控制设备以及对应的决策设备中的至少一个，例如地面用户设备将所述第三叠加信息发送至对应的无人机控制设备或者对应的决策设备，或者地面用户设备将所述第三叠加信息同时发送至对应的无人机控制设备以及决策设备。

为了进一步提高协作效率，地面人员也可向其他协作参与方提供地面信息以供参考。在一些实施例中，上述地面用户设备还包括第一五模块15(未示出)。第一五模块15获取地面图像信息，并将所述地面图像信息发送至对应的无人机控制设备以及对应的决策设备中的至少一个。其中，所述地面图像信息包括但不限于静态图像信息(例如静态图片)和动态图像信息(例如视频)。

其中，在一些实施例中，第一五模块15首先获取地面图像信息，并对所述地面图像信息执行目标识别操作以获取对应的地面目标跟踪信息；随后，地面用户设备将所述地面图像信息以及第四叠加信息发送至对应的无人机控制设备以及对应的决策设备中的至少一个，其中所述第四叠加信息包括所述地面目标跟踪信息。上述第四叠加信息可用于“锁定”已经被识别的地面目标(包括但不限于人员、车辆、建筑物)。

在一些实施例中，上述第四叠加信息亦可用于供地面人员添加标注，例如选中需要其他设备(例如决策设备或者无人机控制设备)端用户重点关注的目标，或者在画面中选中需要其他设备进行识别的目标所在的区域，其他设备进行识别或跟踪，结果发送给地面用户设备呈现。第一五模块15首先获取地面图像信息，并基于地面用户的图像标注操作确定关于所述地面图像信息的第四叠加信息；随后，地面用户设备将所述地面图像信息以及所述第四叠加信息发送至对应的无人机控制设备以及对应的决策设备中的至少一个。

在一些情形下，无人机所拍摄画面的视角大小会影响画面所覆盖内容的多少。若图像上关键位置较远或尺寸较小，则该相应的细节就不能充分呈现，从而影响地面人员的判断；若图像所覆盖的范围太小而不能提供足够多的场景信息，同样也会影响地面人员的判断。一般而言，在地面用户设备获得无人机图像后，为了获得关键位置的更多信息或者为了查看更多的场景信息，地面用户会对图像进行缩放处理，但是对于通过固定参数的无人机机载摄像装置所拍摄得到的画面而言，单纯地对图像进行放大会造成图像不清晰，而查看更多的场景信息更无法实现。此外，地面人员还可能需要对无人机所拍摄的画面进行其他调整，例如调整白平衡或者调整分辨率。

为了使地面人员能够放大无人机所拍摄图像的局部以进一步辨认相关细节，或者扩大无人机所拍摄图像所覆盖的场景范围，在一些实施例中，上述地面用户设备还包括第一六模块16(未示出)。第一六模块16根据地面用户的、关于所述无人机控制设备所对应无人机的硬件参数调整操作，生成关于所述无人机的机载摄像装置的硬件参数调整指令，并将所述硬件参数调整指令发送至所述无人机控制设备，以供所述无人机控制设备根据该硬件参数调整指令调整无人机的机载摄像装置的硬件参数。其中，所述硬件参数包括但不限于焦距、对焦参数、光圈值、感光度、曝光补偿、白平衡、图像分辨率、视频码率，并且本领域技术人员应能理解，这些硬件参数仅为举例，其他现有的或者今后可能出现的硬件参数如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。

根据本申请的另一个方面，提供了一种用于呈现地面行动辅助信息的决策设备。参考图10，该决策设备包括第二一模块21、第二二模块22和第二三模块23。

第二一模块21获取对应的无人机控制设备所发送的无人机图像信息。在一些实施例中，所述无人机图像信息包括但不限于静态图像信息和动态图像信息(例如视频)，而决策设备获取该无人机图像信息的途径，包括但不限于：

1)决策设备与无人机控制设备直接通信，例如通过有线方式(例如基于通信线缆)或者无线方式(例如基于移动数据、无线网络连接等)实现信号传输，其中通信各方包括但不限于位于同一局域网中、或者位于广域网中不同的局域网中；

2)决策设备向对应的网络设备(例如云端服务器)请求该无人机图像，例如该无人机图像在此之前已由无人机控制设备发送至所述网络设备；

3)决策设备与对应的其他设备(例如地面用户设备)进行通信并接收该无人机图像，而该无人机图像在此之前已由无人机控制设备发送至所述其他设备。

第二二模块22确定关于所述无人机图像信息的第一叠加信息。在一些实施例中，所述第一叠加信息用于供对应的地面用户设备叠加呈现以协助地面人员行动。例如，决策设备对应于协作抓捕行动中的指挥中心并由指挥人员操作；而地面用户设备对应于协作抓捕行动中由警员佩戴的移动智能设备，该移动智能设备包括但不限于移动电话、平板电脑、智能眼镜/头盔。其中，所述第一叠加信息包括但不限于用于叠加呈现于所述无人机图像信息上的信息，例如第一叠加信息包括决策设备响应于指挥人员的相关操作而生成的标注信息，或者第一叠加信息包括决策设备根据所述无人机图像进行目标识别操作而获得的目标识别结果或用于跟踪目标在画面中的位置的目标跟踪信息。

第二三模块23向对应的地面用户设备发送所述第一叠加信息。其中，所述第一叠加信息的发送方式包括但不限于：

1)通过有线方式(例如基于通信线缆)或者无线方式(例如基于移动数据、无线网络连接等)实现，其中通信各方包括但不限于位于同一局域网中、或者位于广域网中不同的局域网中；或者

2)向对应的网络设备(例如云端服务器)发送该第一叠加信息，而其他设备向网络设备请求该第一叠加信息即可获得该第一叠加信息。

在一些实施例中，上述第一叠加信息基于决策用户(例如协作抓捕行动中的指挥人员)的标注操作而确定。其中，第二二模块22基于决策用户的第一标注操作，确定关于所述无人机图像信息的第一叠加信息，例如包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等。

上述第一叠加信息除了基于决策用户的标注操作而确定之外，亦可基于决策设备对无人机图像信息的目标识别操作而确定。在一些实施例中，决策设备对所述无人机图像信息执行目标识别操作，并基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第一叠加信息。

其中，本申请中所述的目标识别操作用于识别特定的物体(固定或不固定，例如该物体为建筑物或者交通工具)或者人物。在一个具体实施例中，该目标识别操作基于深度学习算法实现，首先准备训练集(例如穿着不同颜色衣服的行人的图像)和对应标签(例如行人在图像中的位置)；接着训练深度学习模型，并根据训练集不断迭代该模型的参数直至模型收敛；最后将相应的图像输入训练好的深度学习模型，即可得到具有特定衣服颜色的行人在画面中的位置，从而目标识别操作完成。

其中，上述由决策设备进行的目标识别操作可由决策设备主动执行，也可在无人机控制设备首先已经对无人机图像信息执行目标识别操作、但是识别效果不理想(例如识别失败)的情况下，再由决策设备对无人机图像信息执行补充的目标识别操作，以最大化地利用各方的计算资源，并避免遗漏目标。相应地，第二二模块22获取对应的无人机控制设备所发送的目标识别结果信息；若所述目标识别结果信息包括识别失败，对所述无人机图像信息执行目标识别操作，并基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第一叠加信息。

在一些实施例中，所述无人机图像信息是经由对应的网络设备(例如云端服务器)获取的。

在一些实施例中，上述决策设备还包括第二四模块24(未示出)。第二四模块24接收并呈现所述地面用户设备所发送的关于所述无人机图像信息的第三叠加信息，例如所述第三叠加信息包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等，用于在所述无人机图像信息的基础上突出相应的部分或者提供额外的信息。

为了进一步提高协作效率，地面人员也可向其他协作参与方提供地面信息以供参考。在一些实施例中，上述决策设备还包括第二五模块25(未示出)。第二五模块25接收并呈现所述地面用户设备所发送的地面图像信息。在此基础上，决策设备还可根据地面用户设备所发送的数据叠加呈现相应信息，从而向决策用户(例如指挥人员)提供更详尽的信息。在一些实施例中，上述决策设备还包括第二六模块26(未示出)。第二六模块26接收并呈现所述地面用户设备所发送的地面图像信息以及关于所述地面图像信息的第四叠加信息。

与以上有关地面用户设备部分的描述相类似，为了使决策人员能够放大无人机所拍摄图像的局部以进一步辨认相关细节，或者扩大无人机所拍摄图像所覆盖的场景范围，在一些实施例中，上述决策设备还包括第二七模块27(未示出)。第二七模块27根据决策用户(例如指挥人员)的、关于所述无人机控制设备所对应无人机的硬件参数调整操作，生成关于所述无人机的机载摄像装置的硬件参数调整指令，并将所述硬件参数调整指令发送至所述无人机控制设备，以供所述无人机控制设备根据该硬件参数调整指令调整无人机的机载摄像装置的硬件参数。其中，所述硬件参数包括但不限于焦距、对焦参数、光圈值、感光度、曝光补偿、白平衡、图像分辨率、视频码率，并且本领域技术人员应能理解，这些硬件参数仅为举例，其他现有的或者今后可能出现的硬件参数如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。

根据本申请的另一个方面，提供了一种用于呈现地面行动辅助信息的无人机控制设备。参考图11，该无人机控制设备包括第三一模块31、第三二模块32和第三三模块33。第三一模块31获取关于无人机所在场景的无人机图像信息；第三二模块32确定关于所述无人机图像信息的第二叠加信息；第三三模块33向对应的决策设备发送所述无人机图像信息以及所述第二叠加信息。

在一些实施例中，用于供其他设备叠加的信息包括无人机控制设备设备响应于无人机用户的相关操作而生成的标注信息，或者用于供其他设备叠加的信息包括无人机控制设备根据所述无人机图像进行目标识别操作而获得的目标识别结果或用于跟踪目标在画面中的位置的目标跟踪信息。在一些实施例中，第三二模块32对所述无人机图像信息执行目标识别操作，并基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第二叠加信息。

在一些实施例中，无人机控制设备首先已经对无人机图像信息执行目标识别操作、但是识别效果不理想(例如识别失败)的情况下，再由决策设备对无人机图像信息执行补充的目标识别操作，以最大化地利用各方的计算资源，并避免遗漏目标。第三二模块32对所述无人机图像信息执行目标识别操作，以获取对应的无人机控制设备所发送的目标识别结果信息；若所述目标识别结果信息包括识别成功，基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第二叠加信息。相应地，第三三模块33若所述目标识别结果信息包括识别成功，则向对应的决策设备发送所述第二叠加信息，否则向所述决策设备发送所述目标识别结果信息。

为使各方充分交流和协作，上述叠加呈现信息除了可由无人机控制设备或者决策设备添加之外，也可由地面用户设备添加。例如，地面用户以图像标注的形式添加叠加呈现信息。在一些实施例中，上述无人机控制设备还包括第三四模块34(未示出)。第三四模块34接收并呈现所述地面用户设备所发送的关于所述无人机图像信息的第三叠加信息，例如所述第三叠加信息包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等。

为了进一步提高协作效率，地面人员也可向其他协作参与方提供地面信息以供参考。在一些实施例中，上述无人机控制设备还包括第三五模块35(未示出)。第三五模块35接收并呈现所述地面用户设备所发送的地面图像信息。在此基础上，无人机控制设备还可根据地面用户设备所发送的数据叠加呈现相应信息，从而向无人机用户提供更详尽的信息。在一些实施例中，上述无人机控制设备还包括第三六模块36(未示出)。第三六模块36接收并呈现所述地面用户设备所发送的地面图像信息以及关于所述地面图像信息的第四叠加信息。

与以上有关地面用户设备部分的描述相类似，为了使无人机用户能够放大无人机所拍摄图像的局部以进一步辨认相关细节，或者扩大无人机所拍摄图像所覆盖的场景范围，在一些实施例中，上述无人机控制设备还包括第三七模块37(未示出)。第三七模块37接收所述决策设备以及所述地面用户设备中的至少一个所发送的硬件参数调整指令，并基于所述硬件参数调整指令调整所述无人机的机载摄像装置的硬件参数。其中，所述硬件参数包括但不限于焦距、对焦参数、光圈值、感光度、曝光补偿、白平衡、图像分辨率、视频码率，并且本领域技术人员应能理解，这些硬件参数仅为举例，其他现有的或者今后可能出现的硬件参数如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。

在一些情形下，在决策人员、无人机“飞手”、地面行动人员协作行动时，地面行动人员无需获取无人机所拍摄的图像信息，亦可根据决策人员提供的行动指引，向目标地点移动；此时，决策人员根据无人机所拍摄的视频判断现场状况，结合电子地图即可确定目标地点的地理位置信息，并将该地理位置信息发送至地面行动人员以指引地面行动人员行动。以这种方式，决策人员、无人机“飞手”、地面行动人员能够协作行动，且地面行动人员无需获取无人机所拍摄的图像信息，因此地面用户设备无需满足高带宽的需求，实时性也较强。

基于此，根据本申请的另一个方面，提供了一种用于呈现地面行动辅助信息的决策设备。参考图12，该决策设备包括第二一模块21’、第二二模块22’和第二三模块23’。

第二一模块21’接收对应的无人机控制设备所发送的无人机图像信息，具体实现方式与以上所述的决策设备接收对应的无人机控制设备所发送的无人机图像信息的方式相同或基本相同，不再赘述，并以引用的方式包含于此。

第二二模块22’根据决策用户的地图标注操作，确定所述地图标注操作所对应的地理位置信息。例如，决策方(例如指挥人员)在指挥中心的显示屏幕上将无人机图像信息所对应的电子地图缩放至与该无人机图像信息相同或相近的尺度，或者将该电子地图旋转至与拍摄该无人机图像信息的无人机的视角相同或者相近；决策设备检测决策方用户的地图标注操作(例如上述显示屏幕是触敏屏幕，而指挥人员在该触敏屏幕上进行点击、拖动、圈定等地图标注操作；或者，指挥人员通过其他输入设备——例如鼠标等指针设备——进行地图标注操作)，并根据决策方用户的地图标注操作以及电子地图信息确定相应标注位置或标注区域的地理位置信息，例如当前电子地图上多个位置所对应的地理位置信息(例如经纬度信息)已经确定，因此决策设备能够基于用户的地图标注操作，确定标注位置或标注区域的地理位置信息(例如经纬度信息)。

第二三模块23’向对应的地面用户设备发送所述地理位置信息，以供所述地面用户设备呈现对应的地面行动辅助信息，例如该地面行动辅助信息包含由地面用户设备当前位置到达上述地理位置信息所对应位置的导航信息。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。

图13示出了可被用于实施本申请中所述的各个实施例的示例性系统。

如图13所示，在一些实施例中，系统100能够作为各所述实施例中的任意一个地面用户设备、决策设备或者无人机控制设备。在一些实施例中，系统100可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备120)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器105)。

对于一个实施例，系统控制模块110可包括任意适当的接口控制器，以向(一个或多个)处理器105中的至少一个和/或与系统控制模块110通信的任意适当的设备或组件提供任意适当的接口。

系统控制模块110可包括存储器控制器模块130，以向系统存储器115提供接口。存储器控制器模块130可以是硬件模块、软件模块和/或固件模块。

系统存储器115可被用于例如为系统100加载和存储数据和/或指令。对于一个实施例，系统存储器115可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器115可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。

对于一个实施例，系统控制模块110可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备120及(一个或多个)通信接口125提供接口。

例如，NVM/存储设备120可被用于存储数据和/或指令。NVM/存储设备120可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。

NVM/存储设备120可包括在物理上作为系统100被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备120可通过网络经由(一个或多个)通信接口125进行访问。

(一个或多个)通信接口125可为系统100提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统100可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。

对于一个实施例，(一个或多个)处理器105中的至少一个可与系统控制模块110的一个或多个控制器(例如，存储器控制器模块130)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器105中的至少一个可与系统控制模块110的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器105中的至少一个可与系统控制模块110的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器105中的至少一个可与系统控制模块110的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。

在各个实施例中，系统100可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统100可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统100包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。

作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。

在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (39)

1.一种在地面用户设备端用于呈现地面行动辅助信息的方法，其中，该方法包括：

获取对应的无人机控制设备所发送的无人机图像信息；

获取关于所述无人机图像信息的叠加呈现信息；

呈现地面行动辅助信息，其中所述地面行动辅助信息包括所述无人机图像信息以及所述叠加呈现信息。

2.根据权利要求1所述的方法，其中，所述获取关于所述无人机图像信息的叠加呈现信息，包括：

接收对应的决策设备所发送的第一叠加信息，以获取关于所述无人机图像信息的叠加呈现信息，其中所述叠加呈现信息包括所述第一叠加信息。

3.根据权利要求1所述的方法，其中，所述获取关于所述无人机图像信息的叠加呈现信息，包括：

接收对应的决策设备所发送的第一叠加信息，以及对应的无人机控制设备所发送的第二叠加信息，以获取关于所述无人机图像信息的叠加呈现信息，其中所述叠加呈现信息包括所述第一叠加信息以及所述第二叠加信息。

4.根据权利要求1至3中任一项所述的方法，其中，所述无人机图像信息和所述叠加呈现信息中的至少一个，是经由对应的网络设备获取的。

5.根据权利要求1所述的方法，其中，所述叠加呈现信息包括叠加元素及其呈现位置信息；

所述呈现地面行动辅助信息，其中所述地面行动辅助信息包括所述无人机图像信息以及所述叠加呈现信息，包括：

基于所述叠加元素及其呈现位置信息，呈现地面行动辅助信息，其中所述地面行动辅助信息包括所述无人机图像信息以及所述叠加呈现信息。

6.根据权利要求5所述的方法，其中，所述叠加呈现信息还包括所述叠加元素所对应的时间轴位置信息。

7.根据权利要求1所述的方法，其中，所述获取关于所述无人机图像信息的叠加呈现信息，包括：

基于地面用户的图像标注操作，确定关于所述无人机图像信息的第三叠加信息，以获取关于所述无人机图像信息的叠加呈现信息，其中所述叠加呈现信息包括所述第三叠加信息。

8.根据权利要求1所述的方法，其中，所述获取关于所述无人机图像信息的叠加呈现信息，包括：

对所述无人机图像信息执行目标识别操作，并基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第三叠加信息，以获取关于所述无人机图像信息的叠加呈现信息，其中所述叠加呈现信息包括所述第三叠加信息。

9.根据权利要求7或8所述的方法，其中，所述方法还包括：

将所述第三叠加信息发送至对应的无人机控制设备以及对应的决策设备中的至少一个。

10.根据权利要求1所述的方法，其中，所述方法还包括：

获取地面图像信息，并将所述地面图像信息发送至对应的无人机控制设备以及对应的决策设备中的至少一个。

11.根据权利要求10所述的方法，其中，所述获取地面图像信息，并将所述地面图像信息发送至对应的无人机控制设备以及对应的决策设备中的至少一个，包括：

获取地面图像信息，并对所述地面图像信息执行目标识别操作以获取对应的地面目标跟踪信息；

将所述地面图像信息以及第四叠加信息发送至对应的无人机控制设备以及对应的决策设备中的至少一个，其中所述第四叠加信息包括所述地面目标跟踪信息。

12.根据权利要求10所述的方法，其中，所述获取地面图像信息，并将所述地面图像信息发送至对应的无人机控制设备以及对应的决策设备中的至少一个，包括：

获取地面图像信息，并基于地面用户的图像标注操作确定关于所述地面图像信息的第四叠加信息；

将所述地面图像信息以及所述第四叠加信息发送至对应的无人机控制设备以及对应的决策设备中的至少一个。

13.根据权利要求1所述的方法，其中，所述方法还包括：

根据地面用户的、关于所述无人机控制设备所对应无人机的硬件参数调整操作，生成关于所述无人机的机载摄像装置的硬件参数调整指令；

将所述硬件参数调整指令发送至所述无人机控制设备。

14.一种在决策设备端用于呈现地面行动辅助信息的方法，其中，该方法包括：

获取对应的无人机控制设备所发送的无人机图像信息；

确定关于所述无人机图像信息的第一叠加信息；

向对应的地面用户设备发送所述第一叠加信息。

15.根据权利要求14所述的方法，其中，所述确定关于所述无人机图像信息的第一叠加信息，包括：

基于决策用户的第一标注操作，确定关于所述无人机图像信息的第一叠加信息。

16.根据权利要求14所述的方法，其中，所述确定关于所述无人机图像信息的第一叠加信息，包括：

对所述无人机图像信息执行目标识别操作，并基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第一叠加信息。

17.根据权利要求16所述的方法，其中，所述对所述无人机图像信息执行目标识别操作，并基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第一叠加信息，包括：

获取对应的无人机控制设备所发送的目标识别结果信息；

若所述目标识别结果信息包括识别失败，对所述无人机图像信息执行目标识别操作，并基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第一叠加信息。

18.根据权利要求14所述的方法，其中，所述无人机图像信息是经由对应的网络设备获取的。

19.根据权利要求14所述的方法，其中，所述方法还包括：

接收并呈现所述地面用户设备所发送的关于所述无人机图像信息的第三叠加信息。

20.根据权利要求14所述的方法，其中，所述方法还包括：

接收并呈现所述地面用户设备所发送的地面图像信息。

21.根据权利要求14所述的方法，其中，所述方法还包括：

接收并呈现所述地面用户设备所发送的地面图像信息以及关于所述地面图像信息的第四叠加信息。

22.根据权利要求14所述的方法，其中，所述方法还包括：

根据决策用户的、关于所述无人机控制设备所对应无人机的硬件参数调整操作，生成关于所述无人机的机载摄像装置的硬件参数调整指令；

将所述硬件参数调整指令发送至所述无人机控制设备。

23.一种在无人机控制设备端用于呈现地面行动辅助信息的方法，其中，该方法包括：

获取关于无人机所在场景的无人机图像信息；

确定关于所述无人机图像信息的第二叠加信息；

向对应的决策设备发送所述无人机图像信息以及所述第二叠加信息。

24.根据权利要求23所述的方法，其中，所述确定关于所述无人机图像信息的第二叠加信息，包括：

基于无人机用户的第二标注操作，确定关于所述无人机图像的第二叠加信息。

25.根据权利要求23所述的方法，其中，所述确定关于所述无人机图像信息的第二叠加信息，包括：

对所述无人机图像信息执行目标识别操作，并基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第二叠加信息。

26.根据权利要求25所述的方法，其中，所述对所述无人机图像信息执行目标识别操作，并基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第二叠加信息，包括：

对所述无人机图像信息执行目标识别操作，以获取对应的无人机控制设备所发送的目标识别结果信息；

若所述目标识别结果信息包括识别成功，基于所述目标识别操作的操作结果确定关于所述无人机图像信息的第二叠加信息；

所述向对应的决策设备发送所述无人机图像信息以及所述第二叠加信息，包括：

若所述目标识别结果信息包括识别成功，向对应的决策设备发送所述无人机图像信息以及所述第二叠加信息；否则

向所述决策设备发送所述目标识别结果信息。

27.根据权利要求23所述的方法，其中，所述方法还包括：

接收并呈现所述地面用户设备所发送的关于所述无人机图像信息的第三叠加信息。

28.根据权利要求23所述的方法，其中，所述方法还包括：

接收并呈现所述地面用户设备所发送的地面图像信息。

29.根据权利要求23所述的方法，其中，所述方法还包括：

接收并呈现所述地面用户设备所发送的地面图像信息以及关于所述地面图像信息的第四叠加信息。

30.根据权利要求23所述的方法，其中，所述方法还包括：

接收所述决策设备以及所述地面用户设备中的至少一个所发送的硬件参数调整指令；

基于所述硬件参数调整指令，调整所述无人机的机载摄像装置的硬件参数。

31.一种用于呈现地面行动辅助信息的方法，其中，该方法包括：

无人机控制设备获取关于无人机所在场景的无人机图像信息，并向对应的决策设备发送所述无人机图像信息；

所述决策设备确定关于所述无人机图像信息的第一叠加信息，并向对应的地面用户设备发送所述第一叠加信息；

所述地面用户设备获取所述无人机图像信息以及关于所述无人机图像信息的叠加呈现信息，并呈现地面行动辅助信息，其中所述地面行动辅助信息包括所述无人机图像信息以及所述叠加呈现信息，所述叠加呈现信息包括所述第一叠加信息。

32.一种在决策设备端用于呈现地面行动辅助信息的方法，其中，该方法包括：

接收对应的无人机控制设备所发送的无人机图像信息；

根据决策用户的地图标注操作，确定所述地图标注操作所对应的地理位置信息；

向对应的地面用户设备发送所述地理位置信息。

33.一种用于呈现地面行动辅助信息的方法，其中，该方法包括：

无人机控制设备获取关于无人机所在场景的无人机图像信息，并向对应的决策设备发送所述无人机图像信息；

所述决策设备在接收到所述无人机图像信息后，根据决策用户的地图标注操作，确定所述地图标注操作所对应的地理位置信息，并向对应的地面用户设备发送所述地理位置信息；

所述地面用户设备接收所述地理位置信息，并基于所述地理位置信息呈现地面行动辅助信息。

34.一种用于呈现地面行动辅助信息的地面用户设备，其中，该地面用户设备包括：

第一一模块，用于获取对应的无人机控制设备所发送的无人机图像信息；

第一二模块，用于获取关于所述无人机图像信息的叠加呈现信息；

第一三模块，用于呈现地面行动辅助信息，其中所述地面行动辅助信息包括所述无人机图像信息以及所述叠加呈现信息。

35.一种用于呈现地面行动辅助信息的决策设备，其中，该决策设备包括：

第二一模块，用于获取对应的无人机控制设备所发送的无人机图像信息；

第二二模块，用于确定关于所述无人机图像信息的第一叠加信息；

第二三模块，用于向对应的地面用户设备发送所述第一叠加信息。

36.一种用于呈现地面行动辅助信息的无人机控制设备，其中，该无人机控制设备包括：

第三一模块，用于获取关于无人机所在场景的无人机图像信息；

第三二模块，用于确定关于所述无人机图像信息的第二叠加信息；

第三三模块，用于向对应的决策设备发送所述无人机图像信息以及所述第二叠加信息。

37.一种用于呈现地面行动辅助信息的决策设备，其中，该决策设备包括：

第二一模块，用于接收对应的无人机控制设备所发送的无人机图像信息；

第二二模块，用于根据决策用户的地图标注操作，确定所述地图标注操作所对应的地理位置信息；

第二三模块，用于向对应的地面用户设备发送所述地理位置信息。

38.一种用于呈现地面行动辅助信息的地面用户设备，其中，该地面用户设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1至30中任一项或权利要求32所述方法的操作。

39.一种包括指令的计算机可读介质，所述指令在被执行时使得系统执行根据权利要求1至30中任一项或权利要求32所述方法的操作。