CN109618131A - 一种用于呈现决策辅助信息的方法与设备 - Google Patents

Abstract

本申请的目的是提供一种用于呈现决策辅助信息的方法与设备，无人机控制设备获取对应的无人机所拍摄的无人机图像信息，并向对应的决策设备发送所述无人机图像信息；所述决策设备接收所述无人机图像信息，并获取所述无人机图像信息所对应的决策辅助信息；所述决策设备呈现所述无人机图像信息以及所述决策辅助信息。本申请能够进一步丰富相关人员所能获得的信息，并使相关人员获得对于现场状况的直观了解，以利于做出决策，并能提高决策效率和团队的行动效率。

Description

一种用于呈现决策辅助信息的方法与设备

技术领域

本申请涉及计算机领域，尤其涉及一种用于呈现决策辅助信息的技术。

背景技术

随着技术的发展，无人机逐渐得到广泛应用。一般而言，一组无人机设备包括无人机(本体)以及用于控制无人机的无人机控制设备。由于行动灵活，无人机经常被用于拍摄场景画面，通常由操作无人机控制设备的用户(或称为无人机“飞手”)根据无人机拍摄的场景画面(或称为“航拍画面”)向其他人员提供行动指引，例如飞手向其他人员描述周围环境、提供行动路线建议等。其中无人机飞手和其他人员可通过无线电等手段联络。

虽然无人机丰富了其他人员能够获得的信息，但是其他人员获得的信息仍具有较大的局限性，这就降低了其他人员做出决策的效率，进而降低了团队的行动效率。

发明内容

本申请的一个目的是提供一种用于呈现决策辅助信息的方法。

根据本申请的一个方面，提供了一种在决策设备端用于呈现决策辅助信息的方法，该方法包括：

接收对应的无人机控制设备所发送的无人机图像信息；

获取所述无人机图像信息所对应的决策辅助信息；

呈现所述无人机图像信息以及所述决策辅助信息。

根据本申请的另一个方面，提供了一种在无人机控制设备端用于呈现决策辅助信息的方法，该方法包括：

获取对应的无人机所拍摄的无人机图像信息；

向对应的决策设备发送所述无人机图像信息。

根据本申请的另一个方面，提供了一种在决策设备端用于呈现决策辅助信息的方法，该方法包括：

接收对应的无人机控制设备所发送的无人机图像信息，其中所述无人机图像信息包括决策辅助信息；

呈现所述无人机图像信息，以呈现所述决策辅助信息。

根据本申请的另一个方面，提供了一种在无人机控制设备端用于呈现决策辅助信息的方法，该方法包括：

获取对应的无人机所拍摄的无人机图像信息，以及对应的决策辅助信息；

基于所述决策辅助信息，更新所述无人机图像信息；

向对应的决策设备发送更新后的无人机图像信息。

根据本申请的一个方面，提供了一种用于呈现决策辅助信息的方法，该方法包括：

无人机控制设备获取对应的无人机所拍摄的无人机图像信息，并向对应的决策设备发送所述无人机图像信息；

所述决策设备接收所述无人机图像信息，并获取所述无人机图像信息所对应的决策辅助信息；

所述决策设备呈现所述无人机图像信息以及所述决策辅助信息。

根据本申请的另一个方面，提供了一种用于呈现决策辅助信息的方法，该方法包括：

无人机控制设备获取对应的无人机所拍摄的无人机图像信息，以及对应的决策辅助信息；

所述无人机控制设备基于所述决策辅助信息更新所述无人机图像信息，并向对应的决策设备发送更新后的无人机图像信息；

所述决策设备接收并呈现所述无人机图像信息，以呈现所述决策辅助信息。

根据本申请的一个方面，提供了一种用于呈现决策辅助信息的决策设备，该决策设备包括：

第一一模块，用于接收对应的无人机控制设备所发送的无人机图像信息；

第一二模块，用于获取所述无人机图像信息所对应的决策辅助信息；

第一三模块，用于呈现所述无人机图像信息以及所述决策辅助信息。

根据本申请的另一个方面，提供了一种用于呈现决策辅助信息的无人机控制设备，该无人机控制设备包括：

第二一模块，用于获取对应的无人机所拍摄的无人机图像信息；

第二二模块，用于向对应的决策设备发送所述无人机图像信息。

根据本申请的另一个方面，提供了一种用于呈现决策辅助信息的决策设备，该决策设备包括：

第三一模块，用于接收对应的无人机控制设备所发送的无人机图像信息，其中所述无人机图像信息包括决策辅助信息；

第三二模块，用于呈现所述无人机图像信息，以呈现所述决策辅助信息。

根据本申请的另一个方面，提供了一种用于呈现决策辅助信息的无人机控制设备，该无人机控制设备包括：

第四一模块，用于获取对应的无人机所拍摄的无人机图像信息，以及对应的决策辅助信息；

第四二模块，用于基于所述决策辅助信息，更新所述无人机图像信息；

第四三模块，用于向对应的决策设备发送更新后的无人机图像信息。

根据本申请的一个方面，提供了一种用于呈现决策辅助信息的设备，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以上所述的方法。

根据本申请的另一个方面，提供了一种包括指令的计算机可读介质，所述指令在被执行时使得系统执行以上所述的方法。

与现有技术相比，本申请通过向与无人机飞手协作的其他人员(例如指挥中心内负责决策或指挥现场行动的指挥人员)的决策设备发送无人机所拍摄的图像信息，能够进一步丰富相关人员所能获得的信息，并使相关人员获得对于现场状况的直观了解，以利于做出决策，并能提高决策效率和团队的行动效率。在此基础上，无人机控制设备还可进一步地向决策设备发送决策辅助信息，以辅助相关人员做出决策，优化资源配置，并进一步提高决策效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是根据本申请一个实施例的无人机、无人机控制设备、决策设备之间进行协作以呈现决策辅助信息的系统拓扑；

图2是根据本申请一个实施例的在决策设备端用于呈现决策辅助信息的方法流程图；

图3是根据本申请一个实施例的在无人机控制设备端用于呈现决策辅助信息的方法流程图；

图4是根据本申请另一个实施例的在决策设备端用于呈现决策辅助信息的方法流程图；

图5是根据本申请另一个实施例的在无人机控制设备端用于呈现决策辅助信息的方法流程图；

图6是根据本申请一个实施例的决策设备的功能框图；

图7是根据本申请一个实施例的无人机控制设备的功能框图；

图8是根据本申请另一个实施例的决策设备的功能框图；

图9是根据本申请另一个实施例的无人机控制设备的功能框图；

图10示出本申请的一种示例性系统。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本申请作进一步详细描述。

在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

本申请所指设备包括但不限于用户设备、网络设备、或用户设备与网络设备通过网络相集成所构成的设备，例如该设备可以是无人机控制设备或用于提供决策辅助信息的决策设备。其中所述用户设备包括但不限于任何一种可与用户进行人机交互(例如通过触摸板进行人机交互)的移动电子产品，例如智能手机、平板电脑等，所述移动电子产品可以采用任意操作系统，如Android操作系统、iOS操作系统等。其中，所述网络设备包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、嵌入式设备等。所述网络设备包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云；在此，云由基于云计算(CloudComputing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个虚拟超级计算机。所述网络包括但不限于互联网、广域网、城域网、局域网、VPN网络、无线自组织网络(Ad Hoc网络)等。优选地，所述设备还可以是运行于所述用户设备、网络设备、或用户设备与网络设备、网络设备、触摸终端或网络设备与触摸终端通过网络相集成所构成的设备上的程序。

当然，本领域技术人员应能理解上述设备仅为举例，其他现有的或今后可能出现的设备如可适用于本申请，也应包含在本申请保护范围以内，并在此以引用方式包含于此。

在本申请的描述中，“多个”的含义是两个或者更多，除非另有明确具体的限定。

本申请所指的决策设备包括但不限于智能手机、平板电脑、个人电脑(包括但不限于台式计算机、笔记本计算机等)、智能眼镜或头盔等计算设备。为便于用户进行操作，在一些实施例中，所述决策设备还包括显示装置，用于向用户呈现和/或用于设置相关内容；其中，该显示装置在一些实施例中为触控屏幕，该触控屏幕不仅能用于输出图形画面，还可用作决策设备的输入装置以接收用户的操作指令(例如与前述增强现实内容互动的操作指令)。当然，本领域技术人员应能理解，用户设备的输入装置不仅限于触控屏幕，其他现有的输入技术如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。例如，在一些实施例中，用于接收用户的操作指令的输入技术是基于语音控制、手势控制等实现的。

参考图1示出的系统拓扑，无人机控制设备与无人机进行通讯以传输数据，以供无人机飞手控制无人机的飞行方向、姿态等，以及无人机向无人机控制设备发送数据(例如包括但不限于无人机自身状态、场景图像信息等一项或多项传感信息)。同时，无人机控制设备和地面人员的用户设备进行通讯，以供无人机控制设备向用户设备发送无人机辅助信息(例如包括无人机拍摄的场景画面，或者根据无人机飞手的操作确定的其他信息)，并由用户设备呈现与该无人机辅助信息相对应的决策辅助信息，以辅助指挥人员了解现场状况和进行决策。其中，无人机可搭载多种传感器，这些传感器用于感测无人机自身的方位、姿态等数据或者用于采集外部环境的相关信息。例如，无人机基于GPS传感器、实时动态(Real-Time Kinematic,RTK)模块、气压传感器、陀螺仪、电子罗盘等采集自身的角速率、姿态、位置、加速度、高度、空速等信息，并基于图像传感器拍摄场景画面，该场景画面可传输至无人机控制设备。在一些情形下，可在无人机上设置云台以安装相机，以隔离无人机姿态变化、机体震动和外界风阻力矩等外部扰动对拍摄工作带来的不利影响，保证机载相机的视轴稳定。

基于图1示出的系统，本申请提供了一种用于呈现决策辅助信息的方法，该方法包括以下步骤：

无人机控制设备获取对应的无人机所拍摄的无人机图像信息，并向对应的决策设备发送所述无人机图像信息；

所述决策设备接收所述无人机图像信息，并获取所述无人机图像信息所对应的决策辅助信息；以及

所述决策设备呈现所述无人机图像信息以及所述决策辅助信息。

以下分别从决策设备和无人机控制设备两个方面，详细描述本申请的具体实施方式。

根据本申请的一个方面，提供了一种在决策设备端用于呈现决策辅助信息的方法。参考图2，该方法包括步骤S11、步骤S12和步骤S13。在步骤S11中，决策设备接收对应的无人机控制设备所发送的无人机图像信息。其中，所述决策设备用于供相关人员(例如，位于指挥中心的指挥人员)获取现场状况并做出相应的决策，例如指挥人员在对犯罪嫌疑人的抓捕过程中根据从现场传回的情报，对现场的外勤民警下达行动指示。在一些实施例中，所述无人机图像信息包括但不限于静态图像、动态图像或视频等，并由所述无人机控制设备所对应的无人机拍摄后传输至所述无人机控制设备，以供指挥人员进行决策活动时参考。在步骤S12中，决策设备获取所述无人机图像信息所对应的决策辅助信息。其中，所述决策辅助信息用于在所述无人机图像信息的基础上提供附加的信息，以进一步提高指挥人员的决策效率，例如该决策辅助信息包括协作行动的各方基于上述无人机图像信息所添加的各类标注信息，或者决策设备、无人机控制设备等基于上述无人机图像信息所添加的其他信息。在一些实施例中，该决策辅助信息还可包括无人机控制设备自行计算添加的信息。例如无人机上安装了各种传感器，包括GPS传感器、RTK模块、气压传感器、陀螺仪、电子罗盘等，可以采集角速率、姿态、位置(经纬度)、加速度、高度和空速等信息；无人机控制设备获取无人机的经纬度数据，然后向地理信息系统(Geographic Information System,GIS)发出请求，地理信息系统根据接收到的无人机经纬度数据返回周边的建筑地标；无人机控制设备结合无人机的高度、指南针和三轴云台等数据，把周边的建筑地标叠加到当前无人机拍摄的图像中，以供后台指挥人员了解周围地理信息。

在步骤S13中，决策设备呈现所述无人机图像信息以及所述决策辅助信息。

在一些实施例中，上述决策辅助信息是由无人机控制设备提供的。相应地，在上述步骤S12中，决策设备接收所述无人机控制设备所发送的、所述无人机图像信息所对应的决策辅助信息，从而为决策方(例如协作行动中的指挥人员)提供除无人机图像信息之外的信息以供参考，提高决策效率。在一些实施例中，上述由无人机控制设备所发送的决策辅助信息包含无人机用户(或称无人机“飞手”)基于上述无人机图像信息而添加以供决策方参考的标注信息(下称第一标注信息)。其中，第一标注信息包括第一标注元素(包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等)及其呈现位置信息(用于确定前述标注元素在画面中所处的位置)，从而决策设备在收到上述第一标注信息后，可根据第一标注元素的呈现位置信息，在无人机所拍摄的画面的正确位置叠加呈现相应的标注元素。相应地，在步骤S13中，决策设备呈现所述无人机图像信息，并基于所述第一标注信息呈现所述决策辅助信息。本领域技术人员应能理解，上述各第一标注元素仅为举例而不对本申请进行任何限定，其他现有的或今后可能出现的第一标注元素如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

例如，在一些实施例中，上述无人机图像信息为视频。在忽略网络延迟的前提下，无人机控制设备向决策设备发送该视频以及上述第一标注信息(包括第一标注元素及其呈现位置信息)后，决策设备呈现该视频，并基于第一标注元素的呈现位置信息呈现该第一标注元素，从而在决策设备端实现对无人机飞手标注内容的实时呈现，以便用户基于该标注内容快速反应，以提升决策方和无人机飞手的协作效率。在一些情形下，例如包括但不限于在网络延迟无法忽略的情形和需要回调翻查视频及对应的标注信息的情形，所述第一标注信息还包括所述第一标注元素所对应的时间轴位置信息，该时间轴位置信息用于确定该第一标注元素所精确对应的视频帧(例如，通过确定相关视频帧在时间轴上的位置而确定)，并由决策设备在该视频帧上叠加该第一标注元素，从而避免因第一标注元素叠加于不对应的视频帧而造成的标注错位，进而避免因标注错位而造成的决策失误。

其中，以上所述的标注信息通过即时定位与地图构建(simultaneouslocalization and mapping,SLAM)算法或跟踪算法进行跟踪，使得画面发生变化，标注内容仍然叠加在对应的位置。即，标注内容的位置可由用户指定，也可基于上述SLAM或跟踪算法获得标注内容的实时位置。在一个实施例中，在无人机飞手添加目标区域的标注时，无人机控制设备将目标区域输入SLAM以进行SLAM初始化；随着无人机在空中移动，无人机控制设备借助SLAM算法获得目标区域的相对空间位置关系，并在无人机拍摄画面发生改变后仍将标注信息正确叠加在画面中所需的目标区域(例如建筑物或者人员)上。

在一些实施例中，上述决策辅助信息是在决策设备接收无人机控制设备所发送的无人机图像信息后，基于该无人机图像信息进行目标识别而生成的，从而在决策方(例如，指挥人员)观看该无人机图像信息并进行决策时，为决策方提供参考信息以提高决策效率。在步骤S12中，决策设备接收对所述无人机图像信息执行目标识别操作，以获取所述无人机图像信息所对应的决策辅助信息。例如，所述目标识别操作用于识别特定的物体(固定或不固定，例如该物体为建筑物或者交通工具)或者人物。在一个具体实施例中，该目标识别操作基于深度学习算法实现，首先准备训练集(例如穿着不同颜色衣服的行人的图像)和对应标签(例如行人在图像中的位置)；接着训练深度学习模型，并根据训练集不断迭代该模型的参数直至模型收敛；最后将相应的图像输入训练好的深度学习模型，即可得到具有特定衣服颜色的行人在画面中的位置，从而目标识别操作完成。

其中，上述由决策设备进行的目标识别操作可由决策设备主动执行，也可在无人机控制设备首先已经对无人机图像信息执行目标识别操作、但是识别效果不理想(例如识别失败)的情况下，再由决策设备对无人机图像信息执行补充的目标识别操作，以最大化地利用各方的计算资源，并避免遗漏目标。相应地，在步骤S12中，决策设备接收所述无人机控制设备所发送的目标识别结果信息；当所述目标识别结果信息包括识别失败，对所述无人机图像信息执行目标识别操作，以获取所述无人机图像信息所对应的决策辅助信息。其中，为了向未能成功执行目标识别操作的无人机控制设备提供反馈，从而为无人机飞手提供有效的行动参考信息并提高协作效率，在一些实施例中，所述决策辅助信息包括由决策设备对无人机图像信息执行目标识别操作后获得的、静态或者动态的目标跟踪信息，该目标跟踪信息可以通过包括但不限于目标周围高亮的轮廓线、方框、色条、色点、箭头、图片/视频、动画、三维模型等形式呈现，用于对识别出的目标进行静态的或动态的跟踪，以标注被识别的目标；此时，上述方法还进一步包括步骤S14(未示出)，在该步骤S14中，决策设备向所述无人机控制设备发送所述目标跟踪信息，以供无人机飞手参考。本领域技术人员应能理解，以上列出的目标跟踪信息的呈现方式仅为举例而不对本申请进行任何限定，其他现有的或今后可能出现的目标跟踪信息的呈现方式如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

其中，在一些实施例中，当所述地面图像信息随时间变化(例如用户设备拍摄的并非静态图像而是视频)，为保持识别出的目标与画面中的其他物体或行人的相区分的状态，所述目标跟踪信息基于对目标的目标跟踪操作所得，例如对相关视频逐帧执行上述目标识别操作，或者对视频中的多个关键帧执行上述目标识别操作。

除了以上所述的由无人机控制设备向决策设备发送第一标注信息以供决策方参考之外，决策方亦可基于接收到的无人机图像信息添加标注信息(下称第二标注信息)，从而为无人机飞手提供包括但不限于行动指示、辅助目标识别、重点区域指定、附近警力部署等信息，以供无人机飞手参考。相应地，在一些实施例中，上述方法还包括步骤S15(未示出)和步骤S16(未示出)。在步骤S15中，决策设备基于用户的关于所述无人机图像的图像标注操作，确定至少一项第二标注信息；在步骤S16中，决策设备向所述无人机控制设备发送所述至少一项第二标注信息。与上述第一标注信息相类似，在一些实施例中，所述第二标注信息亦可包括第二标注元素及其在相应画面上的呈现位置。第二标注信息的传输和呈现方式与上述第一标注信息相同或基本相同，在此不再赘述，并以引用方式包含于此，区别仅在于所述第二标注信息由决策设备发送至无人机控制设备。

在一些实施例中，决策设备经由对应的网络设备(例如，包括但不限于云端服务器)，接收对应的无人机控制设备所发送的无人机图像信息，以实现多端的信息共享。例如在存在多个协作方(例如，存在多个无人机飞手或多个指挥平台，或者协作行动还包括其他参与方，例如协作抓捕行动中的外勤警员)的情况下，其他协作参与方也可通过该网络设备获取上述无人机图像信息。在一些实施例中，所述无人机图像信息(例如视频信息)由无人机控制设备推流至所述网络设备，以便各参与方实时查看或者回调翻查相应的图像资料。

在一些实施例中，以上所述的第二标注信息可由决策方基于电子地图确定，例如上述第二标注信息用于供无人机控制设备获取相关的地理位置信息；相应地，上述方法还包括步骤S17(未示出)和步骤S18(未示出)。在步骤S17中，决策设备基于所述无人机图像所对应的电子地图信息以及用户的地图标注操作，确定所述地图标注操作所对应的地理位置信息。例如，决策方(例如指挥人员)在指挥中心的显示屏幕上将无人机图像信息所对应的电子地图缩放至与该无人机图像信息相同或相近的尺度，或者将该电子地图旋转至与拍摄该无人机图像信息的无人机的视角相同或者相近；决策设备检测决策方用户的地图标注操作(例如上述显示屏幕是触敏屏幕，而指挥人员在该触敏屏幕上进行点击、拖动、圈定等地图标注操作；或者，指挥人员通过其他输入设备——例如鼠标等指针设备——进行地图标注操作)，并根据决策方用户的地图标注操作以及电子地图信息确定相应标注位置或标注区域的地理位置信息，例如当前电子地图上多个位置所对应的地理位置信息(例如经纬度信息)已经确定，因此决策设备能够基于用户的地图标注操作，确定标注位置或标注区域的地理位置信息(例如经纬度信息)。其中，在一些实施例中，该地理位置信息可用于指定需要由无人机及其无人机控制设备识别或跟踪的目标(例如以标注框的形式示出，)，也可用于指定无人机的活动范围(例如基于多个指定点的经纬度信息，确定以这些指定点为顶点的活动区域为无人机的重点侦察区域；或者根据区域中心位置以及预设的区域半径确定重点侦察区域的范围)。随后，在步骤S18中，决策设备向所述无人机控制设备发送至少一项第二标注信息，其中至少一项所述第二标注信息包括所述地理位置信息。在一些实施例中，无人机控制设备获取传来的地理位置信息，并根据无人机当前的经纬度和高度等信息，在无人机所拍摄画面中的正确位置显示标注框等标注信息，然后将对应的部分图像输入识别/跟踪算法，即可得到该目标的信息。

在一些实施例中，上述方法还包括步骤S19(未示出)。在步骤S19中，决策设备向所述无人机控制设备发送所述决策辅助信息。例如，决策设备可在收到无人机控制设备所发送的无人机图像信息后，对无人机图像信息执行目标识别操作，并将识别结果作为决策辅助信息呈现，以供决策方(例如指挥人员)参考；同时，决策设备将该决策辅助信息发送至无人机控制设备以供无人机飞手参考，从而提高无人机飞手的操作效率以及各方的协作效率。

根据本申请的另一个方面，提供了一种在无人机控制设备端用于呈现决策辅助信息的方法。参考图3，该方法包括步骤S21和步骤S22。在步骤S21中，无人机控制设备获取对应的无人机所拍摄的无人机图像信息，该无人机图像信息包括但不限于静态图像信息和动态图像信息(例如视频)；在步骤S22中，无人机控制设备向对应的决策设备发送所述无人机图像信息。

在一些实施例中，上述方法还包括步骤S23(未示出)。在步骤S23中，无人机控制设备确定所述无人机图像信息所对应的决策辅助信息；之后在步骤S22中，无人机控制设备向对应的决策设备发送所述无人机图像信息以及所述决策辅助信息。在一些实施例中，上述由无人机控制设备所发送的决策辅助信息包含无人机用户(或称无人机“飞手”)基于上述无人机图像信息而添加以供决策方参考的标注信息(下称第一标注信息)。其中，第一标注信息包括第一标注元素(包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等)及其呈现位置信息(用于确定前述标注元素在画面中所处的位置)，从而决策设备在收到上述第一标注信息后，可根据第一标注元素的呈现位置信息，在无人机所拍摄的画面的正确位置叠加呈现相应的标注元素。在另一些实施例中，该决策辅助信息还可包括无人机控制设备自行计算添加的信息。例如无人机上安装了各种传感器，包括GPS传感器、RTK模块、气压传感器、陀螺仪、电子罗盘等，可以采集角速率、姿态、位置(经纬度)、加速度、高度和空速等信息；无人机控制设备获取无人机的经纬度数据，然后向地理信息系统(Geographic Information System,GIS)发出请求，地理信息系统根据接收到的无人机经纬度数据返回周边的建筑地标；无人机控制设备结合无人机的高度、指南针和三轴云台等数据，把周边的建筑地标叠加到当前无人机拍摄的图像中，以供后台指挥人员了解周围地理信息。

其中，在一些实施例中，在上述步骤S23中，无人机控制设备根据用户关于所述无人机图像的图像标注操作，确定至少一项第一标注信息；并基于所述至少一项第一标注信息确定所述无人机图像信息所对应的决策辅助信息。

在一些实施例中，上述决策辅助信息包含无人机用户(或称无人机“飞手”)基于上述无人机图像信息而添加以供决策方参考的标注信息(下称第一标注信息)。其中，第一标注信息包括第一标注元素(包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等)及其呈现位置信息(用于确定前述标注元素在画面中所处的位置)，从而决策设备在收到上述第一标注信息后，可根据第一标注元素的呈现位置信息，在无人机所拍摄的画面的正确位置叠加呈现相应的标注元素。本领域技术人员应能理解，上述各第一标注元素仅为举例而不对本申请进行任何限定，其他现有的或今后可能出现的第一标注元素如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

例如，上述无人机图像信息为视频。在忽略网络延迟的前提下，无人机控制设备向决策设备发送该视频以及上述第一标注信息(包括第一标注元素及其呈现位置信息)后，决策设备呈现该视频，并基于第一标注元素的呈现位置信息呈现该第一标注元素，从而在决策设备端实现对无人机飞手标注内容的实时呈现，以便用户基于该标注内容快速反应，以提升决策方和无人机飞手的协作效率。在一些情形下，例如包括但不限于在网络延迟无法忽略的情形和需要回调翻查视频及对应的标注信息的情形，所述第一标注信息还包括所述第一标注元素所对应的时间轴位置信息，该时间轴位置信息用于确定该第一标注元素所精确对应的视频帧(例如，通过确定相关视频帧在时间轴上的位置而确定)，并由决策设备在该视频帧上叠加该第一标注元素，从而避免因第一标注元素叠加于不对应的视频帧而造成的标注错位，进而避免因标注错位而造成的决策失误。

在一些实施例中，无人机控制设备对所述无人机图像信息执行目标识别操作，向所述决策设备发送关于所述目标识别操作的目标识别结果信息，从而在决策方(例如，指挥人员)观看该无人机图像信息并进行决策时，为决策方提供参考信息以提高决策效率。例如，所述目标识别操作用于识别特定的物体(固定或不固定，例如该物体为建筑物或者交通工具)或者人物。在一个具体实施例中，该目标识别操作基于深度学习算法实现，首先准备训练集(例如穿着不同颜色衣服的行人的图像)和对应标签(例如行人在图像中的位置)；接着训练深度学习模型，并根据训练集不断迭代该模型的参数直至模型收敛；最后将相应的图像输入训练好的深度学习模型，即可得到具有特定衣服颜色的行人在画面中的位置，从而目标识别操作完成。

其中，在一些实施例中，当所述目标识别结果信息包括识别成功(例如，无人机控制设备在相应图像中识别出至少一个目标)，无人机控制设备向所述决策设备发送决策辅助信息，其中，所述决策辅助信息包括目标辅助跟踪信息，例如该目标辅助跟踪信息用于供决策设备在显示屏幕上的相应位置将识别得到的目标与其他显示内容区分显示。而当上述目标识别操作的识别结果不理想(例如目标识别结果信息包括识别失败)时，在一些实施例中，可由所述决策设备对无人机图像信息执行补充的目标识别操作，以最大化地利用各方的计算资源，并避免遗漏目标。例如，决策设备接收所述无人机控制设备所发送的目标识别结果信息；当所述目标识别结果信息包括识别失败，对所述无人机图像信息执行目标识别操作，以获取所述无人机图像信息所对应的决策辅助信息。其中，为了向未能成功执行目标识别操作的无人机控制设备提供反馈，从而为无人机飞手提供有效的行动参考信息并提高协作效率，在一些实施例中，所述决策辅助信息包括由决策设备对无人机图像信息执行目标识别操作后获得的、静态或者动态的目标跟踪信息，该目标跟踪信息可以通过包括但不限于目标周围高亮的轮廓线、方框、色条、色点、箭头、图片/视频、动画、三维模型等形式呈现，用于对识别出的目标进行静态的或动态的跟踪，以标注被识别的目标；此时，上述方法还进一步包括步骤S26(未示出)，在该步骤S26中，无人机控制设备接收所述决策设备所发送的目标跟踪信息，以供无人机飞手参考。本领域技术人员应能理解，以上列出的目标跟踪信息的呈现方式仅为举例而不对本申请进行任何限定，其他现有的或今后可能出现的目标跟踪信息的呈现方式如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

其中，在一些实施例中，当所述地面图像信息随时间变化(例如用户设备拍摄的并非静态图像而是视频)，为保持识别出的目标与画面中的其他物体或行人的相区分的状态，所述目标跟踪信息基于对目标的目标跟踪操作所得，例如对相关视频逐帧执行上述目标识别操作，或者对视频中的多个关键帧执行上述目标识别操作。

除了以上所述的由无人机控制设备向决策设备发送第一标注信息以供决策方参考之外，决策方亦可基于接收到的无人机图像信息添加标注信息(下称第二标注信息)，从而为无人机飞手提供包括但不限于行动指示、辅助目标识别、重点区域指定、附近警力部署等信息，以供无人机飞手参考。相应地，在一些实施例中，上述方法还包括步骤S27(未示出)。在步骤S27中，无人机控制设备接收并呈现所述决策设备所发送的至少一项第二标注信息。与上述第一标注信息相类似，在一些实施例中，所述第二标注信息亦可包括第二标注元素及其在相应画面上的呈现位置。第二标注信息的传输和呈现方式与上述第一标注信息相同或基本相同，在此不再赘述，并以引用方式包含于此，区别仅在于所述第二标注信息由决策设备发送至无人机控制设备。

在一些实施例中，上述方法还包括步骤S28(未示出)。在步骤S28中，无人机控制设备基于所述第二标注信息，确定至少一项地理位置信息，并基于所述至少一项地理位置信息确定无人机的限制活动范围。其中，所述地理位置信息可由发送第二标注信息的决策设备确定并发送至无人机控制设备，亦可由无人机控制设备自行计算所得。

其中，在一些实施例中，至少一项所述第二标注信息包括地理位置信息。例如，该地理位置信息可用于指定需要由无人机及其无人机控制设备识别或跟踪的目标(例如以标注框的形式示出)，也可用于指定无人机的活动范围(例如基于多个指定点的经纬度信息，确定以这些指定点为顶点的活动区域为无人机的重点侦察区域；或者根据区域中心位置以及预设的区域半径确定重点侦察区域的范围)。在步骤S28中，无人机控制设备基于所述地理位置信息确定无人机的限制活动范围以及检测所述无人机的当前活动状态(例如无人机的经纬度坐标，或者无人机的机载摄像装置的视野覆盖范围)，并在所述当前活动状态不满足所述限制活动范围时，向用户提供对应的超限活动提示。例如，当无人机的当前经纬度坐标超出了上述活动范围时，或者当无人机的机载摄像装置的视野覆盖范围与上述活动范围没有交集或者重叠过小时，无人机控制设备通过声音、灯光、屏幕显示等途径，向用户提供上述超限活动提示，以提示无人机飞手用户根据所需的无人机活动范围控制无人机的活动状态，并进一步地可向无人机飞手用户提供相应的操作指引，例如根据当前无人机的活动状态和所需的无人机活动范围之间的偏差提供无人机姿态/方位/位置矫正指引。

本领域技术人员应能理解，以上所述的超限活动提示的形式仅为举例而不对本申请进行任何限定，其他现有的或今后可能出现的超限活动提示的形式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。

当然，在另一些实施例中，所述地理位置信息亦可由无人机控制设备在接收到上述第二标注信息后自行计算所得。例如无人机控制设备基于第二标注信息在无人机所拍摄的画面中的位置确定标注内容相对于无人机的空间方位，再根据无人机的高度、经纬度信息以及前述空间方位，确定标注内容对应的目标的位置。在一些实施例中，无人机搭载有测距装置(例如激光测距仪)，基于该测距装置可获得无人机和目标之间的距离，而基于该距离、无人机的高度、无人机的经纬度以及前述空间方位，即可确定目标的经纬度。

在一些实施例中，无人机控制设备设备经由对应的网络设备(例如，包括但不限于云端服务器)，向对应的决策设备发送所述无人机图像信息，以实现多端的信息共享。例如在存在多个协作方(例如，存在多个无人机飞手或多个指挥平台，或者协作行动还包括其他参与方，例如协作抓捕行动中的外勤警员)的情况下，其他协作参与方也可通过该网络设备获取上述无人机图像信息。在一些实施例中，所述无人机图像信息(例如视频信息)由无人机控制设备推流至所述网络设备，以便各参与方实时查看或者回调翻查相应的图像资料。

在一些实施例中，上述方法还包括步骤S29(未示出)。在步骤S29中，无人机控制设备接收所述决策设备所发送的决策辅助信息。例如，决策设备可在收到无人机控制设备所发送的无人机图像信息后，对无人机图像信息执行目标识别操作，并将识别结果作为决策辅助信息呈现，以供决策方(例如指挥人员)参考；同时，决策设备将该决策辅助信息发送至无人机控制设备以供无人机飞手参考，从而提高无人机飞手的操作效率以及各方的协作效率。

基于图1示出的系统，本申请还提供了一种用于呈现决策辅助信息的方法，其与以上所述的用于呈现决策辅助信息的方法相类似。区别在于，对于该方法，无人机控制设备向决策设备所发送的决策辅助信息，已被包含于无人机控制设备向决策设备所发送的无人机图像信息中。该方法包括以下步骤：

无人机控制设备获取对应的无人机所拍摄的无人机图像信息，以及对应的决策辅助信息；

所述无人机控制设备基于所述决策辅助信息更新所述无人机图像信息，并向对应的决策设备发送更新后的无人机图像信息；

所述决策设备接收并呈现所述无人机图像信息，以呈现所述决策辅助信息。

除了以上所述的区别之外，该方法与以上所述的用于呈现决策辅助信息的方法的具体实现方式相同或基本相同，不再赘述，并以引用的方式包含于此。

相应地，本申请还提供了一种在决策设备端用于呈现决策辅助信息的方法，以及一种在无人机控制设备端用于呈现决策辅助信息的方法，具体实现方式与以上所述的在决策设备端用于呈现决策辅助信息的方法以及在无人机控制设备端用于呈现决策辅助信息的方法相同或基本相同。

其中，根据本申请的一个方面，提供了一种在决策设备端用于呈现决策辅助信息的方法。参考图4，该方法包括步骤S31和步骤S32。在步骤S31中，决策设备接收对应的无人机控制设备所发送的无人机图像信息，其中所述无人机图像信息包括决策辅助信息；在步骤S32中，决策设备呈现所述无人机图像信息，以呈现所述决策辅助信息。

在一些实施例中，在步骤S31中，决策设备接收对应的无人机控制设备所发送的无人机图像信息，其中所述无人机图像信息包括决策辅助信息，并对所述无人机图像信息执行目标识别操作；其中，所述目标识别操作的具体实现方式与以上所述的决策设备对无人机图像信息执行目标识别操作，以获取所述无人机图像信息所对应的决策辅助信息的方式相同或基本相同，不再赘述，并以引用的方式包含于此。

其中，在一些实施例中，决策设备接收所述无人机控制设备所发送的目标识别结果信息；当所述目标识别结果信息包括识别失败，对所述无人机图像信息执行目标识别操作，以获取所述无人机图像信息所对应的决策辅助信息，以最大化地利用各方的计算资源，并避免遗漏目标。

进一步地，在一些实施例中，决策设备基于所述目标识别操作，向所述无人机控制设备发送目标跟踪信息。该目标跟踪信息可以通过包括但不限于目标周围高亮的轮廓线、方框、色条、色点、箭头、图片/视频、动画、三维模型等形式呈现，用于对识别出的目标进行静态的或动态的跟踪，以标注被识别的目标；决策设备向所述无人机控制设备发送所述目标跟踪信息，以供无人机飞手参考。

在一些实施例中，决策设备基于用户的关于所述无人机图像的图像标注操作，确定至少一项第二标注信息，并向所述无人机控制设备发送所述至少一项第二标注信息。其中，在一些实施例中，决策设备根据所述第二标注信息更新无人机控制设备所发送的无人机图像信息，例如在无人机图像信息为视频时，将第二标注信息添加至原视频中，并封装为新的视频，从而完成无人机图像信息的更新；随后决策设备将更新后的无人机图像信息发送至无人机控制设备，其中所述更新后的无人机图像信息包含所述第二标注信息。

在一些实施例中，决策设备向所述无人机控制设备发送所述决策辅助信息。例如，决策设备可在收到无人机控制设备所发送的无人机图像信息后，对无人机图像信息执行目标识别操作，并呈现相应的识别结果，以供决策方(例如指挥人员)参考；同时，决策设备将该识别结果发送至无人机控制设备以供无人机飞手参考，从而提高无人机飞手的操作效率以及各方的协作效率。其中，在一些实施例中，决策设备根据所述识别结果更新无人机控制设备所发送的无人机图像信息，并将更新后的无人机图像信息发送至无人机控制设备，其中所述更新后的无人机图像信息包含所述识别结果。

根据本申请的另一个方面，提供了一种在无人机控制设备端用于呈现决策辅助信息的方法。参考图5，该方法包括步骤S41、步骤S42和步骤S43。在步骤S41中，无人机控制设备获取对应的无人机所拍摄的无人机图像信息，以及对应的决策辅助信息；在步骤S42中，无人机控制设备基于所述决策辅助信息，更新所述无人机图像信息；在步骤S43中，无人机控制设备向对应的决策设备发送更新后的无人机图像信息。

在一些实施例中，在步骤S42中，无人机控制设备获取对应的无人机所拍摄的无人机图像信息，并根据用户关于所述无人机图像的图像标注操作确定至少一项第一标注信息，再基于所述至少一项第一标注信息确定所述无人机图像信息所对应的决策辅助信息，其中无人机控制设备确定所述第一标注信息的方式与以上所述的无人机控制设备确定所述第一标注信息的方式相同或基本相同，不再赘述，并以引用的方式包含于此。

在一些实施例中，在步骤S41中，无人机控制设备获取对应的无人机所拍摄的无人机图像信息，并对所述无人机图像信息执行目标识别操作，以获得对应的目标识别结果，从而获得对应的决策辅助信息，其中所述决策辅助信息包含所述目标识别结果，以避免遗漏目标。

在一些实施例中，无人机控制设备接收所述决策设备所发送的决策辅助信息。例如，决策设备可在收到无人机控制设备所发送的无人机图像信息后，对无人机图像信息执行目标识别操作，并呈现相应的识别结果，以供决策方(例如指挥人员)参考；同时，决策设备将该识别结果发送至无人机控制设备以供无人机飞手参考，从而提高无人机飞手的操作效率以及各方的协作效率。其中，在一些实施例中，决策设备根据所述识别结果更新无人机控制设备所发送的无人机图像信息，并将更新后的无人机图像信息发送至无人机控制设备，其中所述更新后的无人机图像信息包含所述识别结果。

根据本申请的一个方面，提供了一种用于呈现决策辅助信息的决策设备。参考图6，该设备包括第一一模块11、第一二模块12和第一三模块13。第一一模块11接收对应的无人机控制设备所发送的无人机图像信息。其中，所述决策设备用于供相关人员(例如，位于指挥中心的指挥人员)获取现场状况并做出相应的决策，例如指挥人员在对犯罪嫌疑人的抓捕过程中根据从现场传回的情报，对现场的外勤民警下达行动指示。在一些实施例中，所述无人机图像信息包括但不限于静态图像、动态图像或视频等，并由所述无人机控制设备所对应的无人机拍摄后传输至所述无人机控制设备，以供指挥人员进行决策活动时参考。第一二模块12获取所述无人机图像信息所对应的决策辅助信息。其中，所述决策辅助信息用于在所述无人机图像信息的基础上提供附加的信息，以进一步提高指挥人员的决策效率，例如该决策辅助信息包括协作行动的各方基于上述无人机图像信息所添加的各类标注信息，或者决策设备、无人机控制设备等基于上述无人机图像信息所添加的其他信息。在一些实施例中，该决策辅助信息还可包括无人机控制设备自行计算添加的信息。例如无人机上安装了各种传感器，包括GPS传感器、气压传感器、陀螺仪、电子罗盘等，可以采集角速率、姿态、位置(经纬度)、加速度、高度和空速等信息；无人机控制设备获取无人机的经纬度数据，然后向地理信息系统(Geographic Information System,GIS)发出请求，地理信息系统根据接收到的无人机经纬度数据返回周边的建筑地标；无人机控制设备结合无人机的高度、指南针和三轴云台等数据，把周边的建筑地标叠加到当前无人机拍摄的图像中，以供后台指挥人员了解周围地理信息。

第一三模块13呈现所述无人机图像信息以及所述决策辅助信息。

在一些实施例中，上述决策辅助信息是由无人机控制设备提供的。相应地，上述第一二模块12接收所述无人机控制设备所发送的、所述无人机图像信息所对应的决策辅助信息，从而为决策方(例如协作行动中的指挥人员)提供除无人机图像信息之外的信息以供参考，提高决策效率。在一些实施例中，上述由无人机控制设备所发送的决策辅助信息包含无人机用户(或称无人机“飞手”)基于上述无人机图像信息而添加以供决策方参考的标注信息(下称第一标注信息)。其中，第一标注信息包括第一标注元素(包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等)及其呈现位置信息(用于确定前述标注元素在画面中所处的位置)，从而决策设备在收到上述第一标注信息后，可根据第一标注元素的呈现位置信息，在无人机所拍摄的画面的正确位置叠加呈现相应的标注元素。相应地，第一三模块13呈现所述无人机图像信息，并基于所述第一标注信息呈现所述决策辅助信息。本领域技术人员应能理解，上述各第一标注元素仅为举例而不对本申请进行任何限定，其他现有的或今后可能出现的第一标注元素如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

例如，在一些实施例中，上述无人机图像信息为视频。在忽略网络延迟的前提下，无人机控制设备向决策设备发送该视频以及上述第一标注信息(包括第一标注元素及其呈现位置信息)后，决策设备呈现该视频，并基于第一标注元素的呈现位置信息呈现该第一标注元素，从而在决策设备端实现对无人机飞手标注内容的实时呈现，以便用户基于该标注内容快速反应，以提升决策方和无人机飞手的协作效率。在一些情形下，例如包括但不限于在网络延迟无法忽略的情形和需要回调翻查视频及对应的标注信息的情形，所述第一标注信息还包括所述第一标注元素所对应的时间轴位置信息，该时间轴位置信息用于确定该第一标注元素所精确对应的视频帧(例如，通过确定相关视频帧在时间轴上的位置而确定)，并由决策设备在该视频帧上叠加该第一标注元素，从而避免因第一标注元素叠加于不对应的视频帧而造成的标注错位，进而避免因标注错位而造成的决策失误。

其中，以上所述的标注信息通过即时定位与地图构建(simultaneouslocalization and mapping,SLAM)算法或跟踪算法进行跟踪，使得画面发生变化，标注内容仍然叠加在对应的位置。即，标注内容的位置可由用户指定，也可基于上述SLAM或跟踪算法获得标注内容的实时位置。在一个实施例中，在无人机飞手添加目标区域的标注时，无人机控制设备将目标区域输入SLAM以进行SLAM初始化；随着无人机在空中移动，无人机控制设备借助SLAM算法获得目标区域的相对空间位置关系，并在无人机拍摄画面发生改变后仍将标注信息正确叠加在画面中所需的目标区域(例如建筑物或者人员)上。

在一些实施例中，上述决策辅助信息是在决策设备接收无人机控制设备所发送的无人机图像信息后，基于该无人机图像信息进行目标识别而生成的，从而在决策方(例如，指挥人员)观看该无人机图像信息并进行决策时，为决策方提供参考信息以提高决策效率。第一二模块12接收对所述无人机图像信息执行目标识别操作，以获取所述无人机图像信息所对应的决策辅助信息。例如，所述目标识别操作用于识别特定的物体(固定或不固定，例如该物体为建筑物或者交通工具)或者人物。在一个具体实施例中，该目标识别操作基于深度学习算法实现，首先准备训练集(例如穿着不同颜色衣服的行人的图像)和对应标签(例如行人在图像中的位置)；接着训练深度学习模型，并根据训练集不断迭代该模型的参数直至模型收敛；最后将相应的图像输入训练好的深度学习模型，即可得到具有特定衣服颜色的行人在画面中的位置，从而目标识别操作完成。

其中，上述由决策设备进行的目标识别操作可由决策设备主动执行，也可在无人机控制设备首先已经对无人机图像信息执行目标识别操作、但是识别效果不理想(例如识别失败)的情况下，再由决策设备对无人机图像信息执行补充的目标识别操作，以最大化地利用各方的计算资源，并避免遗漏目标。相应地，第一二模块12接收所述无人机控制设备所发送的目标识别结果信息；当所述目标识别结果信息包括识别失败，对所述无人机图像信息执行目标识别操作，以获取所述无人机图像信息所对应的决策辅助信息。其中，为了向未能成功执行目标识别操作的无人机控制设备提供反馈，从而为无人机飞手提供有效的行动参考信息并提高协作效率，在一些实施例中，所述决策辅助信息包括由决策设备对无人机图像信息执行目标识别操作后获得的、静态或者动态的目标跟踪信息，该目标跟踪信息可以通过包括但不限于目标周围高亮的轮廓线、方框、色条、色点、箭头、图片/视频、动画、三维模型等形式呈现，用于对识别出的目标进行静态的或动态的跟踪，以标注被识别的目标；此时，上述设备还进一步包括第一四模块14(未示出)，该第一四模块14向所述无人机控制设备发送所述目标跟踪信息，以供无人机飞手参考。本领域技术人员应能理解，以上列出的目标跟踪信息的呈现方式仅为举例而不对本申请进行任何限定，其他现有的或今后可能出现的目标跟踪信息的呈现方式如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

其中，在一些实施例中，当所述地面图像信息随时间变化(例如用户设备拍摄的并非静态图像而是视频)，为保持识别出的目标与画面中的其他物体或行人的相区分的状态，所述目标跟踪信息基于对目标的目标跟踪操作所得，例如对相关视频逐帧执行上述目标识别操作，或者对视频中的多个关键帧执行上述目标识别操作。

除了以上所述的由无人机控制设备向决策设备发送第一标注信息以供决策方参考之外，决策方亦可基于接收到的无人机图像信息添加标注信息(下称第二标注信息)，从而为无人机飞手提供包括但不限于行动指示、辅助目标识别、重点区域指定、附近警力部署等信息，以供无人机飞手参考。相应地，在一些实施例中，上述设备还包括第一五模块15(未示出)和第一六模块16(未示出)。第一五模块15基于用户的关于所述无人机图像的图像标注操作，确定至少一项第二标注信息；第一六模块16向所述无人机控制设备发送所述至少一项第二标注信息。与上述第一标注信息相类似，在一些实施例中，所述第二标注信息亦可包括第二标注元素及其在相应画面上的呈现位置。第二标注信息的传输和呈现方式与上述第一标注信息相同或基本相同，在此不再赘述，并以引用方式包含于此，区别仅在于所述第二标注信息由决策设备发送至无人机控制设备。

在一些实施例中，决策设备经由对应的网络设备(例如，包括但不限于云端服务器)，接收对应的无人机控制设备所发送的无人机图像信息，以实现多端的信息共享。例如在存在多个协作方(例如，存在多个无人机飞手或多个指挥平台，或者协作行动还包括其他参与方，例如协作抓捕行动中的外勤警员)的情况下，其他协作参与方也可通过该网络设备获取上述无人机图像信息。在一些实施例中，所述无人机图像信息(例如视频信息)由无人机控制设备推流至所述网络设备，以便各参与方实时查看或者回调翻查相应的图像资料。

在一些实施例中，以上所述的第二标注信息可由决策方基于电子地图确定，例如上述第二标注信息用于供无人机控制设备获取相关的地理位置信息；相应地，上述设备还包括第一七模块17(未示出)和第一八模块18(未示出)。第一七模块17基于所述无人机图像所对应的电子地图信息以及用户的地图标注操作，确定所述地图标注操作所对应的地理位置信息。例如，决策方(例如指挥人员)在指挥中心的显示屏幕上将无人机图像信息所对应的电子地图缩放至与该无人机图像信息相同或相近的尺度，或者将该电子地图旋转至与拍摄该无人机图像信息的无人机的视角相同或者相近；决策设备检测决策方用户的地图标注操作(例如上述显示屏幕是触敏屏幕，而指挥人员在该触敏屏幕上进行点击、拖动、圈定等地图标注操作；或者，指挥人员通过其他输入设备——例如鼠标等指针设备——进行地图标注操作)，并根据决策方用户的地图标注操作以及电子地图信息确定相应标注位置或标注区域的地理位置信息，例如当前电子地图上多个位置所对应的地理位置信息(例如经纬度信息)已经确定，因此决策设备能够基于用户的地图标注操作，确定标注位置或标注区域的地理位置信息(例如经纬度信息)。其中，在一些实施例中，该地理位置信息可用于指定需要由无人机及其无人机控制设备识别或跟踪的目标(例如以标注框的形式示出)，也可用于指定无人机的活动范围(例如基于多个指定点的经纬度信息，确定以这些指定点为顶点的活动区域为无人机的重点侦察区域；或者根据区域中心位置以及预设的区域半径确定重点侦察区域的范围)。随后，第一八模块18向所述无人机控制设备发送至少一项第二标注信息，其中至少一项所述第二标注信息包括所述地理位置信息。在一些实施例中，无人机控制设备获取传来的地理位置信息，并根据无人机当前的经纬度和高度等信息，在无人机所拍摄画面中的正确位置显示标注框等标注信息，然后将对应的部分图像输入识别/跟踪算法，即可得到该目标的信息。

在一些实施例中，上述设备还包括第一九模块19(未示出)。第一九模块19中，决策设备向所述无人机控制设备发送所述决策辅助信息。例如，决策设备可在收到无人机控制设备所发送的无人机图像信息后，对无人机图像信息执行目标识别操作，并将识别结果作为决策辅助信息呈现，以供决策方(例如指挥人员)参考；同时，决策设备将该决策辅助信息发送至无人机控制设备以供无人机飞手参考，从而提高无人机飞手的操作效率以及各方的协作效率。

根据本申请的另一个方面，提供了一种用于呈现决策辅助信息的无人机控制设备。参考图7，该设备包括第二一模块21和第二二模块22。第二一模块21获取对应的无人机所拍摄的无人机图像信息，该无人机图像信息包括但不限于静态图像信息和动态图像信息(例如视频)；第二二模块22向对应的决策设备发送所述无人机图像信息。

在一些实施例中，上述设备还包括第二三模块23(未示出)。第二三模块23确定所述无人机图像信息所对应的决策辅助信息；之后第二二模块22向对应的决策设备发送所述无人机图像信息以及所述决策辅助信息。在一些实施例中，上述由无人机控制设备所发送的决策辅助信息包含无人机用户(或称无人机“飞手”)基于上述无人机图像信息而添加以供决策方参考的标注信息(下称第一标注信息)。其中，第一标注信息包括第一标注元素(包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等)及其呈现位置信息(用于确定前述标注元素在画面中所处的位置)，从而决策设备在收到上述第一标注信息后，可根据第一标注元素的呈现位置信息，在无人机所拍摄的画面的正确位置叠加呈现相应的标注元素。在另一些实施例中，该决策辅助信息还可包括无人机控制设备自行计算添加的信息。例如无人机上安装了各种传感器，包括GPS传感器、气压传感器、陀螺仪、电子罗盘等，可以采集角速率、姿态、位置(经纬度)、加速度、高度和空速等信息；无人机控制设备获取无人机的经纬度数据，然后向地理信息系统(Geographic Information System,GIS)发出请求，地理信息系统根据接收到的无人机经纬度数据返回周边的建筑地标；无人机控制设备结合无人机的高度、指南针和三轴云台等数据，把周边的建筑地标叠加到当前无人机拍摄的图像中，以供后台指挥人员了解周围地理信息。

其中，在一些实施例中，上述第二三模块23根据用户关于所述无人机图像的图像标注操作，确定至少一项第一标注信息；并基于所述至少一项第一标注信息确定所述无人机图像信息所对应的决策辅助信息。

在一些实施例中，上述决策辅助信息包含无人机用户(或称无人机“飞手”)基于上述无人机图像信息而添加以供决策方参考的标注信息(下称第一标注信息)。其中，第一标注信息包括第一标注元素(包括但不限于方框、色条、色点、箭头、图片/视频、动画、三维模型等)及其呈现位置信息(用于确定前述标注元素在画面中所处的位置)，从而决策设备在收到上述第一标注信息后，可根据第一标注元素的呈现位置信息，在无人机所拍摄的画面的正确位置叠加呈现相应的标注元素。本领域技术人员应能理解，上述各第一标注元素仅为举例而不对本申请进行任何限定，其他现有的或今后可能出现的第一标注元素如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

例如，上述无人机图像信息为视频。在忽略网络延迟的前提下，无人机控制设备向决策设备发送该视频以及上述第一标注信息(包括第一标注元素及其呈现位置信息)后，决策设备呈现该视频，并基于第一标注元素的呈现位置信息呈现该第一标注元素，从而在决策设备端实现对无人机飞手标注内容的实时呈现，以便用户基于该标注内容快速反应，以提升决策方和无人机飞手的协作效率。在一些情形下，例如包括但不限于在网络延迟无法忽略的情形和需要回调翻查视频及对应的标注信息的情形，所述第一标注信息还包括所述第一标注元素所对应的时间轴位置信息，该时间轴位置信息用于确定该第一标注元素所精确对应的视频帧(例如，通过确定相关视频帧在时间轴上的位置而确定)，并由决策设备在该视频帧上叠加该第一标注元素，从而避免因第一标注元素叠加于不对应的视频帧而造成的标注错位，进而避免因标注错位而造成的决策失误。

在一些实施例中，无人机控制设备对所述无人机图像信息执行目标识别操作，向所述决策设备发送关于所述目标识别操作的目标识别结果信息，从而在决策方(例如，指挥人员)观看该无人机图像信息并进行决策时，为决策方提供参考信息以提高决策效率。例如，所述目标识别操作用于识别特定的物体(固定或不固定，例如该物体为建筑物或者交通工具)或者人物。在一个具体实施例中，该目标识别操作基于深度学习算法实现，首先准备训练集(例如穿着不同颜色衣服的行人的图像)和对应标签(例如行人在图像中的位置)；接着训练深度学习模型，并根据训练集不断迭代该模型的参数直至模型收敛；最后将相应的图像输入训练好的深度学习模型，即可得到具有特定衣服颜色的行人在画面中的位置，从而目标识别操作完成。

其中，在一些实施例中，当所述目标识别结果信息包括识别成功(例如，无人机控制设备在相应图像中识别出至少一个目标)，无人机控制设备向所述决策设备发送决策辅助信息，其中，所述决策辅助信息包括目标辅助跟踪信息，例如该目标辅助跟踪信息用于供决策设备在显示屏幕上的相应位置将识别得到的目标与其他显示内容区分显示。而当上述目标识别操作的识别结果不理想(例如目标识别结果信息包括识别失败)时，在一些实施例中，可由所述决策设备对无人机图像信息执行补充的目标识别操作，以最大化地利用各方的计算资源，并避免遗漏目标。例如，决策设备接收所述无人机控制设备所发送的目标识别结果信息；当所述目标识别结果信息包括识别失败，对所述无人机图像信息执行目标识别操作，以获取所述无人机图像信息所对应的决策辅助信息。其中，为了向未能成功执行目标识别操作的无人机控制设备提供反馈，从而为无人机飞手提供有效的行动参考信息并提高协作效率，在一些实施例中，所述决策辅助信息包括由决策设备对无人机图像信息执行目标识别操作后获得的、静态或者动态的目标跟踪信息，该目标跟踪信息可以通过包括但不限于目标周围高亮的轮廓线、方框、色条、色点、箭头、图片/视频、动画、三维模型等形式呈现，用于对识别出的目标进行静态的或动态的跟踪，以标注被识别的目标；此时，上述设备还进一步包括第二六模块26(未示出)，第二六模块26接收所述决策设备所发送的目标跟踪信息，以供无人机飞手参考。本领域技术人员应能理解，以上列出的目标跟踪信息的呈现方式仅为举例而不对本申请进行任何限定，其他现有的或今后可能出现的目标跟踪信息的呈现方式如能适用于本申请，也包含在本申请的保护范围内，并以引用方式包含于此。

其中，在一些实施例中，当所述地面图像信息随时间变化(例如用户设备拍摄的并非静态图像而是视频)，为保持识别出的目标与画面中的其他物体或行人的相区分的状态，所述目标跟踪信息基于对目标的目标跟踪操作所得，例如对相关视频逐帧执行上述目标识别操作，或者对视频中的多个关键帧执行上述目标识别操作。

除了以上所述的由无人机控制设备向决策设备发送第一标注信息以供决策方参考之外，决策方亦可基于接收到的无人机图像信息添加标注信息(下称第二标注信息)，从而为无人机飞手提供包括但不限于行动指示、辅助目标识别、重点区域指定、附近警力部署等信息，以供无人机飞手参考。相应地，在一些实施例中，上述设备还包括第二七模块27(未示出)。第二七模块27接收并呈现所述决策设备所发送的至少一项第二标注信息。与上述第一标注信息相类似，在一些实施例中，所述第二标注信息亦可包括第二标注元素及其在相应画面上的呈现位置。第二标注信息的传输和呈现方式与上述第一标注信息相同或基本相同，在此不再赘述，并以引用方式包含于此，区别仅在于所述第二标注信息由决策设备发送至无人机控制设备。

在一些实施例中，上述设备还包括第二八模块28(未示出)。第二八模块28基于所述第二标注信息，确定至少一项地理位置信息，并基于所述至少一项地理位置信息确定无人机的限制活动范围。其中，所述地理位置信息可由发送第二标注信息的决策设备确定并发送至无人机控制设备，亦可由无人机控制设备自行计算所得。

其中，在一些实施例中，至少一项所述第二标注信息包括地理位置信息。例如，该地理位置信息可用于指定需要由无人机及其无人机控制设备识别或跟踪的目标(例如以标注框的形式示出)，也可用于指定无人机的活动范围(例如基于多个指定点的经纬度信息，确定以这些指定点为顶点的活动区域为无人机的重点侦察区域；或者根据区域中心位置以及预设的区域半径确定重点侦察区域的范围)。第二八模块28基于所述地理位置信息确定无人机的限制活动范围以及检测所述无人机的当前活动状态(例如无人机的经纬度坐标，或者无人机的机载摄像装置的视野覆盖范围)，并在所述当前活动状态不满足所述限制活动范围时，向用户提供对应的超限活动提示。例如，当无人机的当前经纬度坐标超出了上述活动范围时，或者当无人机的机载摄像装置的视野覆盖范围与上述活动范围没有交集或者重叠过小时，无人机控制设备通过声音、灯光、屏幕显示等途径，向用户提供上述超限活动提示，以提示无人机飞手用户根据所需的无人机活动范围控制无人机的活动状态，并进一步地可向无人机飞手用户提供相应的操作指引，例如根据当前无人机的活动状态和所需的无人机活动范围之间的偏差提供无人机姿态/方位/位置矫正指引。

本领域技术人员应能理解，以上所述的超限活动提示的形式仅为举例而不对本申请进行任何限定，其他现有的或今后可能出现的超限活动提示的形式如能适用于本申请，也包含在本申请的保护范围内，并以引用的方式包含于此。

当然，在另一些实施例中，所述地理位置信息亦可由无人机控制设备在接收到上述第二标注信息后自行计算所得。例如无人机控制设备基于第二标注信息在无人机所拍摄的画面中的位置确定标注内容相对于无人机的空间方位，再根据无人机的高度、经纬度信息以及前述空间方位，确定标注内容对应的目标的位置。在一些实施例中，无人机搭载有测距装置(例如激光测距仪)，基于该测距装置可获得无人机和目标之间的距离，而基于该距离、无人机的高度、无人机的经纬度以及前述空间方位，即可确定目标的经纬度。

在一些实施例中，无人机控制设备设备经由对应的网络设备(例如，包括但不限于云端服务器)，向对应的决策设备发送所述无人机图像信息，以实现多端的信息共享。例如在存在多个协作方(例如，存在多个无人机飞手或多个指挥平台，或者协作行动还包括其他参与方，例如协作抓捕行动中的外勤警员)的情况下，其他协作参与方也可通过该网络设备获取上述无人机图像信息。在一些实施例中，所述无人机图像信息(例如视频信息)由无人机控制设备推流至所述网络设备，以便各参与方实时查看或者回调翻查相应的图像资料。

在一些实施例中，上述设备还包括第二九模块29(未示出)。第二九模块29接收所述决策设备所发送的决策辅助信息。例如，决策设备可在收到无人机控制设备所发送的无人机图像信息后，对无人机图像信息执行目标识别操作，并将识别结果作为决策辅助信息呈现，以供决策方(例如指挥人员)参考；同时，决策设备将该决策辅助信息发送至无人机控制设备以供无人机飞手参考，从而提高无人机飞手的操作效率以及各方的协作效率。

根据本申请的一个方面，提供了一种用于呈现决策辅助信息的决策设备。参考图8，该设备包括第三一模块31和第三二模块32。第三一模块31接收对应的无人机控制设备所发送的无人机图像信息，其中所述无人机图像信息包括决策辅助信息；第三二模块32呈现所述无人机图像信息，以呈现所述决策辅助信息。

在一些实施例中，上述第三一模块31接收对应的无人机控制设备所发送的无人机图像信息，其中所述无人机图像信息包括决策辅助信息，并对所述无人机图像信息执行目标识别操作；其中，所述目标识别操作的具体实现方式与以上所述的决策设备对无人机图像信息执行目标识别操作，以获取所述无人机图像信息所对应的决策辅助信息的方式相同或基本相同，不再赘述，并以引用的方式包含于此。

其中，在一些实施例中，上述设备还包括第三三模块33(未示出)，第三三模块33接收所述无人机控制设备所发送的目标识别结果信息；当所述目标识别结果信息包括识别失败，对所述无人机图像信息执行目标识别操作，以获取所述无人机图像信息所对应的决策辅助信息，以最大化地利用各方的计算资源，并避免遗漏目标。

进一步地，在一些实施例中，上述设备还包括第三四模块34(未示出)，第三四模块34基于所述目标识别操作，向所述无人机控制设备发送目标跟踪信息。该目标跟踪信息可以通过包括但不限于目标周围高亮的轮廓线、方框、色条、色点、箭头、图片/视频、动画、三维模型等形式呈现，用于对识别出的目标进行静态的或动态的跟踪，以标注被识别的目标；决策设备向所述无人机控制设备发送所述目标跟踪信息，以供无人机飞手参考。

在一些实施例中，上述设备还包括第三五模块35(未示出)，第三五模块35基于用户的关于所述无人机图像的图像标注操作，确定至少一项第二标注信息，并向所述无人机控制设备发送所述至少一项第二标注信息。其中，在一些实施例中，决策设备根据所述第二标注信息更新无人机控制设备所发送的无人机图像信息，例如在无人机图像信息为视频时，将第二标注信息添加至原视频中，并封装为新的视频，从而完成无人机图像信息的更新；随后决策设备将更新后的无人机图像信息发送至无人机控制设备，其中所述更新后的无人机图像信息包含所述第二标注信息。

在一些实施例中，上述设备还包括第三六模块36(未示出)，第三六模块36向所述无人机控制设备发送所述决策辅助信息。例如，决策设备可在收到无人机控制设备所发送的无人机图像信息后，对无人机图像信息执行目标识别操作，并呈现相应的识别结果，以供决策方(例如指挥人员)参考；同时，决策设备将该识别结果发送至无人机控制设备以供无人机飞手参考，从而提高无人机飞手的操作效率以及各方的协作效率。其中，在一些实施例中，决策设备根据所述识别结果更新无人机控制设备所发送的无人机图像信息，并将更新后的无人机图像信息发送至无人机控制设备，其中所述更新后的无人机图像信息包含所述识别结果。

根据本申请的另一个方面，提供了一种用于呈现决策辅助信息的无人机控制设备。参考图9，该设备包括第四一模块41、第四二模块42和第四三模块43。第四一模块41获取对应的无人机所拍摄的无人机图像信息，以及对应的决策辅助信息；第四二模块42基于所述决策辅助信息，更新所述无人机图像信息；第四三模块43向对应的决策设备发送更新后的无人机图像信息。

在一些实施例中，第四二模块42获取对应的无人机所拍摄的无人机图像信息，并根据用户关于所述无人机图像的图像标注操作确定至少一项第一标注信息，再基于所述至少一项第一标注信息确定所述无人机图像信息所对应的决策辅助信息，其中无人机控制设备确定所述第一标注信息的方式与以上所述的无人机控制设备确定所述第一标注信息的方式相同或基本相同，不再赘述，并以引用的方式包含于此。

在一些实施例中，第四一模块41获取对应的无人机所拍摄的无人机图像信息，并对所述无人机图像信息执行目标识别操作，以获得对应的目标识别结果，从而获得对应的决策辅助信息，其中所述决策辅助信息包含所述目标识别结果，以避免遗漏目标。

在一些实施例中，上述设备还包括第四四模块44(未示出)，其接收所述决策设备所发送的决策辅助信息。例如，决策设备可在收到无人机控制设备所发送的无人机图像信息后，对无人机图像信息执行目标识别操作，并呈现相应的识别结果，以供决策方(例如指挥人员)参考；同时，决策设备将该识别结果发送至无人机控制设备以供无人机飞手参考，从而提高无人机飞手的操作效率以及各方的协作效率。其中，在一些实施例中，决策设备根据所述识别结果更新无人机控制设备所发送的无人机图像信息，并将更新后的无人机图像信息发送至无人机控制设备，其中所述更新后的无人机图像信息包含所述识别结果。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机代码，当所述计算机代码被执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机程序产品，当所述计算机程序产品被计算机设备执行时，如前任一项所述的方法被执行。

本申请还提供了一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器，用于存储一个或多个计算机程序；

当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如前任一项所述的方法。

图10示出了可被用于实施本申请中所述的各个实施例的示例性系统。

如图10所示在一些实施例中，系统100能够作为各所述实施例中的任意一个决策设备或者无人机控制设备。在一些实施例中，系统100可包括具有指令的一个或多个计算机可读介质(例如，系统存储器或NVM/存储设备120)以及与该一个或多个计算机可读介质耦合并被配置为执行指令以实现模块从而执行本申请中所述的动作的一个或多个处理器(例如，(一个或多个)处理器105)。

对于一个实施例，系统控制模块110可包括任意适当的接口控制器，以向(一个或多个)处理器105中的至少一个和/或与系统控制模块110通信的任意适当的设备或组件提供任意适当的接口。

系统控制模块110可包括存储器控制器模块130，以向系统存储器115提供接口。存储器控制器模块130可以是硬件模块、软件模块和/或固件模块。

系统存储器115可被用于例如为系统100加载和存储数据和/或指令。对于一个实施例，系统存储器115可包括任意适当的易失性存储器，例如，适当的DRAM。在一些实施例中，系统存储器115可包括双倍数据速率类型四同步动态随机存取存储器(DDR4SDRAM)。

对于一个实施例，系统控制模块110可包括一个或多个输入/输出(I/O)控制器，以向NVM/存储设备120及(一个或多个)通信接口125提供接口。

例如，NVM/存储设备120可被用于存储数据和/或指令。NVM/存储设备120可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(HDD)、一个或多个光盘(CD)驱动器和/或一个或多个数字通用光盘(DVD)驱动器)。

NVM/存储设备120可包括在物理上作为系统100被安装在其上的设备的一部分的存储资源，或者其可被该设备访问而不必作为该设备的一部分。例如，NVM/存储设备120可通过网络经由(一个或多个)通信接口125进行访问。

(一个或多个)通信接口125可为系统100提供接口以通过一个或多个网络和/或与任意其他适当的设备通信。系统100可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信。

对于一个实施例，(一个或多个)处理器105中的至少一个可与系统控制模块110的一个或多个控制器(例如，存储器控制器模块130)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器105中的至少一个可与系统控制模块110的一个或多个控制器的逻辑封装在一起以形成系统级封装(SiP)。对于一个实施例，(一个或多个)处理器105中的至少一个可与系统控制模块110的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器105中的至少一个可与系统控制模块110的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(SoC)。

在各个实施例中，系统100可以但不限于是：服务器、工作站、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)。在各个实施例中，系统100可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，系统100包括一个或多个摄像机、键盘、液晶显示器(LCD)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(ASIC)和扬声器。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。本领域技术人员应能理解，计算机程序指令在计算机可读介质中的存在形式包括但不限于源文件、可执行文件、安装包文件等，相应地，计算机程序指令被计算机执行的方式包括但不限于：该计算机直接执行该指令，或者该计算机编译该指令后再执行对应的编译后程序，或者该计算机读取并执行该指令，或者该计算机读取并安装该指令后再执行对应的安装后程序。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。

通信介质包括藉此包含例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质(诸如电缆和线(例如，光纤、同轴等))和能传播能量波的无线(未有导的传输)介质，诸如声音、电磁、RF、微波和红外。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质(诸如载波或诸如被体现为扩展频谱技术的一部分的类似机制)中的已调制数据信号。术语“已调制数据信号”指的是其一个或多个特征以在信号中编码信息的方式被更改或设定的信号。调制可以是模拟的、数字的或混合调制技术。

作为示例而非限制，计算机可读存储介质可包括以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括，但不限于，易失性存储器，诸如随机存储器(RAM,DRAM,SRAM)；以及非易失性存储器，诸如闪存、各种只读存储器(ROM,PROM,EPROM,EEPROM)、磁性和铁磁/铁电存储器(MRAM,FeRAM)；以及磁性和光学存储设备(硬盘、磁带、CD、DVD)；或其它现在已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。

在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (33)

1.一种在决策设备端用于呈现决策辅助信息的方法，其中，该方法包括：

接收对应的无人机控制设备所发送的无人机图像信息；

获取所述无人机图像信息所对应的决策辅助信息；

呈现所述无人机图像信息以及所述决策辅助信息。

2.根据权利要求1所述的方法，其中，所述获取所述无人机图像信息所对应的决策辅助信息，包括：

接收所述无人机控制设备所发送的、所述无人机图像信息所对应的决策辅助信息。

3.根据权利要求2所述的方法，其中，所述决策辅助信息包括第一标注信息，所述第一标注信息包括第一标注元素及其第一呈现位置信息；

所述呈现所述无人机图像信息以及所述决策辅助信息，包括：

呈现所述无人机图像信息，并基于所述第一标注信息呈现所述决策辅助信息。

4.根据权利要求3所述的方法，其中，所述第一标注信息还包括所述第一标注元素所对应的时间轴位置信息。

5.根据权利要求1所述的方法，其中，所述获取所述无人机图像信息所对应的决策辅助信息，包括：

对所述无人机图像信息执行目标识别操作，以获取所述无人机图像信息所对应的决策辅助信息。

6.根据权利要求5所述的方法，其中，所述对所述无人机图像信息执行目标识别操作，以获取所述无人机图像信息所对应的决策辅助信息，包括：

接收所述无人机控制设备所发送的目标识别结果信息；

当所述目标识别结果信息包括识别失败，对所述无人机图像信息执行目标识别操作，以获取所述无人机图像信息所对应的决策辅助信息。

7.根据权利要求6所述的方法，其中，所述决策辅助信息包括目标跟踪信息；

所述方法还包括：

向所述无人机控制设备发送所述目标跟踪信息。

8.根据权利要求1所述的方法，其中，所述方法还包括：

基于用户的关于所述无人机图像的图像标注操作，确定至少一项第二标注信息；

向所述无人机控制设备发送所述至少一项第二标注信息。

9.根据权利要求1所述的方法，其中，所述接收对应的无人机控制设备所发送的无人机图像信息，包括：

经由对应的网络设备，接收对应的无人机控制设备所发送的无人机图像信息。

10.根据权利要求1所述的方法，其中，

所述方法还包括：

基于所述无人机图像信息所对应的电子地图信息以及用户的地图标注操作，确定所述地图标注操作所对应的地理位置信息；

向所述无人机控制设备发送至少一项第二标注信息，其中至少一项所述第二标注信息包括所述地理位置信息。

11.根据权利要求1所述的方法，其中，所述方法还包括：

向所述无人机控制设备发送所述决策辅助信息。

12.一种在无人机控制设备端用于呈现决策辅助信息的方法，其中，该方法包括：

获取对应的无人机所拍摄的无人机图像信息；

向对应的决策设备发送所述无人机图像信息。

13.根据权利要求12所述的方法，其中，所述方法还包括：

确定所述无人机图像信息所对应的决策辅助信息；

所述向对应的决策设备发送所述无人机图像信息，包括：

向对应的决策设备发送所述无人机图像信息以及所述决策辅助信息。

14.根据权利要求13所述的方法，其中，所述确定所述无人机图像信息所对应的决策辅助信息，包括：

根据用户关于所述无人机图像的图像标注操作，确定至少一项第一标注信息；

基于所述至少一项第一标注信息确定所述无人机图像信息所对应的决策辅助信息。

15.根据权利要求14所述的方法，其中，至少一项所述第一标注信息包括其对应的时间轴位置信息。

16.根据权利要求12所述的方法，其中，所述方法还包括：

对所述无人机图像信息执行目标识别操作；

向所述决策设备发送关于所述目标识别操作的目标识别结果信息。

17.根据权利要求16所述的方法，其中，所述方法还包括：

当所述目标识别结果信息包括识别成功，向所述决策设备发送决策辅助信息，其中，所述决策辅助信息包括目标辅助跟踪信息。

18.根据权利要求16所述的方法，其中，所述方法还包括：

当所述目标识别结果信息包括识别失败，接收所述决策设备所发送的目标跟踪信息。

19.根据权利要求12所述的方法，其中，所述方法还包括：

接收并呈现所述决策设备所发送的至少一项第二标注信息。

20.根据权利要求19所述的方法，其中，所述方法还包括：

基于所述第二标注信息，确定至少一项地理位置信息，并基于所述至少一项地理位置信息确定无人机的限制活动范围。

21.根据权利要求20所述的方法，其中，至少一项所述第二标注信息包括地理位置信息；

所述基于所述第二标注信息，确定至少一项地理位置信息，并基于所述至少一项地理位置信息确定无人机的限制活动范围，包括：

基于所述地理位置信息确定无人机的限制活动范围，；

检测所述无人机的当前活动状态；

当所述当前活动状态不满足所述限制活动范围，向用户提供对应的超限活动提示。

22.根据权利要求12所述的方法，其中，所述向对应的决策设备发送所述无人机图像信息，包括：

经由对应的网络设备，向对应的决策设备发送所述无人机图像信息。

23.根据权利要求12所述的方法，其中，所述方法还包括：

接收所述决策设备所发送的决策辅助信息。

24.一种在决策设备端用于呈现决策辅助信息的方法，其中，该方法包括：

接收对应的无人机控制设备所发送的无人机图像信息，其中所述无人机图像信息包括决策辅助信息；

呈现所述无人机图像信息，以呈现所述决策辅助信息。

25.一种在无人机控制设备端用于呈现决策辅助信息的方法，其中，该方法包括：

获取对应的无人机所拍摄的无人机图像信息，以及对应的决策辅助信息；

基于所述决策辅助信息，更新所述无人机图像信息；

向对应的决策设备发送更新后的无人机图像信息。

26.一种用于呈现决策辅助信息的方法，其中，该方法包括：

无人机控制设备获取对应的无人机所拍摄的无人机图像信息，并向对应的决策设备发送所述无人机图像信息；

所述决策设备接收所述无人机图像信息，并获取所述无人机图像信息所对应的决策辅助信息；

所述决策设备呈现所述无人机图像信息以及所述决策辅助信息。

27.一种用于呈现决策辅助信息的方法，其中，该方法包括：

无人机控制设备获取对应的无人机所拍摄的无人机图像信息，以及对应的决策辅助信息；

所述无人机控制设备基于所述决策辅助信息更新所述无人机图像信息，并向对应的决策设备发送更新后的无人机图像信息；

所述决策设备接收并呈现所述无人机图像信息，以呈现所述决策辅助信息。

28.一种用于呈现决策辅助信息的决策设备，其中，该决策设备包括：

第一一模块，用于接收对应的无人机控制设备所发送的无人机图像信息；

第一二模块，用于获取所述无人机图像信息所对应的决策辅助信息；

第一三模块，用于呈现所述无人机图像信息以及所述决策辅助信息。

29.一种用于呈现决策辅助信息的无人机控制设备，其中，该无人机控制设备包括：

第二一模块，用于获取对应的无人机所拍摄的无人机图像信息；

第二二模块，用于向对应的决策设备发送所述无人机图像信息。

30.一种用于呈现决策辅助信息的决策设备，其中，该决策设备包括：

第三一模块，用于接收对应的无人机控制设备所发送的无人机图像信息，其中所述无人机图像信息包括决策辅助信息；

第三二模块，用于呈现所述无人机图像信息，以呈现所述决策辅助信息。

31.一种用于呈现决策辅助信息的无人机控制设备，其中，该无人机控制设备包括：

第四一模块，用于获取对应的无人机所拍摄的无人机图像信息，以及对应的决策辅助信息；

第四二模块，用于基于所述决策辅助信息，更新所述无人机图像信息；

第四三模块，用于向对应的决策设备发送更新后的无人机图像信息。

32.一种用于呈现决策辅助信息的设备，其中，该设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行根据权利要求1至27中任一项所述方法的操作。

33.一种包括指令的计算机可读介质，所述指令在被执行时使得系统进行根据权利要求1至27中任一项所述方法的操作。