CN110955257B - 一种多目标传输方法、系统及遥控设备、无人机 - Google Patents

Abstract

本发明涉及飞行器技术领域，公开了一种多目标传输方法、系统及遥控设备、无人机，所述多目标传输方法，应用于遥控设备，所述遥控设备通信连接无人机以及移动终端，包括：实时接收无人机发送的数据包，每一数据包包括N个目标的目标信息，其中，N为正整数；根据所述数据包的数据标识，缓存数据标识相同的多个数据包；对数据标识相同的多个数据包进行组合，生成组合后的数据包；向所述移动终端发送所述组合后的数据包。通过数据标识对同一帧图像的多个数据包进行组合，生成并向移动终端发送组合后的数据包，本发明实施例能够解决目前无人机在多目标下进行数据传输由于带宽不足而导致目标丢失的技术问题，提高无人机进行多目标数据传输的准确性。

Description

一种多目标传输方法、系统及遥控设备、无人机

技术领域

本发明涉及飞行器技术领域，特别是涉及一种多目标传输方法、系统及遥控设备、无人机。

背景技术

无人飞行器(Unmanned Aerial Vehicle，UAV)，也称无人机，以其具有体积小、重量轻、机动灵活、反应快速、无人驾驶、操作要求低等优点，得到了越来越广泛的应用。无人飞行器的各个动作(或姿态)通常是通过控制无人飞行器的动力系统中的多个驱动电机不同转速实现的。

基于深度学习的目标检测在消费机领域有着广泛的应用，理论上来说，检测算法能够检测到图像中上千个目标(前提是图像中有这么多的目标)，但在实际应用场景下，一帧图像中包含的目标大概在0-50个，受限于无人机和遥控器之间无线带宽的影响，一次发给遥控器的数据量有限，这就导致在某些情况下，检测到的目标没有通过遥控器发送给移动终端，而简单的采用分包发送，会使移动终端认为是多个帧的检测结果，导致移动终端呈现给用户的结果也会出错。

基于此，现有技术亟待改进。

发明内容

本发明实施例提供一种多目标传输方法、系统及遥控设备、飞行器，解决目前无人机在多目标下进行数据传输由于带宽不足而导致目标丢失的技术问题，提高无人机进行多目标数据传输的准确性。

为解决上述技术问题，本发明实施例提供以下技术方案：

第一方面，本发明实施例提供一种多目标传输方法，应用于遥控设备，所述遥控设备通信连接无人机以及移动终端，所述方法包括：

实时接收无人机发送的数据包，每一所述数据包包括N个目标的目标信息，其中，N为正整数；

根据所述数据包的数据标识，缓存数据标识相同的多个数据包；

对数据标识相同的多个数据包进行组合，生成组合后的数据包；

向所述移动终端发送所述组合后的数据包。

在一些实施例中，在实时接收无人机发送的数据包之前，所述无人机对同一帧图像中的每一个数据包以唯一的数据标识进行标识，并且，后一帧图像的数据标识大于前一帧图像的数据标识。

在一些实施例中，所述遥控设备设置有缓存单元，所述根据所述数据包的数据标识，缓存数据标识相同的多个数据包，包括：

根据所述数据包的数据标识，通过缓存单元缓存数据标识相同的多个数据包。

在一些实施例中，所述缓存单元包括队列结构，所述根据所述数据包的数据标识，通过缓存单元缓存数据标识相同的多个数据包，包括：

识别每一所述数据包的数据标识，将数据标识相同的数据包封装于同一队列。

在一些实施例中，所述识别每一所述数据包的数据标识，将数据标识相同的数据包封装于同一队列，包括：

初始化队列为空；

判断当前队列是否为空；

若是，则将当前接收到的数据包加入队列；

若否，则获取队列尾部的数据包的数据标识；

若当前接收到的数据包的数据标识等于队列尾部的数据包的数据标识，则将当前接收到的数据包加入队列；

若当前接收到的数据包的数据标识小于队列尾部的数据包的数据标识，则丢弃当前接收到的数据包；

若当前接收到的数据包的数据标识大于队列尾部的数据包的数据标识，则将队列中的全部的数据包出队列，并将当前接收到的数据包加入队列。

在一些实施例中，每一数据包包括一顺序编号，所述顺序编号用于确定所述数据包在其对应的帧图像中的顺序，所述对数据标识相同的多个数据包进行组合，生成组合后的数据包，包括：

根据所述多个数据包的数据标识以及顺序编号；

组合数据标识相同的多个数据包，生成组合后的数据包。

在一些实施例中，每一目标的目标信息包括置信度信息，所述方法还包括：

根据所述置信度信息，对每一个数据包中的全部目标进行排序。

第二方面，本发明实施例提供一种多目标传输方法，应用于无人机，所述无人机通信连接遥控设备，所述方法包括：

对当前帧图像进行检测，获取检测结果，所述检测结果包括多个目标；

对所述多个目标进行分组，每一分组对应一个数据包，每一所述数据包包括N个目标的目标信息，其中，N为正整数；

对每一分组按照从小到大的顺序进行编号；

根据所述分组的编号，依次向所述遥控设备发送所述分组对应的数据包。

在一些实施例中，所述对所述多个目标进行分组之前，所述方法还包括：

对同一帧图像中的每一个数据包以唯一的数据标识进行标识，并设置后一帧图像的数据标识大于前一帧图像的数据标识。

第三方面，本发明实施例提供一种多目标传输装置，应用于遥控设备，所述遥控设备通信连接无人机以及移动终端，包括：

数据包接收单元，用于实时接收无人机发送的数据包，每一所述数据包包括N个目标的目标信息，其中，N为正整数；

数据包缓存单元，用于根据所述数据包的数据标识，缓存数据标识相同的多个数据包；

数据包组合单元，用于对数据标识相同的多个数据包进行组合，生成组合后的数据包；

数据包发送单元，用于向所述移动终端发送所述组合后的数据包。

在一些实施例中，在实时接收无人机发送的数据包之前，所述无人机对同一帧图像中的每一个数据包以唯一的数据标识进行标识，并且，后一帧图像的数据标识大于前一帧图像的数据标识。

在一些实施例中，所述遥控设备设置有缓存单元，所述数据包缓存单元，具体用于：

根据所述数据包的数据标识，通过缓存单元缓存数据标识相同的多个数据包。

在一些实施例中，所述缓存单元包括队列结构，所述数据包缓存单元，具体用于：

识别每一所述数据包的数据标识，将数据标识相同的数据包封装于同一队列。

在一些实施例中，所述数据包缓存单元，具体用于：

初始化队列为空；

判断当前队列是否为空；

若是，则将当前接收到的数据包加入队列；

若否，则获取队列尾部的数据包的数据标识；

若当前接收到的数据包的数据标识等于队列尾部的数据包的数据标识，则将当前接收到的数据包加入队列；

若当前接收到的数据包的数据标识小于队列尾部的数据包的数据标识，则丢弃当前接收到的数据包；

若当前接收到的数据包的数据标识大于队列尾部的数据包的数据标识，则将队列中的全部的数据包出队列，并将当前接收到的数据包加入队列。

在一些实施例中，所述每一数据包包括一顺序编号，所述顺序编号用于确定所述数据包在其对应的帧图像中的顺序，所述数据包组合单元，具体用于：

根据所述多个数据包的数据标识以及顺序编号；

组合数据标识相同的多个数据包，生成组合后的数据包。

在一些实施例中，每一目标的目标信息包括置信度信息，所述装置还包括：

置信度单元，用于根据所述置信度信息，对每一个数据包中的全部目标进行排序。

第四方面，本发明实施例还提供一种多目标传输装置，应用于无人机，所述无人机通信连接遥控设备，所述装置包括：

检测单元，用于对当前帧图像进行检测，获取检测结果，所述检测结果包括多个目标；

分组单元，用于对所述多个目标进行分组，每一分组对应一个数据包，每一所述数据包包括N个目标的目标信息，其中，N为正整数；

编号单元，用于对每一分组按照从小到大的顺序进行编号；

数据包发送单元，用于根据所述分组的编号，依次向所述遥控设备发送所述分组对应的数据包。

在一些实施例中，所述装置还包括：

标识单元，用于对同一帧图像中的每一个数据包以唯一的数据标识进行标识，并设置后一帧图像的数据标识大于前一帧图像的数据标识。

第五方面，本发明实施例提供一种遥控设备，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的多目标传输方法。

第六方面，本发明实施例提供一种无人机，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的多目标传输方法。

第七方面，本发明实施例还提供一种多目标传输系统，包括：

如上所述的遥控设备；

如上所述的无人机；

以及移动终端，

其中，所述遥控设备通信连接所述无人机以及所述移动终端，所述无人机通信连接所述移动终端。

第八方面，本发明实施例还提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使无人飞行器能够执行如上所述的多目标传输方法。

本发明实施例的有益效果是：区别于现有技术的情况下，本发明实施例提供的一种多目标传输方法，应用于遥控设备，所述遥控设备通信连接无人机以及移动终端，包括：实时接收无人机发送的数据包，每一所述数据包包括N个目标的目标信息，其中，N为正整数；根据所述数据包的数据标识，缓存数据标识相同的多个数据包；对数据标识相同的多个数据包进行组合，生成组合后的数据包；向所述移动终端发送所述组合后的数据包。通过数据标识对同一帧图像的多个数据包进行组合，生成并向移动终端发送组合后的数据包，本发明实施例能够目前无人机在多目标下进行数据传输由于带宽不足而导致目标丢失的技术问题，提高无人机进行多目标数据传输的准确性。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明实施例提供的一种无人飞行器的结构示意图；

图2是本发明实施例提供的一种多目标传输方法的流程示意图；

图3是图2中的步骤S23的细化流程图；

图4是本发明实施例提供的另一种多目标传输方法的流程示意图；

图5是本发明实施例提供的多目标传输系统的工作流程图；

图6是本发明实施例提供的一种多目标传输装置的结构示意图；

图7是本发明实施例提供的另一种多目标传输装置的结构示意图；

图8是本发明实施例提供一种无人机的硬件结构示意图；

图9是本发明实施例提供的另一种无人机的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明实施例提供的多目标传输方法可以应用到各种通过电机或马达驱动的可移动物体上，包括但不限于飞行器、机器人等。其中飞行器可包括无人飞行器(unmannedaerial vehicle，UAV)，无人飞船等。现以UAV为例进行说明。

下面结合附图，对本发明实施例作进一步阐述。

在本发明的一实施例中，无人飞行器为四旋翼无人机。

请参阅图1，图1是本发明实施例提供的一种多目标传输系统的结构示意图；

如图1所示，该多目标传输系统100包括：无人机10、遥控设备20以及移动终端30，其中，所示无人机10通信连接所述遥控设备20，所述遥控设备20通信连接所述移动终端30，例如：所述无人机10余所述遥控设备20无线通信连接，例如：通过4G、5G、蓝牙等无线方式进行连接，所述遥控设备20与所述移动终端30通过有线通信连接，例如：通过多种通信协议的接口，如Modbus、TCP/IP、OPC、以太网等通信协议的接口进行连接。可以理解的是，所述无人机10还通信连接所述移动终端30，用于接收所述遥控设备20或移动终端30发送的命令，或者，向所述遥控设备20或移动终端30发送数据。

具体的，该无人机10包括：机身111、与所述机身11相连的机臂12、设置于所述机臂12的动力装置13，连接至该机身11底部的云台14，安装在云台14上的摄像头15以及设置于机身11内的飞行控制器(图未示)。

其中，飞行控制器与动力装置13连接，动力装置13安装在所述机身11上，用于为所述无人机10提供飞行动力。具体的，飞行控制器用于将控制指令发送给动力装置13的电调，电调通过该控制指令控制动力装置13的驱动电机。

机身11包括：中心壳体以及与中心壳体连接的一个或多个机臂，一个或多个机臂呈辐射状从中心壳体延伸出。机臂与中心壳体的连接可以是一体连接或者固定连接。动力装置安装于机臂上。

动力装置13包括：电调，驱动电机和螺旋桨。电调位于机臂或中心壳体所形成的空腔内。电调分别与控制器及驱动电机连接。具体的，电调与驱动电机电连接，用于控制所述驱动电机。驱动电机安装在机臂上，驱动电机的转动轴连接螺旋桨。螺旋桨在驱动电机的驱动下产生使得无人机10移动的力，例如，使得无人机10移动的升力或者推力。

无人机10完成各个规定速度、动作(或姿态)是通过电调控制驱动电机以实现的。电调全称电子调速器，根据控制信号调节无人机10的驱动电机的转速。电调控制驱动电机的原理大致为：驱动电机是将电脉冲信号转变为角位移或线位移的开环控制元件。在非超载的情况下，驱动电机的转速、停止的位置只取决于脉冲信号的频率和脉冲数，而不受负载变化的影响，当驱动器接收到一个脉冲信号，它就驱动动力装置的驱动电机按设定的方向转动一个固定的角度，它的旋转是以固定的角度运行的。因此，电调可以通过控制脉冲个数来控制角位移量，从而达到准确定位的目的；同时可以通过控制脉冲频率来控制驱动电机转动的速度和加速度，从而达到调速的目的。

目前无人机10主要功能为航拍、影像实时传输、高危地区探测等。为了实现航拍、影像实时传输、高危地区探测等功能，无人机10上会连接有摄像组件。具体的，无人机10和摄像组件通过连接结构，如减振球等进行连接。该摄像组件用于在无人机10进行航拍的过程中，获取拍摄画面。

具体的，摄像组件包括：云台及拍摄装置。云台与无人机10连接。其中，拍摄装置搭载于所述云台上，拍摄装置可以为图像采集装置，用于采集图像，该拍摄装置包括但不限于：相机、摄影机、摄像头、扫描仪、拍照手机等。云台用于搭载拍摄装置，以实现拍摄装置的固定、或随意调节拍摄装置的姿态(例如，改变拍摄装置的高度、倾角和/或方向)以及使所述拍摄装置稳定保持在设定的姿态上。例如，当无人机10进行航拍时，云台主要用于使所述拍摄装置稳定保持在设定的姿态上，防止拍摄装置拍摄画面抖动，保证拍摄画面的稳定。

云台14与飞行控制器连接，以实现云台14与飞行控制器之间的数据交互。例如，飞行控制器发送偏航指令至云台14，云台14获取偏航的速度和方向指令并执行，且将执行偏航指令后所产生的数据信息发送至飞行控制器，以便飞行控制器检测当前偏航状况。

云台包括：云台电机及云台基座。其中，云台电机安装于云台基座。飞行控制器也可通过动力装置13的电调来控制云台电机，具体的，飞行控制器与电调连接，电调与云台电机电连接，飞行控制器生成云台电机控制指令，电调通过云台电机控制指令以控制云台电机。

云台基座与飞行器的机身连接，用于将摄像组件固定安装于飞行器的机身上。

云台电机分别与云台基座及拍摄装置连接。该云台可以为多轴云台，与之适应的，云台电机为多个，也即每个轴设置有一个云台电机。云台电机一方面可带动拍摄装置的转动，从而满足拍摄转轴的水平旋转和俯仰角度的调节，通过手动远程控制云台电机旋转或利用程序让电机自动旋转，从而达到全方位扫描监控的作用；另一方面，在飞行器进行航拍的过程中，通过云台电机的转动实时抵消拍摄装置受到的扰动，防止拍摄装置抖动，保证拍摄画面的稳定。

拍摄装置搭载于云台上，拍摄装置上设置有惯性测量单元(Inertialmeasurement unit，IMU)，该惯性测量单元用于测量物体三轴姿态角(或角速率)以及加速度的装置。一般的，一个IMU内会装有三轴的陀螺仪和三个方向的加速度计，来测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。为了提高可靠性，还可以为每个轴配备更多的传感器。一般而言IMU要安装在飞行器的重心上。

请再参阅图2，图2是本发明实施例提供的一种多目标传输方法的流程示意图；

其中，该多目标传输方法，应用于遥控设备，所述遥控设备通信连接无人机以及移动终端，所述无人机在获取到图像后，每一帧图像可能包含多个目标，而每一帧图像需要通过多个数据包进行发送，由于当前无人机与遥控设备之间的无线带宽支持的目标的数量有限，而遥控设备与移动终端之间的有线带宽支持更多数量的目标的发送，因此，为了避免网络不稳定造成的网络延迟或者丢包的现象，本发明提出通过在遥控设备组合数据包的方式来提高多目标数据传输的准确性。

如图2所示，所述方法包括：

步骤S21：实时接收无人机发送的数据包，每一所述数据包包括N个目标的目标信息，其中，N为正整数；

具体的，所述无人机通过获取帧图像，并对每一帧图像分成多个数据包进行发送，每个数据包包括N个目标的目标信息，其中，N为正整数，并且，N的取值与所述无人机与遥控设备之间的无线带宽相关，N的取值为所述无人机与遥控设备之间的无线带宽支持的最大目标数，例如：N的取值为8、10等。

步骤S22：根据所述数据包的数据标识，缓存数据标识相同的多个数据包；

具体的，所述无人机在获取到帧图像并对帧图像进行分包时，对所述帧图像中的每一数据包均通过数据标识进行标识，以确定每一数据包属于特定的帧图像，通过相同的数据标识对同一帧图像中的每一个数据包进行标识，也就是说，同一帧图像的多个数据包的数据标识相同，并且，后一帧图像的数据标识大于前一帧图像的数据标识，例如：通过增加ID字段来标识帧图像的数据包，当无人机每发送一帧图像的检测结果后，将所述ID字段的值自动加一，以使所述后一帧图像的数据标识大于前一帧图像的数据标识。

其中，所述无人机在将所述帧图像进行分包后，还对每一个数据包进行顺序编号，每一数据包包括唯一的顺序编号，例如：seq表示顺序编号，从1一直到分包的数量，所述无人机按照编号顺序依次向所述遥控设备发送对应的数据包，以发送一帧图像。

由于数据发送过程中网络的延迟性，所述遥控设备未必能够一一接收到按照顺序发送的数据包，因此所述遥控设备在接收到数据包后，将根据所述数据包的数据标识，缓存数据标识相同的多个数据包，相当于缓存同一帧图像中的多个数据包，以使所述遥控设备能够将多个数据包进行组合，完整地将一帧图像发送到移动终端。

步骤S23：对数据标识相同的多个数据包进行组合，生成组合后的数据包；

具体的，所述遥控设备在接收到无人机发送的数据包后，识别所述数据包的数据标识，将数据标识相同的多个数据包进行组合，生成组合后的数据包。

在本发明实施例中，所述遥控设备设置有缓存单元，所述根据所述数据包的数据标识，缓存数据标识相同的多个数据包，包括：

根据所述数据包的数据标识，通过缓存单元缓存数据标识相同的多个数据包。

具体的，所述缓存单元可以为高速寄存器，例如：可编程只读存储器(ProgrammableRead-Only Memory，PROM)、可擦可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、电可擦除只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)、闪存(Flash Memory)以及电池供电的随机存取储存器(Random Access Memory，RAM)。

优选地，所述缓存单元包括队列结构，所述根据所述数据包的数据标识，通过缓存单元缓存数据标识相同的多个数据包，包括：

识别每一所述数据包的数据标识，将数据标识相同的数据包封装于同一队列。

具体的，请再参阅图3，图3是图2中的步骤S23的细化流程图；

如图3所示，所述识别每一所述数据包的数据标识，将数据标识相同的数据包封装于同一队列，包括：

步骤S231：初始化队列为空；

步骤S232：判断当前队列是否为空；

具体的，当遥控设备接收到一个数据包后，首先判断当前队列是否为空，若当前队列为空，则将接收到的数据包加入队列；

步骤S233：将当前接收到的数据包加入队列；

步骤S234：获取队列尾部的数据包的数据标识；

具体的，若当前队列不为空，则获取队列尾部的数据包的数据标识，即获取队列尾部的数据包的ID。

步骤S235：判断当前接收到的数据包的数据标识是否等于队列尾部的数据包的数据标识；

具体的，判断当前接收到的数据包的数据标识与所述队列尾部的ID是否相同，若是，则直接将所述当前接收到的数据包加入队列，即加入队列尾部，使所述队列尾部的数据包更新为当前接收到的数据包。

步骤S236：将当前接收到的数据包加入队列；

步骤S237：判断当前接收到的数据包的数据标识是否大于队列尾部的数据包的数据标识；

具体的，若当前接收到的数据包的数据标识不等于所述队列尾部的数据包的数据标识，则进一步判断当前接收到的数据包的数据是否大于队列尾部的数据包的数据标识，若是，则进入步骤S238：将队列中的全部的数据包出队列，并将当前接收到的数据包加入队列，若否，则进入步骤S239：丢弃当前接收到的数据包。

步骤S238：将队列中的全部的数据包出队列，并将当前接收到的数据包加入队列；

具体的，若当前接收到的数据包的数据标识，即ID大于队列尾部的数据包的ID，则将队列中的所有的数据包出队列，并且，由于每一数据包包括一个顺序编号seq，所述顺序编号用于确定所述数据包在其对应的帧图像中的顺序，所述对数据标识相同的多个数据包进行组合，生成组合后的数据包，包括：

根据所述多个数据包的数据标识以及顺序编号；

组合数据标识相同的多个数据包，生成组合后的数据包。

具体的，将队列中的全部数据包按照顺序编号从小到大进行排序，将排序后的全部数据包进行组合，生成组合后的一个数据包，以使所述遥控设备将所述组合后的一个数据包发送到移动终端，其中，所述移动终端安装有应用程序APP，通过所述应用程序APP接收所述组合后的数据包，并呈现所述组合后的数据包。

步骤S239：丢弃当前接收到的数据包；

步骤S24：向所述移动终端发送所述组合后的数据包。

在本发明实施例中，所述目标信息以TargetInfo表示，该目标信息包括：x,y,w,h,lable,confidence，其中，x,y为目标在图像中的坐标点，w为目标的宽，h为目标的高，label为目标的类别，confidence为目标的置信度信息。

下面举例说明一个数据包Package的信息(包含8个目标)：

Package：

TargetInfo1

TargetInfo2

TargetInfo3

TargetInfo4

TargetInfo5

TargetInfo6

TargetInfo7

TargetInfo8

TargetCount

每个package固定8个target，每一target包括x,y,w,h,lable,confidence，其中，x,y为目标在图像中的坐标点，w为目标的宽，h为目标的高，label为目标的类别，confidence为目标的置信度信息，其中TargetCount表示当前package中有效target的个数，例如TargetCount＝6表示当前包中前6个为有效目标。

在本发明实施例中，遥控设备在获取无人机发送的同一帧图像的多个数据包，每一所述数据包包括N个目标的目标信息，其中，所述N个目标中包含M个有效目标的有效目标信息，其中，所述无人机对同一帧图像中的每一个数据包以唯一的数据标识进行标识，M≤N且M、N均为正整数，其中，每一数据包的目标信息中还包括目标的置信度信息，所述方法还包括：

根据所述置信度信息，对每一个数据包中的全部目标进行排序。

具体的，由于一帧图像中包括多个目标，而一个数据包中也同样包括多个目标，为了对数据包中的多个目标进行排序，需要确定每一目标的置信度信息，置信度越高，则排序越靠前，从而对一个数据包中的所有目标进行排序，其中，所述方法还包括：根据所述置信度信息，确定所述数据包中的全部目标中的有效目标，例如：预设置信度阈值，若某一目标的置信度大于所述置信度阈值，则确定该目标为有效目标，从而确定所述数据包中的有效目标的数量。

在本发明实施例中，通过提供一种多目标传输方法，应用于遥控设备，所述遥控设备通信连接无人机以及移动终端，包括：实时接收无人机发送的数据包，每一所述数据包包括N个目标的目标信息，其中，N为正整数；根据所述数据包的数据标识，缓存数据标识相同的多个数据包；对数据标识相同的多个数据包进行组合，生成组合后的数据包；向所述移动终端发送所述组合后的数据包。通过数据标识对同一帧图像的多个数据包进行组合，生成并向移动终端发送组合后的数据包，本发明实施例能够目前无人机在多目标下进行数据传输由于带宽不足而导致目标丢失的技术问题，提高无人机进行多目标数据传输的准确性。

请再参阅图4，图4是本发明实施例提供的另一种多目标传输方法的流程示意图；

其中，该多目标传输方法，应用于无人机，所述无人机通信连接遥控设备，或者，所述无人机通信连接所述移动终端，所述无人机用于向所述遥控设备和/或移动终端发送图像数据。

如图4所示，该多目标传输方法，包括：

步骤S41：对当前帧图像进行检测，获取检测结果，所述检测结果包括多个目标；

具体的，无人机的摄像头获取视频数据和/或图像数据，并对当前帧图像进行检测，获取检测结果，所述检测结果包括多个目标，例如：一帧图像中包括40个目标。

步骤S42：对所述多个目标进行分组，每一分组对应一个数据包，每一所述数据包包括N个目标的目标信息，其中，N为正整数；

其中，由于无人机与遥控设备之间的无线带宽的限制，一个数据包中只能包含N个目标，N的取值与所述无人机与遥控设备之间的无线带宽相关，N的取值为所述无人机与遥控设备之间的无线带宽支持的最大目标数，例如：N的取值为8、10等。

在本发明实施例中，所述无人机通过对所述多个目标进行分组，每一分组对应一个数据包，每一所述数据包包括N个目标的目标信息，可以理解的是，当最后一组的目标数量不足N个时，以剩余的目标数确定最后一组的数据包的目标的数量，例如：

假设当前帧的检测结果有N个目标，通过向上取整函数和向下取整函数，确定分组后的数据包的数量，则当前帧的检测结果需要分成up(N/8)个package来发送，向上取整函数up(n)表示对n进行向上取整，向下取整函数floor(n)表示对n进行向下取整:

up(30/8)＝up(3.75)＝4，floor(30/8)＝floor(3.75)＝3；

up(40/8)＝up(5)＝5，floor(40/8)＝floor(5)＝5；

up(9/8)＝up(1.125)＝2，floor(9/8)＝floor(1.125)＝1；

其中前floor(N/8)个package的TargetCount＝8，seq从1到floor(N/8)，若up(n/8)>floor(n/8)，需要增加一个package，TargetCount＝N-8*floor(N/8),ID＝up(n/8)，若up(n/8)＝floor(n/8)则不需要增加package，在无人机将这些package按照seq的顺序发给遥控设备，同一帧的不同package的ID是相同的。

步骤S43：对每一分组按照从小到大的顺序进行编号；

具体的，由于目标的数量可能不能满足刚好分成若干组，此时前floor(N/8)个package的TargetCount＝8，seq从1到floor(N/8)，若up(n/8)>floor(n/8)，需要增加一个package，其TargetCount＝N-8*floor(N/8)，例如：若存在41个目标，每一个数据包包括8个目标，则分成6组，即6个数据包，对6个数据包进行顺序编号，分别为1至6，而前5个数据包中的目标的数量为8个，第6个数据包中的目标的数量为1个。

步骤S44：根据所述分组的编号，依次向所述遥控设备发送所述分组对应的数据包。

具体的，根据所述分组对应的编号，按照顺序从小到大依次向所述遥控设备发送所述分组对应的数据包。

在本发明实施例中，所述对所述多个目标进行分组之前，所述方法还包括：

对同一帧图像中的每一个数据包以唯一的数据标识进行标识，并设置后一帧图像的数据标识大于前一帧图像的数据标识。

具体的，通过对每一数据包增加数据标识，即ID字段来表示数据包的标识，同时，一帧图像的检测结果的不同数据包的数据标识ID相同，设置无人机每发送一帧图像的检测结果，ID自动加一，从而实现后一帧图像的数据标识大于前一帧图像的数据标识，以使每一帧图像的数据标识不同，便于区分不同的帧图像，有利于对属于同一帧图像的数据包进行组合。

在本发明实施例中，通过获取无人机发送的多个数据包，将同一帧的多个数据包组成一个数据包发送到移动终端，本发明能够保证数据发送的准确性，并且，通过数据标识ID来判定不同数据包package是否属于同一帧图像的检测结果，由于ID是不断增大的，若当前接收到的数据包package的数据标识ID小于队列尾部的数据标识ID，证明当前接收到的数据包是由于网络不稳定导致的网络延迟，因此丢弃该当前接收到的数据包，使其不被发送到移动终端，防止出现数据错误导致帧图像的混乱。同时，通过顺序编号seq对同一帧图像的不同数据包进行排序，能够保证数据发送和接收的一致性，避免由于网络不稳定导致网络延迟或者丢包的现象造成的错误。

在本发明实施例中，通过提供一种多目标传输方法，应用于无人机，所述无人机通信连接遥控设备，所述方法包括：对当前帧图像进行检测，获取检测结果，所述检测结果包括多个目标；对所述多个目标进行分组，每一分组对应一个数据包，每一所述数据包包括N个目标的目标信息，其中，N为正整数；对每一分组按照从小到大的顺序进行编号；根据所述分组的编号，依次向所述遥控设备发送所述分组对应的数据包。通过数据标识对同一帧图像的多个数据包进行标识，并且对每一数据包进行编号以排序，本发明能够解决目前无人机在多目标下进行数据传输由于带宽不足而导致目标丢失的技术问题，提高无人机进行多目标数据传输的准确性。

请再参阅图5，图5是本发明实施例提供的多目标传输系统的工作流程图；

如图5所示，该多目标传输系统的工作流程，包括：

步骤S51：无人机获取帧图像，生成数据包；

具体的，所述无人机通过获取帧图像，并对每一帧图像分成多个数据包进行发送，每个数据包包括N个目标的目标信息，其中，N为正整数，并且，N的取值与所述无人机与遥控设备之间的无线带宽相关，N的取值为所述无人机与遥控设备之间的无线带宽支持的最大目标数，例如：N的取值为8、10等。

步骤S52：无人机向遥控设备发送数据包；

具体的，所述无人机根据数据包的顺序编号，向所述遥控设备依次发送数据包。

步骤S53：遥控设备接收数据包，组合多个数据包，生成组合后的数据包；

具体的，所述遥控设备在接收到无人机发送的数据包后，识别所述数据包的数据标识，将数据标识相同的多个数据包进行组合，生成组合后的数据包。

步骤S54：遥控设备向移动终端发送组合后的数据包；

步骤S55：移动终端接收组合后的数据包；

具体的，所述移动终端接收所述遥控设备发送的组合后的数据包，在一些实施例中，所述移动终端通信连接所述无人机，用于直接接收所述无人机发送的数据包，并对所述数据包进行缓存，识别所述数据包的数据标识，并将数据标识相同的多个数据包进行组合，生成组合后的数据包，例如：所述移动终端设置有缓存单元，所述缓存单元为队列结构，所述移动终端识别每一所述数据包的数据标识，将数据标识相同的数据包封装于同一队列，其实现过程与上述实施例以及图3中体现的过程相同，在此不再赘述。

步骤S56：移动终端向遥控设备发送确认结果。

具体的，所述移动终端在接收到所述组合后的数据包后，向遥控设备发送确认结果，以使所述遥控设备确认发送成功。

请参阅图6，图6是本发明实施例提供的一种多目标传输装置的示意图；其中，该多目标传输装置应用于遥控设备，例如：遥控器、遥控手柄、遥控机等接收数据和发送数据的电子设备，所述遥控设备通信连接无人机以及移动终端。

如图6所示，该多目标传输装置60，包括：

数据包接收单元61，用于实时接收无人机发送的数据包，每一所述数据包包括N个目标的目标信息，其中，N为正整数；

数据包缓存单元62，用于根据所述数据包的数据标识，缓存数据标识相同的多个数据包；

数据包组合单元63，用于对数据标识相同的多个数据包进行组合，生成组合后的数据包；

数据包发送单元64，用于向所述移动终端发送所述组合后的数据包。

在本发明实施例中，在实时接收无人机发送的数据包之前，所述无人机对同一帧图像中的每一个数据包以唯一的数据标识进行标识，并且，后一帧图像的数据标识大于前一帧图像的数据标识。

在本发明实施例中，所述遥控设备设置有缓存单元，所述数据包缓存单元，具体用于：

根据所述数据包的数据标识，通过缓存单元缓存数据标识相同的多个数据包。

在本发明实施例中，所述缓存单元包括队列结构，所述数据包缓存单元，具体用于：

识别每一所述数据包的数据标识，将数据标识相同的数据包封装于同一队列。

在本发明实施例中，所述数据包缓存单元，具体用于：

初始化队列为空；

判断当前队列是否为空；

若是，则将当前接收到的数据包加入队列；

若否，则获取队列尾部的数据包的数据标识；

若当前接收到的数据包的数据标识等于队列尾部的数据包的数据标识，则将当前接收到的数据包加入队列；

若当前接收到的数据包的数据标识小于队列尾部的数据包的数据标识，则丢弃当前接收到的数据包；

若当前接收到的数据包的数据标识大于队列尾部的数据包的数据标识，则将队列中的全部的数据包出队列，并将当前接收到的数据包加入队列。

在本发明实施例中，所述每一数据包包括一顺序编号，所述顺序编号用于确定所述数据包在其对应的帧图像中的顺序，所述数据包组合单元，具体用于：

根据所述多个数据包的数据标识以及顺序编号；

组合数据标识相同的多个数据包，生成组合后的数据包。

在本发明实施例中，每一目标的目标信息包括置信度信息，所述装置还包括：

置信度单元，用于根据所述置信度信息，对每一个数据包中的全部目标进行排序。

在本发明实施例中，通过提供一种多目标传输装置，应用于遥控设备，所述遥控设备通信连接无人机以及移动终端，包括：数据包接收单元，用于实时接收无人机发送的数据包，每一所述数据包包括N个目标的目标信息，其中，N为正整数；数据包缓存单元，用于根据所述数据包的数据标识，缓存数据标识相同的多个数据包；数据包组合单元，用于对数据标识相同的多个数据包进行组合，生成组合后的数据包；数据包发送单元，用于向所述移动终端发送所述组合后的数据包。通过数据标识对同一帧图像的多个数据包进行组合，生成并向移动终端发送组合后的数据包，本发明实施例能够解决目前无人机在多目标下进行数据传输由于带宽不足而导致目标丢失的技术问题，提高无人机进行多目标数据传输的准确性。

请再参阅图7，图7是本发明实施例提供的另一种多目标传输装置的结构示意图；

如图7所示，该多目标传输装置70，应用于无人机，所述无人机通信连接遥控设备，所述装置包括：

检测单元71，用于对当前帧图像进行检测，获取检测结果，所述检测结果包括多个目标；

分组单元72，用于对所述多个目标进行分组，每一分组对应一个数据包，每一所述数据包包括N个目标的目标信息，其中，N为正整数；

编号单元73，用于对每一分组按照从小到大的顺序进行编号；

数据包发送单元74，用于根据所述分组的编号，依次向所述遥控设备发送所述分组对应的数据包。

在本发明实施例中，所述装置还包括：

标识单元75，用于对同一帧图像中的每一个数据包以唯一的数据标识进行标识，并设置后一帧图像的数据标识大于前一帧图像的数据标识。

在本发明实施例中，通过提供一种多目标传输装置，应用于无人机，所述无人机通信连接遥控设备，所述装置包括：检测单元，用于对当前帧图像进行检测，获取检测结果，所述检测结果包括多个目标；分组单元，用于对所述多个目标进行分组，每一分组对应一个数据包，每一所述数据包包括N个目标的目标信息，其中，N为正整数；编号单元，用于对每一分组按照从小到大的顺序进行编号；数据包发送单元，用于根据所述分组的编号，依次向所述遥控设备发送所述分组对应的数据包。通过数据标识对同一帧图像的多个数据包进行标识，并且对每一数据包进行编号以排序，本发明能够解决目前无人机在多目标下进行数据传输由于带宽不足而导致目标丢失的技术问题，提高无人机进行多目标数据传输的准确性。

请参阅图8，图8是本发明实施例提供一种无人机的硬件结构示意图，其中，该遥控设备80包括：遥控器、遥控手柄、遥控机等电子设备。

如图8所示，该遥控设备80包括一个或多个处理器81以及存储器82。其中，图8中以一个处理器81为例。

处理器81和存储器82可以通过总线或者其他方式连接，图8中以通过总线连接为例。

存储器82作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的一种多目标传输方法对应的单元(例如，图6所述的各个模块或单元)。处理器81通过运行存储在存储器82中的非易失性软件程序、指令以及模块，从而执行多目标传输方法的各种功能应用以及数据处理，即实现上述方法实施例多目标传输方法以及上述装置实施例的各个模块和单元的功能。其中，该多目标传输方法可由各种具有一定逻辑处理能力的电子设备执行，如控制芯片等。

存储器82可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器82可选包括相对于处理器81远程设置的存储器，这些远程存储器可以通过网络连接至处理器81。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述模块存储在所述存储器82中，当被所述一个或者多个处理器81执行时，执行上述任意方法实施例中的多目标传输方法，例如，执行以上描述的图2所示的各个步骤；也可实现图6所示的各个模块或单元的功能。

请再参阅图9，图9是本发明实施例提供的另一种无人机的硬件结构示意图。其中，该无人机(unmanned aerial vehicle，UAV)包括：无人机、无人飞船等电子设备。

如图9所示，该无人飞行器90包括一个或多个处理器91以及存储器92。其中，图9中以一个处理器91为例。

处理器91和存储器92可以通过总线或者其他方式连接，图9中以通过总线连接为例。

存储器92作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的一种多目标传输方法对应的单元(例如，图7所述的各个模块或单元)。处理器91通过运行存储在存储器92中的非易失性软件程序、指令以及模块，从而执行多目标传输方法的各种功能应用以及数据处理，即实现上述方法实施例多目标传输方法以及上述装置实施例的各个模块和单元的功能。其中，该多目标传输方法可由各种具有一定逻辑处理能力的电子设备执行，如飞行器、控制芯片等，该无人飞行器可以包括无人机、无人船等。以下电子设备以无人机为例进行说明。其中，无人机连接有云台，云台包括云台电机及云台基座，其中，云台可以为多轴云台，如两轴云台、三轴云台。对于该飞行器及云台的具体结构的描述可以参考上述描述，因此，在此处不作赘述。

存储器92可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器92可选包括相对于处理器91远程设置的存储器，这些远程存储器可以通过网络连接至处理器91。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述模块存储在所述存储器92中，当被所述一个或者多个处理器91执行时，执行上述任意方法实施例中的多目标传输方法，例如，执行以上描述的图4所示的各个步骤；也可实现图7所示的各个模块或单元的功能。

本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如上所述的多目标传输方法。

本发明实施例还提供了一种非易失性计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，可使得上述一个或多个处理器可执行上述任意方法实施例中的多目标传输方法，例如，执行上述任意方法实施例中的多目标传输方法，例如，执行以上描述的图2所示的各个步骤；也可实现图6所示的各个模块或单元的功能。

以上所描述的装置或设备实施例仅仅是示意性的，其中所述作为分离部件说明的单元模块可以是或者也可以不是物理上分开的，作为模块单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络模块单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用直至得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (12)

1.一种多目标传输方法，应用于遥控设备，所述遥控设备通信连接无人机以及移动终端，其特征在于，所述方法包括：

实时接收无人机发送的数据包，每一所述数据包包括N个目标的目标信息，其中，N为正整数，每一目标的目标信息包括置信度信息；

根据所述数据包的数据标识，缓存数据标识相同的多个数据包；

对数据标识相同的多个数据包进行组合，生成组合后的数据包；

向所述移动终端发送所述组合后的数据包；

所述根据所述数据包的数据标识，缓存数据标识相同的多个数据包，包括：

识别每一所述数据包的数据标识，将数据标识相同的数据包封装于同一队列；

所述方法还包括：

若所述数据包中的某一目标的置信度大于置信度阈值，则确定所述目标为有效目标。

2.根据权利要求1所述的方法，其特征在于，在实时接收无人机发送的数据包之前，所述无人机对同一帧图像中的每一个数据包以唯一的数据标识进行标识，并且，后一帧图像的数据标识大于前一帧图像的数据标识。

3.根据权利要求2所述的方法，其特征在于，所述遥控设备设置有缓存单元，所述根据所述数据包的数据标识，缓存数据标识相同的多个数据包，包括：

根据所述数据包的数据标识，通过缓存单元缓存数据标识相同的多个数据包。

4.根据权利要求3所述的方法，其特征在于，所述缓存单元包括队列结构。

5.根据权利要求4所述的方法，其特征在于，所述识别每一所述数据包的数据标识，将数据标识相同的数据包封装于同一队列，包括：

初始化队列为空；

判断当前队列是否为空；

若是，则将当前接收到的数据包加入队列；

若否，则获取队列尾部的数据包的数据标识；

若当前接收到的数据包的数据标识等于队列尾部的数据包的数据标识，则将当前接收到的数据包加入队列；

若当前接收到的数据包的数据标识小于队列尾部的数据包的数据标识，则丢弃当前接收到的数据包；

若当前接收到的数据包的数据标识大于队列尾部的数据包的数据标识，则将队列中的全部的数据包出队列，并将当前接收到的数据包加入队列。

6.根据权利要求5所述的方法，其特征在于，每一数据包包括一顺序编号，所述顺序编号用于确定所述数据包在其对应的帧图像中的顺序，所述对数据标识相同的多个数据包进行组合，生成组合后的数据包，包括：

根据所述多个数据包的数据标识以及顺序编号；

组合数据标识相同的多个数据包，生成组合后的数据包。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述置信度信息，对每一个数据包中的全部目标进行排序。

8.一种遥控设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的方法。

9.一种多目标传输方法，应用于无人机，所述无人机通信连接如权利要求8所述的遥控设备，其特征在于，所述方法包括：

对当前帧图像进行检测，获取检测结果，所述检测结果包括多个目标；

对所述多个目标进行分组，每一分组对应一个数据包，每一所述数据包包括N个目标的目标信息，其中，N为正整数；

对每一分组按照从小到大的顺序进行编号；

根据所述分组的编号，依次向所述遥控设备发送所述分组对应的数据包。

10.根据权利要求9所述的方法，其特征在于，所述对所述多个目标进行分组之前，所述方法还包括：

对同一帧图像中的每一个数据包以唯一的数据标识进行标识，并设置后一帧图像的数据标识大于前一帧图像的数据标识。

11.一种无人机，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求9或10所述的方法。

12.一种多目标传输系统，其特征在于，包括：

如权利要求8所述的遥控设备；

如权利要求11所述的无人机；

以及移动终端，

其中，所述遥控设备通信连接所述无人机以及所述移动终端，所述无人机通信连接所述移动终端。