多负载多路图传方法、控制系统和终端、无人机和服务器
技术领域
本申请涉及一种控制技术领域,尤其涉及一种多负载多路图传方法、一种控制系统、一种控制终端、一种无人机和一种服务器。
背景技术
在行业无人机产品中,往往有多负载的使用需求,这些负载可以是相机类负载,也可以是数据采集类负载。在飞行过程中,这些负载往往需要把采集到的图传、数据实时回传到操控手的设备上,在当前的无线网络图传技术中,受限于无线网络的通讯带宽和通讯质量,往往都只有单路图传能力,且图传数据格式单一,无法带来多负载相机情况下多个负载同步实时的图传显示,一些基于无线网络的双路图传技术,虽然可以进行双路图传,但是存在几个问题点:
1.相机数据的接收通道不能自适应打开,会把可能的相机类型的接收端口都打开,浪费系统资源。
2.无线带宽低,双路图传过程中,图传视频流码率低,视频清晰度低。
3.带宽自适应传输过程中,当前网络带宽情况会通过消息发送到相机负载侧,相机负载进行码率匹配并把匹配带宽的图传数据传给无人机,无人机进行透传。在这个过程中,带宽反馈链路太长,会造成实际数据传输到无线网卡节点的时候,网络已经发生变化,造成图传数据花屏。
4.图传本质上是把飞机上的多个负载数据都往遥控器传,但实际上app和大屏在显示的时候只能显示其中的1路或者2路,造成无线网络带宽的浪费,进一步降低了视频清晰度,特别是在低信号边缘,会带来比较差的图传质量。
发明内容
本申请实施例提供一种多负载多路图传方法、控制系统、控制终端、无人机和服务器,以解除数据只能单路图传的限制,实现图传数据多路实时传输,为无人机在行业应用的工作场景提供了更多的可能性。
为了实现上述目的,本申请实施例的第一方面提供了一种多负载多路图传方法,用于控制终端,包括:
响应于多个负载的选择指令,选择指令包括选择的负载类型,将选择指令发送至无人机,以使无人机根据负载类型开启对应的通信端口;
接收由无人机发送的与选择指令对应负载通过对应的通信端口传回的多个图像数据;
显示多个图像数据。
本申请第二方面的技术方案提供了一种多负载多路图传方法,用于无人机,无人机包括无人机本体以及设于无人机本体上的多个负载,多负载多路图传方法包括:
接收由控制终端发送的选择指令,选择指令包括选择的负载类型;
根据选择指令中的负载类型确定对应的图传通道;
通过图传通道将对应的负载的图像数据发送至控制终端。
本申请第三方面的技术方案提供了一种控制系统,包括控制终端和无人机,其中,
控制终端响应于多个负载的选择指令,选择指令包括选择的负载类型,将选择指令发送至无人机,以使无人机根据负载类型开启对应的通信端口;
无人机根据选择指令中的负载类型确定对应的图传通道;
无人机通过图传通道将对应的负载的图像数据发送至控制终端,以使控制终端显示图像数据。
本申请的第四方面的技术方案提供了一种控制终端,包括:遥控装置、显示装置和处理器,其中,处理器,用于:
响应于多个负载的选择指令,选择指令包括选择的负载类型,将选择指令发送至无人机,以使无人机根据负载类型开启对应的通信端口;
接收由无人机发送的与选择指令对应负载通过对应的通信端口传回的多个图像数据;
控制显示装置显示多个图像数据。
本申请的第五方面的技术方案提供了一种无人机,包括无人机本体、设于无人机本体上的多个负载以及处理器,其中,处理器用于:
接收由控制终端发送的选择指令,选择指令包括选择的负载类型;
根据选择指令中的负载类型确定对应的图传通道;
通过图传通道将对应的负载的图像数据发送至控制终端。
本申请的第六方面的技术方案提供了一种服务器,包括处理器,处理器用于:
接收由控制终端发送的选择指令,选择指令包括选择的负载类型,并将选择指令发送至无人机,以使无人机根据负载类型开启对应的通信端口;
根据选择指令中的负载类型确定对应的图传通道,通过图传通道接收无人机发送的图像数据,并将图像数据发送至控制终端。
本申请的第七方面的技术方案提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如本申请实施例第一方面提供的多负载多路图传方法的步骤、实现如本申请实施例第二方面提供的多负载多路图传方法的步骤。
本申请实施例提供的多负载多路图传方法、控制系统、控制终端、无人机和服务器,通过简化链路过程,可以实现:
1.多路数据(至少为两路)进行实时传输。
2.会自动识别当前无人机挂载的负载类设备,并打开对应的数据接收模块,避免浪费系统资源,还有利于增加相机负载的类型并提高对相机负载的适配能力。
3.根据网络状态的带宽,其中主路图传能够利用on-demand-i(按需请求I帧)的编码方式,实现更高码率压缩比,带来更高的图传清晰度。
4.从多个(至少3个)负载类设备中自动选择两路数据进行实时传输。在这两路的实时传输中,如果是视频类的数据,会进行重编码传输,重编码的视频码率匹配当前带宽;可实现最佳的带宽自适应机制,以避免主路图传出现花屏的情况发生,此外,若传输的是非负载类设备的数据,可通过带宽反馈机制,对数据进行透传,以减少对系统资源的过多占用。
5.从多个负载中选择2路进行图传,可以有效提高带宽利用率,提高两路图传的图传质量。
本申请的附加方面和优点将在下面的描述部分中变得明显,或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了本申请实施例的无人机系统的示意架构框图;
图2示出了本申请实施例的运行在控制终端上的多负载多路图传方法的流程示意图;
图3示出了本申请一个具体实施例的两路图像传输的流程示意图;
图4示出了本申请一个具体实施例的打开图传通道并进行数据传输的流程示意图;
图5示出了本申请实施例的运行在无人机上的多负载多路图传方法的流程示意图;
图6示出了本申请一个具体实施例的负载端口启闭机制的流程示意图;
图7示出了本申请实施例的控制系统的结构框图;
图8示出了本申请实施例的控制终端的结构图;
图9示出了本申请实施例的无人机的结构图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,当组件被称为“固定于”另一个组件,它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件,它可以是直接连接到另一个组件或者可能同时存在居中组件。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本申请。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
图1为根据本申请实施例提供的无人机系统10的示意性架构图。所述无人机系统10可以包括无人机的控制终端110和无人机120。其中,所述无人机120可以单旋翼或者多旋翼无人机。
无人机120可以包括动力系统102、控制系统104和机身。其中,当无人机120具体为多旋翼无人机时,机身可以包括中心架以及与中心架连接的一个或多个机臂,一个或多个机臂呈辐射状从中心架延伸出。无人机还可以包括脚架,其中,脚架与机身连接,用于在无人机着陆时起支撑作用。
动力系统102可以包括一个或多个电机1022,电机1022用于为无人机120提供动力,该动力使得无人机120能够实现一个或多个自由度的运动。
控制系统104可以包括控制器1042和传感系统1044。传感系统1044用于测量无人机120的状态信息和/或无人机120所处的环境的信息,其中,所述状态信息可以包括姿态信息、位置信息、剩余电量信息等。所述环境的信息可以包括环境的深度、环境的气压、环境的湿度、环境的温度等等。其中,传感系统1044例如可以包括气压计、陀螺仪、超声传感器、电子罗盘、惯性测量单元、视觉传感器、全球导航卫星系统和气压计等传感器中的至少一种。例如,全球导航卫星系统可以是全球定位系统(Global Positioning System,GPS)。
控制器1042用于控制无人机的各种操作。例如,控制器1042可以控制无人机的移动,再例如,控制器1042可以控制无人机的传感系统1044采集数据。
在某些实施例中,无人机120可以包括拍摄装置1064,拍摄装置1064例如可以是照相机或摄像机等用于捕获图像的设备,拍摄装置1064可以与控制器1042通信,并在控制器1042的控制下进行拍摄,控制器1042也可以根据拍摄装置1064拍摄的图像控制无人机120。
在某些实施例中,无人机120还包括云台106,云台106可以包括电机1062,云台106用于携带拍摄装置1064,控制器1042可以通过电机控制云台106的运动。应理解,云台106可以独立于无人机120,也可以为无人机120的一部分。在某些实施例中,所述拍摄装置1064可以固定连接在无人机120的机身上。
无人机120还包括传输设备108,在控制器1042的控制下,所述传输设备108可以将传感系统1044和/或拍摄装置1064采集的数据发送到控制终端110。控制终端110可以包括传输设备(未示出),控制终端的传输设备可以与无人机120的传输设备108建立无线通信连接,控制终端的传输设备可以接收传输设备108发送的数据,另外,控制终端110还可以通过自身配置的传输设备向无人机120发送控制指令。
控制终端110可以包括控制装置1102和显示装置1104。控制装置1102可以控制控制终端的各种操作。例如,控制装置1102可以控制传输设备接收无人机120通过传输设备108发送的数据;再例如,控制装置1102可以控制显示装置1104显示发送的数据,其中,所述数据可以包括拍摄装置1064捕捉的环境的图像、姿态信息、位置信息、电量信息等等。
可以理解的是,前述部分的控制终端可以包括一个或多个处理器,其中,所述一个或多个处理器可以单独地或者协同地工作。
应理解,上述对于无人机系统各组成部分的命名仅是出于标识的目的,并不应理解为对本申请的实施例的限制。
本申请实施例提供一种多负载多路图传方法。图2为本申请实施例提供的多负载多路图传方法的流程图。本实施例所述的多负载多路图传方法可应用于控制终端。如图2所示,本实施例中的方法,可以包括:
S202,响应于多个负载的选择指令,所述选择指令包括选择的负载类型,将所述选择指令发送至无人机,以使所述无人机根据所述负载类型开启对应的通信端口。
具体地,上述多负载多路图传方法的执行主体可以是遥控装置。其中,遥控装置可以是控制终端的部件,即控制终端包括遥控装置。在某些情况中,遥控装置的一部分部件可以设置在控制终端上,遥控装置的一部分部件可以设置在无人机上。控制终端还包括显示装置,显示装置与遥控装置电连接,以显示对应的程序界面,其中,显示装置可以是触摸显示装置。还需说明的是,遥控装置和显示装置可以是分开的并通过有线或无线方式通信,二者还可以是集成为一体的。
无人机通常存在多负载,为了便于用户操控和及时获取信息,往往需要将多个负载的图传数据实时传输给用户,在这个情况下,需要对当前无人机上的多个负载进行选择,选择用户需要的多个负载的图像数据往控制终端传输。如前所述,通过响应于多个负载的选择指令,向无人机发送开启无人机中负载的选择指令,即对多个负载进行选择,以便将这些被选中的负载的数据传送给控制终端;选择指令包括选择的负载类型,这样便于对负载进行选择;将选择指令发送至无人机,使所述无人机根据所述负载类型开启对应的通信端口,使选中的多个负载(即对应负载)的数据传输通道开启,从而便于被选择的负载将数据通过对应的通信端口传送给控制终端,同时,由于针对性地仅开启了与所述负载类型对应的通信端口,其它通信端口没有开启,避免了资源的浪费,有利于相机类负载的扩展。
可以理解地,负载类型为该负载的端口型号、接口参数或其余类型判断参数。
可选地,所述选择指令可以直接发送至无人机,也可以通过服务器转发至无人机,以提升无人机操控的便利性。
S204,接收由所述无人机发送的与选择指令对应负载通过对应的通信端口传回的多个图像数据。
具体地,接收由无人机向控制终端发送的无人机上与所述选择指令对应负载获取的多个图像数据,这些图像数据通过与对应负载相对应的通信端口进行传送,即各种图像数据通过对应的专用通道进行传输,便于提升传输效率和传输的准确性,减少干扰,且其它与对应负载不相关的通信端口没有开启,还可以避免资源浪费。
S206,显示所述多个图像数据。
具体地,通过显示所述多个图像数据,便于用户从多个角度实时而直观地了解到无人机的飞行情况和无人机的周边环境情况,从而便于用户根据无人机的飞行情况和环境情况,更加精确可靠地操控无人机,或者及时地针对所述多个图像数据反馈的信息进行处理,以应对无人机所在环境中的发生的各种事件,从而提升了无人机使用的便利性和及时性。
本申请实施例提供的多负载多路图传方法中,通过对多个负载开启对应的通信端口,并通过对应的通信端口将多个负载获取的多个图像数据进行传送,实现了数据的多路实时传送,使得用户可以从无人机上获得多个负载的实时图像数据,大幅提升了无人机系统使用的便利性,且传输过程中,由于采用与负载对应的通信端口,还可以减少干扰,提升数据传输的稳定性和可靠性。
可选地,在多负载多路图传方法中,还包括:打开与选择指令中的负载类型对应的图传通道,以接收多个图像数据。具体地,不同的负载所提供的数据不同,对应的通信端口不同,对应的图传通道也不同,即多个负载中,都有各自对应的通信端口和图传通道,简而言之,专路专用,这样可以确保数据传输的准确性和可靠性,避免发送错误数据而影响用户使用,提升了无人机系统使用的便利性和可靠性。
可选地,在上述多负载多路图传方法中,还包括:对多个图像数据进行解码并显示。具体地,为了保密或者传输的方便,数据传输时往往不是以原有形态进行传输,而是通过编码或其它方式对数据进行编辑,以提升传输速度和传输的可靠性、稳定性,当控制终端接收到这些编辑后的数据时,这些数据的形式可能是一些代码或者各种光信号、电信号等等,用户无法直接读取和使用,此时,通过对接收到的所述多个图像数据进行解码并显示,从而便于用户读取和使用,提升了图像数据使用的便利性。
其中,对视频数据进行编码后可以形成为H264、MPEG4或MPEG2视频流。
可选地,在所述多负载多路图传方法中,所述图像数据的数量为两个,两个所述图像数据分别显示在所述控制终端的显示屏上。具体地,由于APP软件和屏幕在显示的时候只能显示其中的1路或者2路数据,因此将图像数据的数量设置为两路,一方面可以同时传送两路数据,相对于1路数据的图传方法,用户可以实时地获取到更详细的图像数据,避免无线网络带宽的浪费;另一方面,在显示时,两路图像数据显示在控制终端的显示屏上,相对于同时显示3路数据的方法,还可以有效提高带宽利用率,提升图传的视频清晰度,特别是在低信号边缘,能够提供较好的图传质量,从而提升用户获取的到的数据的准确性。
更具体地,选择两路负载进行图像传输,无人机上的处理框架如图3所示,在图3所示的过程中,比较关键的是图传切换开关模块,在无人机刚开机,或者负载刚接上无人机的时候,会有如下默认处理过程:
(1)当负载A和负载B都没有连上的时候,FPV图像数据进行单路图传;
(2)当负载A和负载B其中有一个连上的时候,连上的负载A或者负载B和FPV相机进行组合,实现双路图传。
(3)当负载A和负载B两个都连上的时候,把负载A和负载B进行组合实现双路图传。
在用户实际使用过程中,会在APP上从三个相机源(FPV、1号云台相机、2号云台相机中)点击期望看到的任意两路相机数据。APP会把期望要进行双路图传的负载类型发送给飞机。飞机收到消息并进行相应,打开对应相机类型的图传通道并进行数据传输。
具体流程如下:
(1)APP发送用户选择的两个负载类型到无人机
(2)无人机收到负载类型后,和当前已经挂载的负载类型进行对比。对于这两个负载类型,分别对比。对消息包中的第一个负载,会选择打开主路图传,对消息包的第二个负载,会选择打开辅路图传。
(3)无人机上软件打开负载的无线通道后,把图传数据通过无线网络发送到遥控器
(4)遥控器收到图传数据,以透传形式把图传数据传给APP
(5)APP收到数据后进行解码(如果需要的话)并进行显示。
上述流程可通过图4进行更深入的理解。
可选地,在所述多负载多路图传方法中,还包括:确定每个所述图像数据解码后的码率;将所有所述图像数据中码率最高的图像数据通过所述显示屏的主显示区域进行显示;将所有所述图像数据中其它图像数据通过所述显示屏的至少一个副显示区域进行显示。具体地,码率越高,图像数据的压缩比例越小,失真越少,从而图像越清晰,因此,将所有所述图像数据中码率最高的图像数据通过所述显示屏的主显示区域进行显示,便于用户准确地获取所述图像信息,提升用户观看该图像信息的便利性;其它图像数据通过所述显示屏的至少一个副显示区域进行显示,是用户可以获取这部分的图像数据,同时,由于副显示区域的面积一般都小于主显示区域的面积,这样,即使图像有些失真,由于显示面积较小,其清晰度也不会受到太大的影响,从而提升用户观看的舒适性。
进一步地,在多负载多路图传方法中,还包括:响应于切换显示的控制指令,将控制指令对应的副显示区域中的图像数据在主显示区域显示。具体地,在一些情况下,码率高的图像数据不一定是用户最想要查看的图像数据,当用户所需要查看的图像数据在副显示区域显示时,由于副显示区域的面积较小,查看不方便,尤其对于一些细节需要查看时,更加不便,此时,通过对切换显示的控制指令的响应,将所述控制指令对应的副显示区域中的图像数据在主显示区域显示,增加了原来在副显示区域中的图像数据的显示面积,提升了用户查看的便利性和舒适性,尤其有利于用户对于一些细节信息的获取。
其中,可以理解地,多个负载可以为视频获取设备(例如摄像头),还可以为光源设备(例如打光灯),还可以为收音设备(例如话筒)。
可选地,在多负载多路图传方法中,将选择指令发送至无人机,具体包括:通过控制终端的显示装置接收选择指令;将选择指令由显示装置发送至控制终端的遥控装置;通过遥控装置将选择指令发送至无人机。具体地,由于无人机有多个负载,每个负载的图像数据不同,通过显示装置接收选择指令,即用户可以直接选择显示装置上所显示的图像数据来形成选择指令,这样的操作直接而方便,提升了用户使用的无人机系统的便利性,且通过所述选择指令由所述显示装置发送至所述控制终端的遥控装置;通过所述遥控装置将所述选择指令发送至无人机,这样可以确保选择指令的准确性,进而保证最终从无人机传回给用户的图像数据正是用户所希望查看的图像数据,避免错误传输。可以理解地,遥控装置可以直接向无人机发送选择指令,还可通过服务器中转而间接地向无人机发送选择指令。
可以理解地,上述过程可通过图3顶部流程实现,即用户在APP侧(即显示装置)发送打开用户所选择的两个负载的消息通过遥控器侧(即遥控装置)透传至无人机侧,以使无人机将图。
可选地,在多负载多路图传方法中,接收由无人机发送的与选择指令对应负载通过对应的通信端口传回的多个图像数据,具体包括:通过控制终端的遥控装置接收多个图像数据;将图像数据由遥控装置发送至控制终端的显示装置;通过显示装置对图像数据执行解码操作,并通过显示装置显示解码后的图像数据。具体地,如前所述,为了保密或者传输的方便,多个图像数据在数据传输过程中均以编码的形式进行传输,即负载拍摄到的多个图像数据先以视频流存储,在无人机发送至控制终端之前,根据带宽对视频流进行解码再编码,从而将再编码后的多个图像数据发送至控制终端,因此在遥控装置接收到以编码形式传输的多个图像数据后,将所述多个图像数据由所述遥控装置发送至所述控制终端的显示装置;通过所述显示装置对所述多个图像数据执行解码操作,以便于这些编码能够以直观地,与原始记录下的图像相同的形式,通过显示装置展现给用户,提升无人机系统使用的便利性。
其中,需要说明的是,遥控装置和显示装置之间可以之间通过有线或无线的方式连接,还可将遥控装置和显示装置设为一体。
可以理解,所述负载和无人机本体之间可以通过透传的方式传输图像数据,此时无需先编码,再在无人机本体上解码,当无人机本体获取负载的多个图像数据后,直接根据对应负载的图传通道的带宽,根据所述带宽确定编码的码率,然后对多个所述图像数据编码并传输给服务器或控制终端即可。
此外,也可通过所述负载和服务器或控制终端直接通信,根据对应负载的图传通道的带宽,根据所述带宽确定编码的码率,将图像数据编码后传输给服务器或控制终端即可。
本申请实施例提供了另一种多负载多路图传方法,图5为本申请实施例提供的另一种多负载多路图传方法的流程图。本实施例所述的多负载多路图传方法可应用于无人机;如图5所示,本实施例中所述多负载多路图传方法包括:
S302:接收由控制终端发送的选择指令,选择指令包括选择的负载类型。
具体地,本实施例中的多负载多路图传方法的执行主体可以是无人机。其中,无人机包括无人机本体以及设于无人机本体上的多个负载,如前所述,无人机上有多个负载,而带宽有限,不可能对所有的负载同时进行图传,因此,需要在多个负载中进行选择,即通过接收由控制终端发送的选择指令,在多个负载中选择一部分负载进行图传;选择指令包括选择的负载类型,便于缩小选择范围,提升选择的准确性和可靠性。
可选地,选择指令可以由控制终端直接发出,也可以由控制终端发给服务器后,由服务器转发给无人机,或者说,无人机可以接收由控制终端直接发送的指令,也可接收通过服务器转发的指令,从而提升无人机控制的便利性和灵活性。
其中,可以理解地,多个负载可以为视频获取设备(例如摄像头),还可以为光源设备(例如打光灯),还可以为收音设备(例如话筒)。
例如,在手机等控制终端的APP上发送多个负载的选择指令,这个指令会携带用户选择需要打开的相机/负载的类型,且该指令由无人机进行接收。或者,APP发送的指令传给遥控器,遥控器通过无线网络模块把命令发送到服务器;服务器再把命令转给无人机。
S304:根据选择指令中的负载类型确定对应的图传通道。
具体地,根据选择指令中的负载类型确定对应的图传通道,即不同的负载类型设有不同的图传通道,图像数据通过与对应负载相对应的图传通道进行传送,即各种图像数据通过与其对应的专用通道进行传输,便于提升传输效率和传输的准确性,减少干扰,避免发送错误数据而影响用户使用。
可以理解地,当对应负载中的负载的数量为多个时,在进行图像数据传输时,可先对多个负载采集到的图像数据进行合并,再将合并后的图像数据进行传输,也可以对每个负载采集的图像数据分别传输。
例如,无人机收到命令后,从当前已经挂载的相机/负载中寻找匹配的相机/负载类型;找到匹配的相机/负载类型后,打开对应的图传通道,同时关闭并释放其他已有的图传通道的资源,以减少资源浪费。
S306:通过图传通道将对应的负载的图像数据发送至控制终端。
具体地,如前所述,通过图传通道将对应的负载的图像数据发送至控制终端,即对应的负载的图像数据通过与其对应的专用通道进行传输,便于提升传输效率和传输的准确性,减少干扰,避免发送错误数据而影响用户使用。
进一步地,在多负载多路图传方法中,还包括:根据选择指令开启传输图像的图传通道;确定对应于图传通道的预设网络模式的带宽。具体地,通过确定对应于图传通道的预设网络模式的带宽,便于根据带宽选择匹配的码率,以便使用该码率对将要进行传输的图像数据进行编码,以利于在预设网络模式下进行传输,提升传输效率和传输的准确性,实现最佳的带宽自适应机制,图传不会出现花屏;若是非负载类的数据,可实现带宽反馈机制,对数据进行透传。
进一步地,在多负载多路图传方法中,还包括:根据预设网络模式的带宽确定编码的码率;以码率对视频流进行编码,生成图像数据;将图像数据发送至所述控制终端。具体地,网络传输通道的带宽对数据传输的稳定性、可靠性都有较大影响,且网络带宽可能由于网络异常而发生明显的变化,所以需要在发送之前做一个带宽自适应编码,即先确定所述对应负载的预设网络模式的传输通道的带宽,从而便于根据所述带宽确定适合的码率,并根据所述码率对通过所述对应负载获取的视频流进行编码,生成图像数据,从而更有利于在所述预设网络模式下进行数据传输,提升传输的可靠性和稳定性。
优选地,利用on-demand-i(按需请求I帧)的编码方式,实现更高码率压缩比,从而带来更高的图传清晰度。
进一步地,在根据预设网络模式的带宽确定编码的码率之前,还包括:加密负载的视频流数据,并将加密的视频流数据从负载传送到无人机本体上;无人机本体对加密的视频流数据进行解码。具体地,对视频流数据进行加密,并将加密的视频流数据从负载传送到无人机本体上,这样有利于保护所述视频流数据,避免泄密,提升数据的安全性;通过无人机本体对所述加密的视频流数据进行解码,有利于无人机对视频流数据进行识别,提升工作效率。
进一步地,所述无人机本体通过USB虚拟网卡接收负载的视频流数据。具体地,无人机本体通过USB虚拟网卡接收视频流数据,安装和使用方便,保密性强。
可以理解地,图传的数据流的码率大小需要小于实际带宽的大小。
为了提高带宽自适应的有效性,缩短带宽自适应的链路过程,在靠近无线网卡无人机侧的软件上,对图传的码率数据进行重编码;整个的链路流程为:
(1)无人机通过USB虚拟网卡接收相机负载的H264视频流数据
(2)无人机在收到数据后对H264视频流进行解码,获得到解码一帧的图像。
(3)无人机获取无线网络的带宽大小情况。(无线网络射频模块计算完成后放在一个共享内存中)
(4)根据当前带宽大小的情况,设置编码器编出的视频码率大小。
(5)无人机把解码后的图像数据送到编码器进行视频编码。
(6)编码后形成H264视频流,该视频流为匹配适应当前带宽大小的视频流。
(7)无人机把编码后的H264视频流通过无线网络通道发送到遥控器。
可选地,在多负载多路图传方法中,还包括:判断负载的使用情况,并根据使用情况确定对应于所述负载的图传通道。具体地,负载的使用情况包括挂载和卸载两种情况,通过判断负载的具体使用情况,即判断负载是处于挂载状态还是卸载状态,在挂载状态时,负载能够进行图传,可以确定与其对应的图传通道;而卸载状态时,负载是无法进行图传的,因此需要关闭其图传通道。
进一步地,根据使用情况确定对应于负载的图传通道,具体包括:在使用情况为挂载状态的情况下,通过预设数据库确定并开启与负载对应的端口,以通过端口建立图传通道实现图像数据的传输。具体地,如前所述,在挂载状态下,负载可以进行图传,因此通过预设数据库查找并开启与负载对应的端口,以通过端口建立图传通道进而实现图像数据的传输,从而实现负载的图传,避免了随意开启端口导致无法实现图传的情况,提升了工作效率。
进一步地,在多负载多路图传方法中,还包括:在使用情况为卸载状态的情况下,关闭与负载对应的端口。具体地,在使用情况为卸载状态的情况下,即负载无法进行图传的情况下,关闭与所述负载对应的端口,从而可以避免无效传输,提升了工作效率。
更具体地,在所述负载为卸载状态时,则去当前已经打开的端口中查询该负载是否已经处于接收数据状态,如果是就关闭这个接收端口,如果不是,则说明之前挂载操作的打开过程是失败的。
进一步地,在使用情况为挂载状态的情况下,还包括:判断与负载对应的端口是否属于可用状态,生成判断结果;在判断结果为否时,释放负载对应的端口。具体地,端口可用时,才能进行数据传输,因此在负载为挂载状态时,需要先判断与负载对应的端口是否可用,如果可用则可以进行图传,如果不可用,即判断结果为否时,需要释放端口,以便进行图传。
进一步地,判断与负载对应的端口是否属于可用状态,具体包括:确定负载挂载的端口地址;确定端口地址上是否存在其余负载,在端口地址存在其余负载时,确定与负载对应的端口不属于可用状态。具体地,对于多负载的无人机而言,有可能出现一个端口对应多个负载的情况,即在前述的处于挂载状态的负载,所对应的端口可能还与其它负载对应,因此,通过确定负载挂载的端口地址;确定端口地址上是否存在其余负载,便于确定是否有其它负载在使用该端口;在端口地址存在其余负载时,确定与负载对应的端口不属于可用状态,即端口无法用于处于挂载状态的负载进行图传,需要采取进一步的措施。
进一步地,释放负载对应的端口,具体包括:解除其余负载与端口地址的匹配关系,以使端口地址处于空闲状态。具体地,通过解除其余负载与端口地址的匹配关系,使其余负载不再占用端口,从而使端口地址能够与处于挂载状态的负载相匹配,进而实现处于挂载状态的负载的图传,这样有利于解决两个相同负载挂在同一个无人机上的端口冲突问题。
在一个具体实施例中,无人机当前最多可同时挂载2个负载和1个已经固连的FPV(即第一人称视角,用于实时画面获取)相机。对于每一种负载,在无人机软件上都有一个负载属性与之对应。其中,中心板模块是与相机相连的最直接模块;中心板模块会固定频率推送当前挂载的相机类型到图传模块。
如图6所示,当相机挂上或者卸下无人机后的处理过程如下:
(1)中心板模块推送的相机类型发生变化。
(2)图传模块收到变化的相机类型,通过查表判断当前相机是挂载还是卸载
(3)如果是挂载,则在属性列表(即上述预设数据库中)里面查询当前设备对应的接收端口参数,并打开端口进行数据接收。
(4)如果是卸载,则在当前已经打开的设备端口中查询该设备是否已经处于接收数据状态,如果是就关闭这个接收端口,如果不是,则说明之前挂载操作的打开过程是失败的。
(5)在打开接收端口的过程中,如果发现这个端口已经被前一个设备所用,但是并没有关闭,那么会对冲突的端口进行关闭处理。为了应对两个相同设备挂在同一个飞机上的情况。
可选地,在多负载多路图传方法中,还包括:获取负载类别;当开启的负载数目大于图传通道的数目时,根据负载类别的优先级确定图传通路的使用权。具体地,由于带宽等因素限制,图传通道的数目往往小于负载数目,因此,通过获取负载类别,能够有效地确定负载类别的优先级,并根据优先级,确定图传通道的使用权,以解决多个负载共用一个图传通道的问题。
需要指出的是,负载类别包括FPV负载还是应用类负载,或者说,是摄取画面的负载,还是应用类负载。
进一步地,在多负载多路图传方法中,负载类别为实时画面获取负载(即上述FPV负载)和应用类负载。具体地,负载类别为实时画面获取负载和应用类负载,这些负载分别在不同的场景有其应用的优势,甚至可以通过多个不同负载的组合带来实时多方面信息的显示,进一步提升无人机系统使用的便利性;其中,实时画面获取负载包括定焦相机、变焦相机、红外相机、双光相机等相机设备;应用类负载包括气体检测器、雷达等。
进一步地,在多负载多路图传方法中,应用类负载的优先级高于实时画面获取负载的优先级。具体地,应用类负载提供的数据都较为客观,反馈的信息更具有参考价值;且这类负载的数据一般都不是图像数据,其所需的存储空间小,在传输时占用的带宽更少,传输速度更快,有利于用户快速获取数据,提升信息传递的实时性。
本申请的另一个实施例提供一种控制系统,图7为本申请实施例提供的控制系统的结构图。本实施例所述的控制系统包括控制终端和无人机,其中,控制终端响应于多个负载的选择指令,选择指令包括选择的负载类型,将选择指令发送至无人机,以使无人机根据负载类型开启对应的通信端口;无人机根据选择指令中的负载类型确定对应的图传通道;无人机通过图传通道将对应的负载的图像数据发送至控制终端,以使控制终端显示图像数据。
进一步地,上述控制系统中,还包括:服务器,分别与控制终端和无人机电连接,服务器用于接收选择指令,并将选择指令发送至无人机。
从而以通过服务器对无人机以及控制终端之间的信号传递实现透传,以扩大传输范围。
进一步地,服务器还用于接收无人机发送的图像数据,并将图像数据发送至控制终端。
本申请另一个实施例提供一种控制终端,图8为本申请实施例提供的控制终端1000的结构图。本实施例的控制终端1000包括遥控装置1002、显示装置1004和处理器1006,其中,处理器1006,用于:响应于多个负载的选择指令,选择指令包括选择的负载类型,将选择指令发送至无人机,以使无人机根据负载类型开启对应的通信端口;接收由无人机发送的与选择指令对应负载通过对应的通信端口传回的多个图像数据;控制显示装置显示多个图像数据。
可选地,处理器1006还用于:打开与选择指令中的负载类型对应的图传通道,以接收多个图像数据。
可选地,处理器1006还用于:对多个图像数据进行解码并显示。
可选地,图像数据的数量为两个,两个图像数据分别显示在控制终端的显示屏上。
可选地,处理器1006还用于:确定每个图像数据解码后的码率;将所有图像数据中码率最高的图像数据通过显示屏的主显示区域进行显示;将所有图像数据中其它图像数据通过显示屏的至少一个副显示区域进行显示。
进一步地,处理器1006还用于:响应于切换显示的控制指令,将控制指令对应的副显示区域中的图像数据在主显示区域显示。
可选地,处理器1006用于将选择指令发送至无人机,具体用于:通过控制终端1000的显示装置1004接收选择指令;将选择指令由显示装置1004发送至控制终端1000的遥控装置1002;通过遥控装置1002将选择指令发送至无人机。
可选地,处理器1006用于接收由无人机发送的与选择指令对应负载通过对应的通信端口传回的多个图像数据,具体用于:通过控制终端1000的遥控装置1002接收多个图像数据;将图像数据由遥控装置1002发送至控制终端1000的显示装置1004;通过显示装置1004对图像数据执行解码操作,并通过显示装置1004显示解码后的图像数据。
本申请实施例提供一种无人机,图9为本申请实施例提供的无人机2000的结构图。本实施例的无人机2000包括无人机本体2002、设于无人机本体2002上的多个负载2004以及处理器2006,其中,处理器2006用于:接收由控制终端发送的选择指令,选择指令包括选择的负载类型;根据选择指令中的负载类型确定对应的图传通道;通过图传通道将对应的负载的图像数据发送至控制终端。
进一步地,处理器2006还用于:根据选择指令开启传输图像的图传通道;确定对应于图传通道的预设网络模式的带宽。
进一步地,处理器2006还用于:根据预设网络模式的带宽确定编码的码率;以码率对视频流进行编码,生成图像数据;将图像数据发送至控制终端。
进一步地,在处理器2006根据预设网络模式的带宽确定编码的码率之前,处理器2006还用于:加密负载2004的视频流数据,并将加密的视频流数据从负载2004传送到无人机本体2002上;无人机本体2002对加密的视频流数据进行解码。
进一步地,无人机本体2002通过USB虚拟网卡接收负载2004的视频流数据。
可选地,处理器2006还用于:判断负载2004的使用情况,并根据使用情况确定对应于负载2004的图传通道。
进一步地,处理器2006根据使用情况确定对应于负载2004的图传通道,具体用于:在使用情况为挂载状态的情况下,通过预设数据库确定并开启与负载2004对应的端口,以通过端口建立图传通道实现图像数据的传输。
进一步地,处理器2006还用于:在使用情况为卸载状态的情况下,关闭与负载2004对应的端口。
进一步地,在使用情况为挂载状态的情况下,处理器2006还用于:判断与负载2004对应的端口是否属于可用状态,生成判断结果;在判断结果为否时,释放负载2004对应的端口。
进一步地,处理器2006判断与负载2004对应的端口是否属于可用状态,具体用于:确定负载2004挂载的端口地址;确定端口地址上是否存在其余负载,在端口地址存在其余负载时,确定与负载2004对应的端口不属于可用状态。
进一步地,处理器2006释放负载2004对应的端口,具体用于:解除其余负载2004与端口地址的匹配关系,以使端口地址处于空闲状态。
可选地,处理器2006还用于:获取负载类别;当开启的负载数目大于图传通路的数目时,根据负载类别的优先级确定图传通路的使用权。
进一步地,负载类别为实时画面获取负载2004和应用类负载2004。
进一步地,应用类负载的优先级高于实时画面获取负载的优先级。
本申请实施例提供一种服务器,包括处理器,处理器用于:接收由控制终端发送的选择指令,选择指令包括选择的负载类型,并将选择指令发送至无人机,以使无人机根据负载类型开启对应的通信端口;根据选择指令中的负载类型确定对应的图传通道,通过图传通道接收无人机发送的图像数据,并将图像数据发送至控制终端。
本申请的实施例提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现如上述所述第一方面实施例的多负载多路图传方法的步骤、实现上述第二方面实施例中的所述多负载多路图传方法的步骤。
进一步地,可以理解的是,流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序,然后将其存储在计算机存储器中。
应当理解,本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。