CN110933380A - 一种图传控制方法、系统及无人机 - Google Patents

一种图传控制方法、系统及无人机 Download PDF

Info

Publication number
CN110933380A
CN110933380A CN201911304639.8A CN201911304639A CN110933380A CN 110933380 A CN110933380 A CN 110933380A CN 201911304639 A CN201911304639 A CN 201911304639A CN 110933380 A CN110933380 A CN 110933380A
Authority
CN
China
Prior art keywords
data
transmitted
preset
network bandwidth
interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911304639.8A
Other languages
English (en)
Inventor
李昭早
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autel Robotics Co Ltd
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Autel Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autel Robotics Co Ltd filed Critical Autel Robotics Co Ltd
Priority to CN201911304639.8A priority Critical patent/CN110933380A/zh
Publication of CN110933380A publication Critical patent/CN110933380A/zh
Priority to PCT/CN2020/132318 priority patent/WO2021121011A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output

Abstract

本发明实施例涉及航拍技术领域,公开了一种图传控制方法,该方法首先检测所述无人机与地面接收端之间的网络带宽,以及,在所述无人机的缓冲空间所缓冲的待传输数据的数据量,然后根据所述网络带宽,调整所述待传输数据的编码码率,并根据所述数据量,调整所述待传输数据的编码方式,本发明实施例提供的图传控制方法应用于无人机时,能够在无人机进行远距离传输时保持图像数据的流畅。

Description

一种图传控制方法、系统及无人机
技术领域
本发明实施例涉及航拍技术领域,特别涉及一种图传控制方法、系统及无人机。
背景技术
无人机(UAV),是一种利用无线电遥控设备和自由的程序控制装置操纵不载人飞机,或者由车载计算机完全地或间歇地自主地操作的飞机,其通常应用在航拍领域,能够在远距离,大面积的范围内,实现侦查、监控、观测等功能,因而又被誉为:“会飞的照相机”。
在实现本发明实施例过程中,发明人发现以上相关技术中至少存在如下问题:目前的无人机在进行超远距离航拍工作时,由于网络带宽处于极低的状态,实时传输到地面终端的图像数据通常会出现卡顿、花屏甚至断掉的问题。
发明内容
针对现有技术的上述缺陷,本发明实施例的目的是提供一种能够保持图像数据流畅的图传控制方法、系统及无人机。
本发明实施例的目的是通过如下技术方案实现的:
为解决上述技术问题,第一方面,本发明实施例中提供了一种图传控制方法,应用于无人机,所述方法包括:
检测所述无人机与地面接收端之间的网络带宽,以及,在所述无人机的缓冲空间所缓冲的待传输数据的数据量;
根据所述网络带宽,调整所述待传输数据的编码码率;
根据所述数据量,调整所述待传输数据的编码方式。
在一些实施例中,所述检测所述无人机与地面接收端之间的网络带宽的步骤,进一步包括:
获取所述无人机与地面接收端进行一次数据交互所需要的时间;
根据所述时间及所述一次数据交互的数据量,计算所述网络带宽。
在一些实施例中,所述根据所述网络带宽,调整所述待传输数据的编码码率的步骤,进一步包括:
判断所述无人机与地面接收端之间的网络带宽是处于上升状态还是下降状态;
若处于下降状态,则根据预设第一调整策略,降低所述待传输数据的编码码率;
若处于上升状态,则根据预设第二调整策略,提升所述待传输数据的编码码率。
在一些实施例中,所述根据预设第一调整策略,降低所述待传输数据的编码码率的步骤,进一步包括:
获取所述网络带宽所对应的下降档位;
根据所述下降档位,调低所述待传输数据的编码码率的档位。
在一些实施例中,所述根据预设第二调整策略,提升所述待传输数据的编码码率的步骤,进一步包括:
检测所述网络带宽是否满足提档条件,其中,所述提档条件为持续检测到网络带宽大于或者等于第一预设带宽的次数为M+N*M次,所述M为设定值,所述N为先前提档的次数;
若满足,则将所述待传输数据的编码码率提升一档。
在一些实施例中,所述根据所述数据量,调整所述待传输数据的编码方式的步骤,进一步包括:
判断所述待传输数据的数据量位于预设第一区间、预设第二区间、还是预设第三区间;
若位于所述预设第一区间,则将所述待传输数据的编码方式调整为正常编码方式;
若位于所述预设第二区间,则将所述待传输数据的编码方式调整为间隔跳帧参考编码方式,并且删除所述待传输数据在缓冲空间内的图像的差别帧的奇数帧或偶数帧,以得到调整后的图像数据;
若位于所述预设第三区间,则将所述待传输数据的编码方式调整为正常编码方式,并且保留所述待传输数据中图像的关键帧,并删除与所述关键帧关联的差别帧,以得到调整后的图像数据。
为解决上述技术问题,第二方面,本发明实施例中提供了一种图传控制系统,应用于无人机,所述系统包括:
检测单元,用于检测所述无人机与地面接收端之间的网络带宽,以及,在所述无人机的缓冲空间所缓冲的待传输数据的数据量
第一调整单元,用于根据所述网络带宽,调整所述待传输数据的编码码率;
第二调整单元,用于根据所述数据量,调整所述待传输数据的编码方式。
在一些实施例中,所述检测单元还用于获取所述无人机与地面接收端进行一次数据交互所需要的时间;
根据所述时间及所述一次数据交互的数据量,计算所述网络带宽。
在一些实施例中,所述第一调整单元还用于判断所述无人机与地面接收端之间的网络带宽是处于上升状态还是下降状态;
若处于下降状态,则根据预设第一调整策略,降低所述待传输数据的编码码率;
若处于上升状态,则根据预设第二调整策略,提升所述待传输数据的编码码率。
在一些实施例中,所述第一调整单元还用于获取所述网络带宽所对应的下降档位;
根据所述下降档位,调低所述待传输数据的编码码率的档位。
在一些实施例中,所述第一调整单元还用于检测所述网络带宽是否满足提档条件,其中,所述提档条件为持续检测到网络带宽大于或者等于第一预设带宽的次数为M+N*M次,所述M为设定值,所述N为先前提档的次数;
若满足,则将所述待传输数据的编码码率提升一档。
在一些实施例中,所述第二调整单元还用于判断所述待传输数据的数据量位于预设第一区间、预设第二区间、还是预设第三区间;
若位于所述预设第一区间,则将所述待传输数据的编码方式调整为正常编码方式;
若位于所述预设第二区间,则将所述待传输数据的编码方式调整为间隔跳帧参考编码方式,并且删除所述待传输数据在缓冲空间内的图像的差别帧的奇数帧或偶数帧,以得到调整后的图像数据;
若位于所述预设第三区间,则将所述待传输数据的编码方式调整为正常编码方式,并且保留所述待传输数据中图像的关键帧,并删除与所述关键帧关联的差别帧,以得到调整后的图像数据。
为解决上述技术问题,第三方面,本发明实施例提供了一种无人机,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上第一方面所述的方法。
为解决上述技术问题,第四方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如上第一方面所述的方法。
为解决上述技术问题,第五方面,本发明实施例还提供了一种计算机程序产品,所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行如上第一方面所述的方法。
与现有技术相比,本发明的有益效果是:区别于现有技术的情况,本发明实施例中提供了一种图传控制方法,该方法首先检测所述无人机与地面接收端之间的网络带宽,以及,在所述无人机的缓冲空间所缓冲的待传输数据的数据量,然后根据所述网络带宽,调整所述待传输数据的编码码率,并根据所述数据量,调整所述待传输数据的编码方式,本发明实施例提供的图传控制方法应用于无人机时,能够在无人机进行远距离传输时保持图像数据的流畅。
附图说明
一个或多个实施例中通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件/模块和步骤表示为类似的元件/模块和步骤,除非有特别申明,附图中的图不构成比例限制。
图1为本发明实施例提供的图传控制方法的其中一种应用环境的示意图;
图2为本发明实施例提供的一种图传控制方法的流程图;
图3为图2所示方法中步骤110的一子流程图;
图4为图2所示方法中步骤120的一子流程图;
图5为图4所示方法中步骤122的一子流程图;
图6为图4所示方法中步骤123的一子流程图;
图7为图2所示方法中步骤130的一子流程图;
图8为本发明实施例提供的一种图传控制装置的结构示意图;
图9为本发明实施例提供的一种无人机的结构示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,如果不冲突,本发明实施例中的各个特征可以相互结合,均在本申请的保护范围之内。另外,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。此外,本文所采用的“第一”、“第二”等字样并不对数据和执行次序进行限定,仅是对功能和作用基本相同的相同项或相似项进行区分。
除非另有定义,本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的,不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
图1为本发明实施例提供的图传控制方法的其中一种应用环境的示意图,其中,该应用环境中包括:无人机10和地面接收端20,无人机10与地面接收端20通信连接。所述通信连接可以是有线或无线连接,所述通信连接为无线连接时,所述无人机10和所述地面接收端20可通过一定的通信协议通信连接,所述通信协议可以是TCP/IP、NETBEUI和IPX/SPX等通信协议,例如,通过蓝牙建立无线通信,以实现所述无人机10和所述地面接收端20之间的数据交互。
所述无人机10(Unmanned Aerial Vehicle,UAV)可以为任何类型的不载人的飞行设备,或者由车载计算机完全地或间歇地自主地操作的飞行设备。所述无人机10上搭载有拍摄装置,能够进行航拍工作,为获取更好的拍摄效果,所述无人机10上还可以设置有云台用于搭载所述拍摄设备。
需要说明的是,本发明实施例所提供的图传控制方法一般由上述无人机10执行,相应地,图传控制装置一般设置于所述无人机10中。且所述无人机10的数量可以是一个或多个,本申请不对其数量进行限定。
所述地面接收端20可以是任何能够与所述无人机10进行通信和数据交互的电子设备,例如,遥控装置、服务台等。所述地面接收端20能够通过发送控制指令控制所述无人机10,并通过通信模块接收所述无人机10返回的图像等数据信息,所述地面接收端20还能够用于进行数据、信息或指令的中转。例如,所述地面接收端20接收所述无人机10发送的数据或信息(如拍摄装置所拍摄的图像信息)后,可以将该数据或信息发送给显示设备,以便在显示设备上显示所述无人机10所拍摄的图像信息进行渲染或显示。
针对无人机的超远距离视频等图像传输,本发明实施例提供了一种能够保持图像流畅而不卡顿甚至断掉的图传控制方法,具体地,通过获取检测网络带宽和缓冲空间所缓冲的带传输数据的数据量,调整带传输数据的编码码率及其编码方式的方式,降低图像的部分质量,以实现稳定、流畅地传输图像数据。
具体地,下面结合附图,对本发明实施例作进一步阐述。
本发明实施例提供了一种图传控制方法,该方法可被上述无人机10执行,请参见图2,其示出了本发明实施例提供的一种图传控制方法的流程图,该方法包括但不限于以下步骤:
步骤110:检测所述无人机与地面接收端之间的网络带宽,以及,在所述无人机的缓冲空间所缓冲的待传输数据的数据量。
在本发明实施例中,首先,一方面,需要检测无人机与地面接收端之间的网络带宽,以确定单位时间内无人机能够与外部环境,及所述地面接收端传输的数据量,其中,所述网络带宽越大,其数据传输能力越强、数据传输率也越大,具体地,所述网络带宽与所述无人机和所述地面接收端的网络通信模块、网络服务器等有关。
另一方面,需要检测所述无人机的缓冲空间所缓冲的带传输数据的数据量,以确定所述缓冲空间中时候存在数据滞留以及数据滞留的程度,以确定当前还有多少图像数据是需要传输给所述地面接收端的。
步骤120:根据所述网络带宽,调整所述待传输数据的编码码率。
在检测到所述网络带宽之后,可以根据所述网络带宽,调整所述待传输数据的编码码率,以避免数据传输出现卡顿的情况。具体地,所述网络带宽较高时,提高所述待传输数据的编码码率,所述网络带宽较低时,降低所述待传输数据的编码码率。所述编码码率为数据传输时,单位时间所能够传输的数据位数,其单位为kbps即千位每秒,所述编码码率越高,所述待传输数据所保留的图像数据的信息就越多,待传输数据的损失量就越少,传输到所述地面接收端解码后,得到的图像信息就越接近所述无人机采集的原图像。
步骤130:根据所述数据量,调整所述待传输数据的编码方式。
在检测到所述无人机的缓冲空间所缓冲的待传输数据的数据量后,根据当前获取的数据量,调整所述待传输数据的编码方式,以实现在所述缓冲空间内无滞留数据时,以能够保留最多图像信息的编码方式对待传输数据进行编码,以传输所述待传输数据,且在所述缓冲空间内存在滞留数据时,通过调整编码方式的方法,尽快清除所述缓冲空间内滞留数据,避免数据溢出导致图像花屏等情况。
本发明实施例中提供了一种图传控制方法,该方法首先检测所述无人机与地面接收端之间的网络带宽,以及,在所述无人机的缓冲空间所缓冲的待传输数据的数据量,然后根据所述网络带宽,调整所述待传输数据的编码码率,并根据所述数据量,调整所述待传输数据的编码方式,本发明实施例提供的图传控制方法应用于无人机时,能够在无人机进行远距离传输时保持图像数据的流畅。
在一些实施例中,请参见图3,其示出了图2所示方法中步骤110的一子流程图,所述步骤110包括但不限于以下步骤:
步骤111:获取所述无人机与地面接收端进行一次数据交互所需要的时间。
步骤112:根据所述时间及所述一次数据交互的数据量,计算所述网络带宽。
在检测所述无人机与地面接收端之间的网络带宽,具体地,可通过根据所述无人机与所述地面接收端之间交互一次数据所需要的时间及进行交互的数据量的情况,计算所述网络带宽。例如,当所述无人机在t1时刻发送数据量为D的数据至地面接收端后,地面接收端与t2时刻反馈收到的信息给无人机时,此时网络带宽即为D/(t2-t1),其能够表征当前网络单位时间内所能够传输的数据量。需要说明的是,所述网络带宽需要所述无人机实时检测计算得到,以确保能够实时监测到当前网络的情况。
在一些实施例中,请参见图4,其示出了图2所示方法中步骤120的一子流程图,所述步骤120包括但不限于以下步骤:
步骤121:判断所述无人机与地面接收端之间的网络带宽是处于上升状态还是下降状态;若处于下降状态,则跳转至步骤122;若处于上升状态,则跳转至步骤123。
步骤122:根据预设第一调整策略,降低所述待传输数据的编码码率。
步骤123:根据预设第二调整策略,提升所述待传输数据的编码码率。
在本发明实施例中,在检测到所述无人机与地面接收端之间的网络带宽后,进一步判断所述网络带宽是处于上升状态还是下降状态,所述上升状态指的是网络带宽在逐渐升高,所述下降状态指的是所述网络带宽在逐渐降低。当所述网络带宽保持不变,或者稳定在一定区间时,不对所述待传输数据的编码码率进行改变。当所述网络带宽出现升高或降低的趋势时,根据相应的预设调整策略调整待传输数据的编码码率。需要说明的是,在所述无人机与所述地面接收端刚开始传输数据时,同样也需要检测网络带宽并根据网络带宽的大小相应设置待传输数据的编码码率。
具体地,在一些实施例中,请参见图5,其示出了图4所示方法中步骤122的一子流程图,所述步骤122包括但不限于以下步骤:
步骤1221:获取所述网络带宽所对应的下降档位。
步骤1222:根据所述下降档位,调低所述待传输数据的编码码率的档位。
在本发明实施例中,当网络带宽出现降低的趋势时,获取当前网络带宽所对应的下降档位,并根据下降档位调低待传输数据的编码码率的档位。例如,检测到当前网络带宽D0下降到低于D1的档位时,调整所述待传输数据的编码码率在当前编码码率的基础上降低一档;检测到当前网络带宽D0下降到低于D2的档位(D2档位低于D1档位)时,调整所述待传输数据的编码码率在当前编码码率的基础上降低二档;检测到当前网络带宽D0下降到低于D3的档位(D3档位低于D2档位)时,调整所述待传输数据的编码码率降低到最低档。具体地,关于所述网络带宽的下降档位及其具体数值,以及相应的编码码率的档位及其具体数值的设置,可根据实际应用场景及使用情况进行设置,不需要拘泥于本发明实施例的限定。
具体地,在一些实施例中,请参见图6,其示出了图4所示方法中步骤123的一子流程图,所述步骤123包括但不限于以下步骤:
步骤1231:检测所述网络带宽是否满足提档条件,其中,所述提档条件为持续检测到网络带宽大于或者等于第一预设带宽的次数为M+N*M次,所述M为设定值,所述N为先前提档的次数。若满足,则跳转至步骤1232;若不满足,则重复步骤1231。
步骤1232:将所述待传输数据的编码码率提升一档。
在本发明实施例中,当网络带宽出现升高的趋势时,获取当前网络带宽是否超过M+N*M次大于或等于第一预设带宽,若是,将所述待传输数据的编码码率提升一档。例如,当M设定为3且在一定时间内没有提档(N=0)时,若检测到网络带宽超过3+0*3=3次大于或等于第一预设宽带D0时,将所述待传输数据的编码码率往上提升一档;当持续检测到网络带宽超过3+1*3=6次大于或等于第一预设宽带D0时,将所述待传输数据的编码码率再往上提升一档;当持续检测到网络带宽超过3+2*3=9次大于或等于第一预设宽带D0时,将所述待传输数据的编码码率再次往上提升一档;重复上述检测网络带宽的过程,直至编码码率提升到最高档,或者所述网络带宽出现下降趋势时停止提升所述待传输数据的编码码率。其中,提升次数越多,所述网络带宽的检测周期越长,系统需要持续检测所述网络带宽直至编码码率提升至最高档或者网络带宽出现下降。具体地,关于所述网络带宽的第一预设带宽的档位或数值、设定值M、先前提档的次数N、以及相应的编码码率的档位及其具体数值的设置,可根据实际应用场景及使用情况进行设置,不需要拘泥于本发明实施例的限定。
在一些实施例中,请参见图7,其示出了图2所示方法中步骤130的一子流程图,所述步骤130包括但不限于以下步骤:
步骤131:判断所述待传输数据的数据量位于预设第一区间、预设第二区间、还是预设第三区间;若位于所述预设第一区间,则跳转至步骤132;若位于所述预设第二区间,则跳转至步骤133;若位于所述预设第三区间,则跳转至步骤134。
步骤132:将所述待传输数据的编码方式调整为正常编码方式。
步骤133:将所述待传输数据的编码方式调整为间隔跳帧参考编码方式,并且删除所述待传输数据在缓冲空间内的图像的差别帧的奇数帧或偶数帧,以得到调整后的图像数据。
步骤134:将所述待传输数据的编码方式调整为正常编码方式,并且保留所述待传输数据中图像的关键帧,并删除与所述关键帧关联的差别帧,以得到调整后的图像数据。
在本发明实施例中,还能够根据待传输数据在缓冲空间中所缓冲的数据量,调整待传输数据的编码方式,以避免滞留数据过多溢出所述缓冲空间导致图像花屏等问题的出现。具体地,所述缓冲空间内所缓冲的待传输数据的数据量在本发明实施例中设置为三个区间。
其中,当所述待传输数据的数据量在预设第一区间内时,所滞留的数据量可以为0-B1,在所滞留的数据低于门限值B1时,系统能够正常处理滞留数据,不需要调动过多的内存进行数据的处理,待传输数据也能够稳定地通过网络传输至地面接收端。
当所述待传输数据的数据量在预设第二区间内时,所滞留的数据量可以为B1-B2,此时,系统需要占用其他单元的运行内存进行数据的处理,待传输数据无法稳定通过网络传输给底面接收端,在该预设第二区间内,缓冲空间的数据会越积累越多,因此,此时需要对图像数据采取间隔丢帧的策略。需要说明的是,图像数据根据不同的内容分为多段码流,每段码流由关键帧I和与该关键帧相关联的差别帧P构成,该关键帧I后面的每一差别帧,皆与上一帧存在部分差别,所述差别帧P即为保存了当前帧与上一个帧的差别数据的帧。解码时,通过解码I帧能够得到一个完整的画面,通过解码与I帧相关联的P帧,可将图像的差别信息进行叠加或覆盖,实现动画或视频的效果。
当所述正常编码方式为普通的I←P1←P2←P3←P4←P5←P6的编码方式时,也即是,每个P帧参考前面一帧,P帧为一一串联的状态时,此时,若删除其中任一P帧皆会导致后面的P帧失去参考的帧,图像解码时会出现花屏。因此,在本发明实施例中,若所述缓冲空间内的数据量在预设第二区间内,则此时需要将所述待传输数据的编码方式调整为间隔跳帧参考编码方式,也即是,将上述编码方式改变为I←P2←P4←P6,I←P1,P2←P3,P4←P5的编码模式,此时,若删除奇数位的差别帧(P1,P3,P5)时,其他的帧还能够正常参考前面的帧,图像不会出现花屏现象。或者,将上述编码方式改变为I←P1←P3←P5,P2←P3,P4←P5的编码模式,此时,若删除偶数位的差别帧(P2,P4)时,其他的帧还能够正常参考前面的帧。因而,本申请可以采用如上述删除所述待传输数据在缓冲空间内的图像的差别帧的奇数帧或偶数帧,以减少所述缓冲空间的待传输数据的数据量的方式,得到调整后的图像数据。
当所述待传输数据的数据量在预设第三区间内时,所滞留的数据量可以为B2-B3(B3为所述缓冲空间内所能够存储的最大数据量),在所滞留的数据高于门限值B2时,系统已经无法正常处理滞留数据,需要调用大量系统内存进行数据请了,且此时数据也无法稳定及时地传输给地面接收端。此时,直接采取清空队列策略,仅保留图像数据中的关键帧I,丢弃掉该关键帧I所关联的所有差别帧P,并丢弃所有新来的差别帧P,直到新的关键帧I进入缓冲空间后再恢复正常编码方式的数据发送,以防止滞留数据过多溢出导致图像花屏的问题,也能够解决图像数据延时过大的问题。
此外,关于所述预设第一区间、所述预设第二区间、所述预设第三区间、以及多少个预设区间、还有待编码数据的编码方式及具体数值的设置,可根据实际应用场景及使用情况进行设置,不需要拘泥于本发明实施例的限定。
本发明实施例还提供了一种图传控制系统,应用于无人机,请参见图8,其示出了本发明实施例提供的一种图传控制系统的结构示意图,该图传控制系统200包括:检测单元210、第一调整单元220和第二调整单元230。
所述检测单元210用于检测所述无人机与地面接收端之间的网络带宽,以及,在所述无人机的缓冲空间所缓冲的待传输数据的数据量
所述第一调整单元220用于根据所述网络带宽,调整所述待传输数据的编码码率;
所述第二调整单元230用于根据所述数据量,调整所述待传输数据的编码方式。
在一些实施例中,所述检测单元210还用于获取所述无人机与地面接收端进行一次数据交互所需要的时间;
根据所述时间及所述一次数据交互的数据量,计算所述网络带宽。
在一些实施例中,所述第一调整单元220还用于判断所述无人机与地面接收端之间的网络带宽是处于上升状态还是下降状态;
若处于下降状态,则根据预设第一调整策略,降低所述待传输数据的编码码率;
若处于上升状态,则根据预设第二调整策略,提升所述待传输数据的编码码率。
在一些实施例中,所述第一调整单元220还用于获取所述网络带宽所对应的下降档位;
根据所述下降档位,调低所述待传输数据的编码码率的档位。
在一些实施例中,所述第一调整单元220还用于检测所述网络带宽是否满足提档条件,其中,所述提档条件为持续检测到网络带宽大于或者等于第一预设带宽的次数为M+N*M次,所述M为设定值,所述N为先前提档的次数;
若满足,则将所述待传输数据的编码码率提升一档。
在一些实施例中,所述第二调整单元230还用于判断所述待传输数据的数据量位于预设第一区间、预设第二区间、还是预设第三区间;
若位于所述预设第一区间,则将所述待传输数据的编码方式调整为正常编码方式;
若位于所述预设第二区间,则将所述待传输数据的编码方式调整为间隔跳帧参考编码方式,并且删除所述待传输数据在缓冲空间内的图像的差别帧的奇数帧或偶数帧,以得到调整后的图像数据;
若位于所述预设第三区间,则将所述待传输数据的编码方式调整为正常编码方式,并且保留所述待传输数据中图像的关键帧,并删除与所述关键帧关联的差别帧,以得到调整后的图像数据。
本发明实施例还提供了一种无人机,请参见图9,其示出了能够执行图2至图7所述图传控制方法的无人机的硬件结构。所述无人机10可以是图1所示的无人机10。
所述无人机10包括:至少一个处理器11;以及,与所述至少一个处理器11通信连接的存储器12,图9中以其以一个处理器11为例。所述存储器12存储有可被所述至少一个处理器11执行的指令,所述指令被所述至少一个处理器11执行,以使所述至少一个处理器11能够执行上述图2至图7所述的图传控制方法。所述处理器11和所述存储器12可以通过总线或者其他方式连接,图9中以通过总线连接为例。
存储器12作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如本申请实施例中的图传控制方法对应的程序指令/模块,例如,附图8所示的各个模块。处理器11通过运行存储在存储器12中的非易失性软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例图传控制方法。
存储器12可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据图传控制装置的使用所创建的数据等。此外,存储器12可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器12可选包括相对于处理器11远程设置的存储器,这些远程存储器可以通过网络连接至图传控制装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器12中,当被所述一个或者多个处理器11执行时,执行上述任意方法实施例中的图传控制方法,例如,执行以上描述的图2至图7的方法步骤,实现图8中的各模块和各单元的功能。
上述产品可执行本申请实施例所提供的方法,具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节,可参见本申请实施例所提供的方法。
本申请实施例还提供了一种非易失性计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如,执行以上描述的图2至图7的方法步骤,实现图8中的各模块的功能。
本申请实施例还提供了一种计算机程序产品,包括存储在非易失性计算机可读存储介质上的计算程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时时,使所述计算机执行上述任意方法实施例中的图传控制方法,例如,执行以上描述的图2至图7的方法步骤,实现图8中的各模块的功能。
本发明实施例中提供了一种图传控制方法,该方法首先检测所述无人机与地面接收端之间的网络带宽,以及,在所述无人机的缓冲空间所缓冲的待传输数据的数据量,然后根据所述网络带宽,调整所述待传输数据的编码码率,并根据所述数据量,调整所述待传输数据的编码方式,本发明实施例提供的图传控制方法应用于无人机时,能够在无人机进行远距离传输时保持图像数据的流畅。
需要说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施方式的描述,本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现,当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种图传控制方法,其特征在于,应用于无人机,所述方法包括:
检测所述无人机与地面接收端之间的网络带宽,以及,在所述无人机的缓冲空间所缓冲的待传输数据的数据量;
根据所述网络带宽,调整所述待传输数据的编码码率;
根据所述数据量,调整所述待传输数据的编码方式。
2.根据权利要求1所述的方法,其特征在于,
所述检测所述无人机与地面接收端之间的网络带宽的步骤,进一步包括:
获取所述无人机与地面接收端进行一次数据交互所需要的时间;
根据所述时间及所述一次数据交互的数据量,计算所述网络带宽。
3.根据权利要求2所述的方法,其特征在于,
所述根据所述网络带宽,调整所述待传输数据的编码码率的步骤,进一步包括:
判断所述无人机与地面接收端之间的网络带宽是处于上升状态还是下降状态;
若处于下降状态,则根据预设第一调整策略,降低所述待传输数据的编码码率;
若处于上升状态,则根据预设第二调整策略,提升所述待传输数据的编码码率。
4.根据权利要求3所述的方法,其特征在于,所述根据预设第一调整策略,降低所述待传输数据的编码码率的步骤,进一步包括:
获取所述网络带宽所对应的下降档位;
根据所述下降档位,调低所述待传输数据的编码码率的档位。
5.根据权利要求3所述的方法,其特征在于,所述根据预设第二调整策略,提升所述待传输数据的编码码率的步骤,进一步包括:
检测所述网络带宽是否满足提档条件,其中,所述提档条件为持续检测到网络带宽大于或者等于第一预设带宽的次数为M+N*M次,所述M为设定值,所述N为先前提档的次数;
若满足,则将所述待传输数据的编码码率提升一档。
6.根据权利要求1-5任一项所述的方法,其特征在于,
所述根据所述数据量,调整所述待传输数据的编码方式的步骤,进一步包括:
判断所述待传输数据的数据量位于预设第一区间、预设第二区间、还是预设第三区间;
若位于所述预设第一区间,则将所述待传输数据的编码方式调整为正常编码方式;
若位于所述预设第二区间,则将所述待传输数据的编码方式调整为间隔跳帧参考编码方式,并且删除所述待传输数据在缓冲空间内的图像的差别帧的奇数帧或偶数帧,以得到调整后的图像数据;
若位于所述预设第三区间,则将所述待传输数据的编码方式调整为正常编码方式,并且保留所述待传输数据中图像的关键帧,并删除与所述关键帧关联的差别帧,以得到调整后的图像数据。
7.一种图传控制系统,其特征在于,应用于无人机,所述系统包括:
检测单元,用于检测所述无人机与地面接收端之间的网络带宽,以及,在所述无人机的缓冲空间所缓冲的待传输数据的数据量
第一调整单元,用于根据所述网络带宽,调整所述待传输数据的编码码率;
第二调整单元,用于根据所述数据量,调整所述待传输数据的编码方式。
8.根据权利要求7所述的系统,其特征在于,
所述检测单元还用于获取所述无人机与地面接收端进行一次数据交互所需要的时间;
根据所述时间及所述一次数据交互的数据量,计算所述网络带宽。
9.根据权利要求8所述的系统,其特征在于,
所述第一调整单元还用于判断所述无人机与地面接收端之间的网络带宽是处于上升状态还是下降状态;
若处于下降状态,则根据预设第一调整策略,降低所述待传输数据的编码码率;
若处于上升状态,则根据预设第二调整策略,提升所述待传输数据的编码码率。
10.根据权利要求9所述的系统,其特征在于,
所述第一调整单元还用于获取所述网络带宽所对应的下降档位;
根据所述下降档位,调低所述待传输数据的编码码率的档位。
11.根据权利要求9所述的系统,其特征在于,
所述第一调整单元还用于检测所述网络带宽是否满足提档条件,其中,所述提档条件为持续检测到网络带宽大于或者等于第一预设带宽的次数为M+N*M次,所述M为设定值,所述N为先前提档的次数;
若满足,则将所述待传输数据的编码码率提升一档。
12.根据权利要求7-11任一项所述的系统,其特征在于,
所述第二调整单元还用于判断所述待传输数据的数据量位于预设第一区间、预设第二区间、还是预设第三区间;
若位于所述预设第一区间,则将所述待传输数据的编码方式调整为正常编码方式;
若位于所述预设第二区间,则将所述待传输数据的编码方式调整为间隔跳帧参考编码方式,并且删除所述待传输数据在缓冲空间内的图像的差别帧的奇数帧或偶数帧,以得到调整后的图像数据;
若位于所述预设第三区间,则将所述待传输数据的编码方式调整为正常编码方式,并且保留所述待传输数据中图像的关键帧,并删除与所述关键帧关联的差别帧,以得到调整后的图像数据。
13.一种无人机,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-6任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行如权利要求1-6任一项所述的方法。
CN201911304639.8A 2019-12-17 2019-12-17 一种图传控制方法、系统及无人机 Pending CN110933380A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911304639.8A CN110933380A (zh) 2019-12-17 2019-12-17 一种图传控制方法、系统及无人机
PCT/CN2020/132318 WO2021121011A1 (zh) 2019-12-17 2020-11-27 一种图传控制方法、系统及无人机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911304639.8A CN110933380A (zh) 2019-12-17 2019-12-17 一种图传控制方法、系统及无人机

Publications (1)

Publication Number Publication Date
CN110933380A true CN110933380A (zh) 2020-03-27

Family

ID=69863107

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911304639.8A Pending CN110933380A (zh) 2019-12-17 2019-12-17 一种图传控制方法、系统及无人机

Country Status (2)

Country Link
CN (1) CN110933380A (zh)
WO (1) WO2021121011A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111491201A (zh) * 2020-04-08 2020-08-04 深圳市昊一源科技有限公司 调整视频码流的方法及视频丢帧处理方法
CN112162694A (zh) * 2020-09-09 2021-01-01 合肥富煌君达高科信息技术有限公司 一种数据传输速度控制方法及装置
WO2021121011A1 (zh) * 2019-12-17 2021-06-24 深圳市道通智能航空技术股份有限公司 一种图传控制方法、系统及无人机
CN113194340A (zh) * 2021-04-08 2021-07-30 广州市奥威亚电子科技有限公司 视频传输调整方法及装置
CN113491119A (zh) * 2020-04-28 2021-10-08 深圳市大疆创新科技有限公司 图传控制方法、装置、电子设备与图传系统
WO2021212373A1 (zh) * 2020-04-22 2021-10-28 深圳市大疆创新科技有限公司 无人飞行器的数据传输方法、芯片、控制设备、飞行控制系统、存储介质及计算机程序产品
CN114422822A (zh) * 2021-12-27 2022-04-29 北京长焜科技有限公司 一种支持自适应hdmi编码的无人机数图传输控制方法
CN115022685A (zh) * 2022-06-02 2022-09-06 上海普适导航科技股份有限公司 一种适用于无人机的视频传输方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103475902A (zh) * 2013-09-06 2013-12-25 同观科技(深圳)有限公司 一种视频编码及网络传输方法和一种视频转发服务器
CN104683762A (zh) * 2015-01-29 2015-06-03 中国人民解放军理工大学 一种基于缓冲占用比的无人机视频无线自适应传输方法和无线传输系统
US20160332747A1 (en) * 2015-05-11 2016-11-17 Lily Robotics, Inc. External microphone for an unmanned aerial vehicle
CN106488176A (zh) * 2015-08-26 2017-03-08 重庆西线科技有限公司 一种视频传输装置
CN106657855A (zh) * 2016-12-16 2017-05-10 西北工业大学 一种适用于无人机spi接口视频码率控制方法
CN107533792A (zh) * 2015-03-02 2018-01-02 瓦威亚无人机公司 用于在如无人机等远程控制机器与地面站点之间传输命令和视频流的系统
CN109004972A (zh) * 2018-07-13 2018-12-14 深圳市道通智能航空技术有限公司 无人机系统的数据传输方法、装置、系统和地面图传模块
CN109218744A (zh) * 2018-10-17 2019-01-15 华中科技大学 一种基于drl的比特率自适应无人机视频流传输方法
CN110312150A (zh) * 2019-04-24 2019-10-08 网宿科技股份有限公司 一种视频帧传输方法、系统及服务器

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101222296B (zh) * 2008-01-31 2010-06-09 上海交通大学 上行蜂窝视频通信中自适应的传输方法及系统
CN105262699B (zh) * 2015-10-29 2018-07-03 浙江大华技术股份有限公司 一种网络自适应编码调整方法及装置
US10455431B2 (en) * 2017-05-23 2019-10-22 Ge Aviation Systems Llc Line of sight aircraft data transfer system
CN109660879B (zh) * 2018-12-20 2021-11-19 广州虎牙信息科技有限公司 直播丢帧方法、系统、计算机设备和存储介质
CN110933380A (zh) * 2019-12-17 2020-03-27 深圳市道通智能航空技术有限公司 一种图传控制方法、系统及无人机

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103475902A (zh) * 2013-09-06 2013-12-25 同观科技(深圳)有限公司 一种视频编码及网络传输方法和一种视频转发服务器
CN104683762A (zh) * 2015-01-29 2015-06-03 中国人民解放军理工大学 一种基于缓冲占用比的无人机视频无线自适应传输方法和无线传输系统
CN107533792A (zh) * 2015-03-02 2018-01-02 瓦威亚无人机公司 用于在如无人机等远程控制机器与地面站点之间传输命令和视频流的系统
US20160332747A1 (en) * 2015-05-11 2016-11-17 Lily Robotics, Inc. External microphone for an unmanned aerial vehicle
CN106488176A (zh) * 2015-08-26 2017-03-08 重庆西线科技有限公司 一种视频传输装置
CN106657855A (zh) * 2016-12-16 2017-05-10 西北工业大学 一种适用于无人机spi接口视频码率控制方法
CN109004972A (zh) * 2018-07-13 2018-12-14 深圳市道通智能航空技术有限公司 无人机系统的数据传输方法、装置、系统和地面图传模块
CN109218744A (zh) * 2018-10-17 2019-01-15 华中科技大学 一种基于drl的比特率自适应无人机视频流传输方法
CN110312150A (zh) * 2019-04-24 2019-10-08 网宿科技股份有限公司 一种视频帧传输方法、系统及服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
马守清: "《现代影视技术辞典》", 28 February 1998 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021121011A1 (zh) * 2019-12-17 2021-06-24 深圳市道通智能航空技术股份有限公司 一种图传控制方法、系统及无人机
CN111491201A (zh) * 2020-04-08 2020-08-04 深圳市昊一源科技有限公司 调整视频码流的方法及视频丢帧处理方法
WO2021212373A1 (zh) * 2020-04-22 2021-10-28 深圳市大疆创新科技有限公司 无人飞行器的数据传输方法、芯片、控制设备、飞行控制系统、存储介质及计算机程序产品
CN113892273A (zh) * 2020-04-22 2022-01-04 深圳市大疆创新科技有限公司 无人飞行器的数据传输方法、芯片、控制设备、飞行控制系统、存储介质及计算机程序产品
CN113491119A (zh) * 2020-04-28 2021-10-08 深圳市大疆创新科技有限公司 图传控制方法、装置、电子设备与图传系统
WO2021217429A1 (zh) * 2020-04-28 2021-11-04 深圳市大疆创新科技有限公司 图传控制方法、装置、电子设备与图传系统
CN112162694A (zh) * 2020-09-09 2021-01-01 合肥富煌君达高科信息技术有限公司 一种数据传输速度控制方法及装置
CN112162694B (zh) * 2020-09-09 2024-05-07 合肥中科君达视界技术股份有限公司 一种数据传输速度控制方法及装置
CN113194340A (zh) * 2021-04-08 2021-07-30 广州市奥威亚电子科技有限公司 视频传输调整方法及装置
CN114422822A (zh) * 2021-12-27 2022-04-29 北京长焜科技有限公司 一种支持自适应hdmi编码的无人机数图传输控制方法
CN114422822B (zh) * 2021-12-27 2023-06-06 北京长焜科技有限公司 一种支持自适应hdmi编码的无人机数图传输控制方法
CN115022685A (zh) * 2022-06-02 2022-09-06 上海普适导航科技股份有限公司 一种适用于无人机的视频传输方法及装置

Also Published As

Publication number Publication date
WO2021121011A1 (zh) 2021-06-24

Similar Documents

Publication Publication Date Title
CN110933380A (zh) 一种图传控制方法、系统及无人机
US10466697B2 (en) Monitoring control system, monitoring control device, and monitoring control method
CN107079135B (zh) 视频数据传输方法、系统、设备和拍摄装置
CN113259717B (zh) 视频流的处理方法、装置、设备及计算机可读存储介质
US20210126868A1 (en) Data transmission method, device and system of unmanned aerial vehicle system and ground image transmission module
CN113068001B (zh) 基于级联摄像机的数据处理方法、装置、设备和介质
CN103338351A (zh) 一种使用无线网络监控视频数据上传的方法、装置及系统
DE102010030068A1 (de) Verarbeitung von Bilddaten, die durch ein Fahrzeug aufgenommen werden
WO2014155919A1 (ja) 画像符号化装置、画像符号化方法および画像符号化プログラム
CN108965689A (zh) 无人机拍摄方法及装置、无人机和地面控制装置
CN113068074B (zh) 缓存方法和装置、计算机可读的存储介质及电子装置
KR102153543B1 (ko) 무선 환경에서 usb 통신을 위한 버퍼 관리 방법 및 장치
CN105721829B (zh) 监控相机、用于监控的记录设备和监控系统
CN112350998B (zh) 一种基于边缘计算的视频流传输方法
CN111447253B (zh) 缓冲区管理方法、系统、设备及存储介质
US20220368860A1 (en) Transmission method, transmission system, and system control device
CN111833478A (zh) 数据处理方法、装置、终端及存储介质
US11431255B2 (en) Analysis system, analysis method, and program storage medium
US9894291B2 (en) Still image provision device
CN114706410A (zh) 一种飞行控制方法、无人飞行器以及可读存储介质
EP2613530A1 (en) A method for video surveillance, a related system, a related surveillance server, and a related surveillance camera
KR20220111111A (ko) 딥러닝 기반의 초해상화 이미지 처리 시스템과 방법 및 이를 위한 컴퓨터 프로그램
CN111385586A (zh) 一种机器人视频传输方法及系统
TW202038598A (zh) 在視訊記錄系統中之多個攝影機之間之適應儲存
CN112911299A (zh) 一种视频码率控制方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd.

Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1

Applicant before: AUTEL ROBOTICS Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20200327

RJ01 Rejection of invention patent application after publication