CN112492118B - 数据传输控制方法、信息发送端、接收端及飞行器图传系统 - Google Patents
数据传输控制方法、信息发送端、接收端及飞行器图传系统 Download PDFInfo
- Publication number
- CN112492118B CN112492118B CN202011410138.0A CN202011410138A CN112492118B CN 112492118 B CN112492118 B CN 112492118B CN 202011410138 A CN202011410138 A CN 202011410138A CN 112492118 B CN112492118 B CN 112492118B
- Authority
- CN
- China
- Prior art keywords
- data
- data frame
- frame
- quality
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000004044 response Effects 0.000 claims abstract description 58
- 230000000903 blocking effect Effects 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 30
- 239000012634 fragment Substances 0.000 claims description 11
- 238000011084 recovery Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 230000003139 buffering effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00095—Systems or arrangements for the transmission of the picture signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
- H04L1/1809—Selective-repeat protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/12—Arrangements for detecting or preventing errors in the information received by using return channel
- H04L1/16—Arrangements for detecting or preventing errors in the information received by using return channel in which the return channel carries supervisory signals, e.g. repetition request signals
- H04L1/18—Automatic repetition systems, e.g. Van Duuren systems
- H04L1/1829—Arrangements specially adapted for the receiver end
- H04L1/1835—Buffer management
- H04L1/1838—Buffer management for semi-reliable protocols, e.g. for less sensitive applications such as streaming video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00095—Systems or arrangements for the transmission of the picture signal
- H04N1/00103—Systems or arrangements for the transmission of the picture signal specially adapted for radio transmission, e.g. via satellites
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0015—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy
- H04L1/0019—Systems modifying transmission characteristics according to link quality, e.g. power backoff characterised by the adaptation strategy in which mode-switching is based on a statistical approach
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0033—Systems modifying transmission characteristics according to link quality, e.g. power backoff arrangements specific to the transmitter
- H04L1/0035—Systems modifying transmission characteristics according to link quality, e.g. power backoff arrangements specific to the transmitter evaluation of received explicit signalling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0094—Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- General Physics & Mathematics (AREA)
- Mobile Radio Communication Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明实施例涉及数据传输控制方法、信息发送端、接收端及飞行器图传系统。所述数据传输控制方法包括:接收发送端发送的数据帧;所述数据帧由发送端依照数据帧序列的顺序依次发送;向发送端返回与当前接收到的数据帧N对应的应答信号以使所述信息发送端根据所述应答信号,确定当前的网络状态,并基于当前的网络状况,调整发送的数据帧的数据编码质量。该方法可以基于应答信号的反馈,快速的确认当前的网络状态,有效的减少网络状态恢复时,图像质量和传输速度恢复的时延。
Description
【技术领域】
本发明涉及数据传输技术领域,尤其涉及一种数据传输控制方法、信息发送端、接收端及飞行器图传系统。
【背景技术】
无人机是近年来非常热门,广受欢迎的拍摄载具。基于无人机或者飞行器的高机动性以及灵活的位置移动,可以获得许多正常摄影无法实现的角度。这使得无人机或者无人飞行器越来越多的应用到航拍中。
用户通常通过安装在智能移动终端中的APP(应用程序,application)或者其它的专用显示设备实时的点播航拍无人机拍摄获得图像,从而实现对无人机航拍的拍摄控制。为了支持这样的实时图像点播功能,需要无人机与用户终端之间建立无线通信信道,从而向用户终端传输图像数据。
但是,这样无线通信网络在空中经常会受到干扰,发生网络波动。并且,当两者的距离较远时,网络带宽会显著的减少,这些原因会导致实时视频码流累积产生延时、网络丢包等现象,产生图像花屏等问题。
如何能够在图像传输过程中快速的适应网络变化,从而在糟糕网络环境下也尽可能看到实时的视频,或者在网络恢复正常时能尽快看到最佳质量的视频图像是一个迫切需要解决的问题。
【发明内容】
为了解决上述技术问题,本发明实施例提供一种可以快速适应网络环境变化的数据传输控制方法、信息发送端、接收端及飞行器图传系统。
为解决上述技术问题,本发明实施例提供以下技术方案:一种数据传输控制方法。所述数据传输控制方法包括:
接收发送端发送的数据帧;所述数据帧由发送端依照数据帧序列的顺序依次发送;
向发送端返回与当前接收到的数据帧N对应的应答信号,以使所述信息发送端根据所述应答信号,确定当前的网络状态,并基于当前的网络状况,调整发送的数据帧的数据编码质量。
可选地,所述数据帧序列被若干个关键帧划分为若干个非关键片段;所述方法还包括:确定当前接收到的数据帧N与上一个接收到的数据帧N-1之间是否存在丢失的数据帧,N为大于1的正整数;
在不存在丢失的数据帧时,解码所述数据帧N;在存在丢失的数据帧时,丢弃所述数据帧N以及在所述数据帧N所在的非关键帧片段。
可选地,所述非关键片段的时间长度小于预设时间阈值。
可选地,所述数据帧具有随数据帧序列的发送次序,逐帧累加的序号;所述确定当前接收到的数据帧N与上一个接收到的数据帧N-1之间是否存在丢失的数据帧,具体包括:
判断当前接收到的数据帧N与上一个接收到的数据帧N-1之间的序号是否连续;若是,则确定不存在丢失的数据帧;若否,则确定存在丢失的数据帧。
可选地,所述在存在丢失的数据帧时,丢弃所述数据帧N以及所述数据帧N所在的非关键帧片段,具体包括:
在存在丢失的数据帧时,丢弃所述数据帧N;确定下一个接收到的数据帧N+1是否为关键帧;若是,解码所述关键帧;若否,丢弃所述数据帧N+1;在丢弃所述数据帧N+1以后,重复执行所述确定下一个接收到的数据帧N+1是否为关键帧的步骤。
为解决上述技术问题,本发明实施例还提供以下技术方案:一种数据传输控制方法。所述数据传输控制方法包括:依照数据帧序列的顺序,向接收端依次发送数据帧;接收来自接收端的应答信号;根据所述应答信号,确定当前网络状况;基于当前网络状况,调整发送的数据帧的数据编码质量。
可选地,所述根据所述应答信号,确定当前的网络状况,具体包括:在发送数据帧以后的预定时间段内,确定是否有接收到对应的应答信号;根据所述对应的应答信号的接收结果,确定当前的网络状态。
可选地,所述数据帧具有随发送次序,逐帧累加的序号,所述应答信号包括信息接收端接收到的数据帧的序号;
所述在发送数据帧以后的预定时间段内,确定是否有接收到对应的应答信号,包括:在发送数据帧以后的预定时间段内,确定是否接收到应答信号;
若接收到应答信号,确定所述发送数据帧包含的序号与所述应答信号中的序号是否相同;
若相同,则确定接收到对应的应答信号;
若不同,则确定未接收到对应的应答信号。
可选地,所述预定时间段包括至少2个接收周期。
可选地,所述根据所述对应的应答信号的接收结果,确定当前的网络状态,包括:若没有接收到对应的应答信号,则增加用于表示网络阻塞程度的统计值;若接收到所述对应的应答信号,则清零或减少所述统计值;
根据所述统计值,确定当前的网络状态。
可选地,所述根据所述统计值,确定当前的网络状态。在所述统计值大于预设的阻塞阈值时,确定所述网络状况处于堵塞状态;在所述统计值小于预设的正常阈值时,确定所述网络状况处于正常状态。
可选地,所述基于当前的网络状况,调整发送的数据帧的数据编码质量,具体包括:在当前的网络状况为堵塞状态时,降低数据编码质量;在当前的网络状况为正常状态时,阶梯式恢复数据编码质量。
可选地,所述在当前的网络状况为堵塞状态时,降低数据编码质量,包括:根据所述统计值与阻塞阈值的大小关系,降低数据编码质量。
可选地,所述在当前的网络状况为堵塞状态时,降低数据编码质量,具体包括:在所述统计值大于预设的第一阻塞阈值时,降低数据编码质量的等级;其中,所述数据编码质量划分为若干个等级。
可选地,所述方法还包括:在所述统计值大于预设的第二阻塞阈值时,将所述数据编码质量降低至最低等级;其中,所述第二阻塞阈值大于所述第一阻塞阈值。
可选地,所述方法还包括:清除所述缓存队列中的非关键片段,所述非关键片段是数据帧序列中由关键帧划分出的片段。
可选地,所述方法还包括:在所述统计值大于预设的第三阻塞阈值时,清空在缓存队列内所有待发送的数据帧;其中,所述第三阻塞阈值大于所述第二阻塞阈值。
可选地,所述在当期的网络状况为正常状态时,阶梯式恢复数据编码质量,具体包括:计算所述统计值连续小于预设的正常阈值的统计次数;在所述统计次数大于预设的次数阈值时,提高所述数据编码质量的等级;所述数据编码质量划分为若干个等级。
可选地,所述方法还包括:在提高所述数据编码质量的等级以后,将所述统计次数清零。
为解决上述技术问题,本发明实施例还提供以下技术方案:一种信息发送端。
所述信息发送端包括:通信接口、处理器以及存储器;所述通信接口、处理器以及存储器之间耦合;
所述处理器用于对采集获得图像信息进行编码,形成编码信息;
所述存储器至少包括一数据缓存区以及软件应用程序存储区,所述数据缓存区用于缓存编码信息并形成缓存序列;所述软件应用程序存储区存储有软件应用程序;
所述处理器调用所述软件应用程序,以执行如上所述的数据传输控制方法,通过所述通信接口,以数据帧的形式向信息接收端发送所述编码信息。
为解决上述技术问题,本发明实施例还提供以下技术方案:一种信息接收端。所述信息接收端包括:通信接口、处理器以及存储器;所述通信接口、处理器以及存储器之间耦合;所述处理器用于对采集获得图像信息进行编码,形成编码信息;
所述存储器至少包括一数据缓存区以及软件应用程序存储区,所述数据缓存区用于缓存编码信息并形成缓存序列;所述软件应用程序存储区存储有软件应用程序;
所述处理器调用所述软件应用程序,以执行如上所述的数据传输控制方法,通过所述通信接口,以数据帧的形式向信息接收端发送所述编码信息。
为解决上述技术问题,本发明实施例还提供以下技术方案:
一种飞行器图传系统。所述飞行器图传系统包括:信息发送端以及信息接收端;所述信息接收端用于执行如上所述的数据传输控制方法,接收来自所述信息发送端的数据帧;所述信息发送端用于采集图像信息,并执行如上所述的数据传输控制方法,向信息接收端发送数据帧。
与现有技术相比较,本发明实施例的提供的数据传输控制方法,在接收端可以通过丢弃合适的数据帧的方式,解决网络状态较差时产生的花屏,无图像等问题。
进一步地,在发送端则可以基于应答信号的反馈,可以有效的减少网络状态恢复时,图像质量和传输速度恢复的时延,确保图像质量能够快速恢复。
【附图说明】
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1为本发明实施例的应用环境示意图;
图2为本发明实施例提供的用户终端的结构框图;
图3为本发明实施例提供的飞行器图传系统的结构框图;
图4为本发明实施例提供的由信息发送端执行的数据传输控制方法的方法流程图;
图5为图4所示的步骤430的方法流程图;
图6为本发明实施例提供的阶梯式恢复数据传输质量的方法流程图;
图7为本发明实施例提供的降低数据传输质量的方法流程图;
图8为本发明实施例提供的,由信息接收端执行的数据传输控制方法的方法流程图;
图9为本发明另一实施例提供的由信息接收端执行的数据传输控制方法的方法流程图;
图10为图9所示的步骤950的方法流程图;
图11为图3所示的飞行器图传系统的图像传输过程的流程图。
【具体实施方式】
为了便于理解本发明,下面结合附图和具体实施例,对本发明进行更详细的说明。需要说明的是,当元件被表述“固定于”另一个元件,它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件,它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”“第三”等仅用于描述目的,而不能理解为指示或暗示相对重要性。
除非另有定义,本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本说明书中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
此外,下面所描述的本发明不同实施例中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
图1为本发明实施例提供的应用环境。如图1所示,所述应用环境包括无人飞行器10、用户终端20以及无线网络30。
无人飞行器10可以是以任何类型的动力驱动的飞行载具,包括但不限于多轴旋翼无人飞行器,如四轴旋翼无人飞行器、固定翼飞行器以及直升机等。在本实施例中以四轴旋翼无人飞行器为例进行陈述。
该无人飞行器10可以根据实际情况的需要,具备相应的体积或者动力,从而提供足够的载重能力、飞行速度、飞行续航里程等。无人飞行器上还可以添加有一种或者多种功能模块,令无人飞行器能够实现更多的功能。
例如,在一些实施例中,该无人飞行器10至少具备一个用于采集图像信息的图像采集设备。在另一些实施例中,该无人飞行器10还可以提供用于固定安装图像采集设备的固定支架,从而可以使用户根据自身的需要,更换安装在无人飞行器10上的图像采集设备。
用户终端20可以是任何类型的用户交互设备。用户终端20可以装配有一种或者多种不同的用户交互设备,用以采集用户指令或者向用户展示或者反馈信息。这些交互设备包括但不限于:按键、显示屏、触摸屏、扬声器以及遥控操作杆。例如,用户终端20可以装配有触控显示屏,通过该触控显示屏接收用户的触摸指令并通过触控显示屏向用户展示图像信息。
在一些实施例中,用户终端20可以为智能终端设备。该用户终端20上可以安装有与无人飞行器10相匹配的软件应用程序(APP)。用户可以通过该软件应用程序,获取无人飞行器10采集获取的图像信息。
在另一些实施例中,用户终端20还可以是与无人飞行器10配套的专用控制设备,例如无人飞行器的遥控器等,其可以接收来自无人飞行器10的图像信息并通过内置或者外部连接的显示屏显示。
图2为本发明实施例提供的用户终端20的结构框图。如图2所示,该用户终端20可以包括:处理器21、存储器22、输入装置23、显示屏24以及通信模块25。
所述处理器21、存储器22、输入装置23、显示屏24以及通信模块25之间通过总线或其他连接的方式,建立任意两者之间的通信连接。
处理器21为任何类型的单线程或者多线程的,具有一个或者多个处理核心的处理器,作为用户终端20的控制核心,用于获取数据、执行逻辑运算功能以及下发运算处理结果。
存储器22作为一种非易失性计算机可读存储介质,例如至少一个磁盘存储器件、闪存器件、相对于处理器21远程设置的分布式存储设备或者其他非易失性固态存储器件。
存储器22可以具有程序存储区,用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,供处理器21调用以使处理器21执行一个或者多个方法步骤。存储器22还可以具有数据存储区,用以存储处理器21下发输出的运算处理结果。
输入装置23是用于采集用户输入指令的用户交互设备,例如鼠标、键盘、触控面板或者其它输入设备。输入装置23接收用户输入的数字或者字符等信息,提供给处理器21以使处理器21执行对应的控制指令。
显示屏24是用于以特定的形式,向用户展示相应的数据的显示设备,其可以是任何类型的显示器、例如LED显示器、显像管显示器或者LCD显示器。显示屏24接收到由处理器21输出的显示信息,并相应的转换为图像信息提供给用户。
通信模块25是用于与无人机10建立通信连接,提供物理信道的功能模块。通信模块25可以是任何类型的无线或者有线通信模块,例如WiFi模块或者蓝牙模块等。其中,通信模块25可以包括天线等装置,在此不予详细描述。
无线网络30可以是基于任何类型的数据传输原理,可以建立两个节点之间的数据传输信道的无线通信网络,例如位于不同信号频段的蓝牙网络、WiFi网络、无线蜂窝网络以及多种无线通信网络的结合。
在一些实施例中,所述无线网络30可以是2.4GHz频段的射频传输网络。无人机飞行器10和用户终端20上设置有相应的射频模块,建立相应的通信链路,实现无人机飞行器10与用户终端20之间的数据传输。
图3为本发明实施例提供的飞行器图传系统。该飞行器图传系统可以应用在如图1所示的应用环境中,实现无人飞行器10与用户终端20之间的实时图像信息传输。
在本实施例中,该飞行器图传系统包括应用在无人飞行器10上的信息发送端101以及应用在用户终端20上的信息接收端201。
信息发送端101通过2.4GHz、5.2GHz或其他任一射频通信网络向信息接收端21发送一系列的数据帧。信息接收端201则通过对应射频通信网络向信息发送端返回数据帧的接收情况。
信息接收端201和信息发送端101基于2.4GHz、5.2GHz或其他任一射频通信网络,实现双方之间的数据交互,并且根据交互的数据确定或者判断当前2.4GHz射频通信网络的状态,自适应的调整数据帧发送或者数据帧解码的方式,从而保证飞行器图传系统的运行稳定。
具体的,如图3所示,所述信息发送端101具体可以包括如下硬件模块:图像采集模块111,编码模块112,缓存模块113以及发送模块114。在本实施例中,图3所示的硬件模块根据执行的功能来划分。本领域技术人员所熟知的,该硬件模块具体还可以整合到一个处理器、存储器以及通信接口组成的电子运算电路中实现。本申请实施例中的通信接口可以理解为上述通信模块。
其中,所述图像采集模块111为安装在无人飞行器外部或无人飞行器内置的拍摄设备,用于自动或者受控制的采集不同角度或者不同位置的图像信息。根据采集和拍摄设备的不同,采集获得的原始图像信息可以具有相应的信息格式。
在一些实施例中,该图像采集模块111也可以省略,信息发送端101只接收来自网络或者其它来源的图像数据信息。在此,图像采集模块111仅用于表示图像信息源。该图像信息源并不包含在本发明的限制范围内,本发明仅用于接收图像信息以执行相应的图像传输方法。
所述编码模块112是与所述图像采集模块111连接,接收图像采集模块111采集获得的原始图像信息的功能电路。该编码模块112可以选用任何类型的图形编码芯片或者编码电路实现。
编码模块112可以根据实际情况的需要,采用多种不同类型的编码方式,对原始图像信息进行编码,将其压缩为便于进行射频传输的图像信息。在此,使用“数据编码质量”来表示原始图像信息在编码以后的压缩程度,可以用以调整需要发送的数据量以及图像质量。
当数据编码质量较高时,表明更多的原始图像信息被记录下来,图像显示质量较高。相应地,此时需要发送加载的数据量也较大。而当数据编码质量较低时,表明更多的原始图像信息被压缩,图像显示质量下降。但是,需要发送加载的数据量也会减少。
缓存模块113可以采用各种不同类型的数据存储电路或者存储器。该缓存模块113可以与编码模块112整合在同一个控制电路板中,为编码模块112提供缓存功能。
缓存模块113与编码模块112连接,接收从编码模块112输出的编码后数据并暂时存储,作为连接编码模块112和发送模块114之间的数据缓冲区。在一些实施例中,缓存模块113采用先进先出形式的数据存储方式,在缓存模块113中,待发送的数据排列形成缓存队列,依次序的被取出并发送。
发送模块114是整个信息发送端的核心部分,其可以包括射频天线以及相应的配套电路,将编码信息加载在射频载波信号中,以数据帧的形式向外发送。该发送模块114具体可以采用任何类型的射频天线及相应的外围电路,用以实现数据帧的发送。
在信息发送端进行数据帧发送过程中,无线射频网络可能因距离过远、存在干扰源或者受到遮蔽等问题,导致网络暂时性的堵塞。发送模块114在可以采用如图4所示的方法,在网络出现堵塞状况时,及时的调整图像数据帧的发送策略,以确保飞行器图传系统的稳定。
图4为本发明实施例提供的数据传输控制方法。在本实施例中,该数据传输控制方法应用于飞行器图传系统的信息发送端中。本领域技术人员可以理解的是,基于相同的发明构思,该数据传输控制方法还可以应用于其它不同类型的数据无线传输过程(例如音频传输)而不限于飞行器图传系统。
如图4所示,所述数据传输控制方法包括如下步骤:
410、依照数据帧序列的顺序,向接收端依次发送数据帧。
在本实施例中,图像采集装置采集获得视频图像数据由多个依次序排列的数据帧组成的数据帧序列所表示。发送模块114依据图像采集装置采集的数据帧先后顺序,依次向信息接收端发送。
在飞行器图传系统中,发送模块114依次发送数据帧的过程是一个实时的,持续不断的过程。而图像采集模块111采集获得的图像信息,经过编码模块112的编码以后,编码数据会在缓存模块113中形成缓存队列,按照先进先出的原则,依次被发送模块114取出并发送。
在数据帧发送过程中,通常会在数据帧的包头中写入用于表示数据帧的特定标识,用以实现丢包检测等功能。在一些实施例中,发送模块114可以在数据帧发送时,在数据帧的包头或者相应的数据区域中写入一个随数据帧序列的发送次序,逐帧累加的序号。亦即,数据帧1、数据帧2直至数据帧n。
在一些实施例中,该数据帧序列可以被多个关键帧切割划分为多个不同的非关键帧段落。亦即,在数据帧序列中,每间隔一定的时间将出现一个关键帧,在两个关键帧之间的均为非关键帧。
关键帧指连续的数据帧序列中,发生了显著或者明显变化的数据帧。而非关键帧是指一段连续的数据帧序列中,与在前的数据帧相比,变化较为细微的数据帧。
在图像采集模块111采集图像的过程中,相邻较短一段时间内采集获得的数据帧由于时间相差不大。因此,可以认为这些数据帧之间的内容是相似的。
在一些实施例中,基于上述假设,可以将间隔时间作为关键帧与非关键帧的区分标准。亦即每间隔预定的时间或者预定数量的非关键帧,设置一个关键帧。例如,每一秒设置至少一个关键帧。
420、接收来自接收端的应答信号。
应答信号是信号接收端在接收到数据帧以后,向信号发送端返回的确认信号。该应答信号可以根据实际情况,设置包含合适一种或者多种用于反映数据帧接收情况的信息,例如接收到的数据帧的标识或者信号接收端的硬件编号。
430、根据所述应答信号,确定当前的网络状况。
由于应答信号可以反映信号接收端在数据帧接收过程中的接收情况。因此信号发送端结合自身发送的数据帧,即可确定无线网络当前的网络状况。
该网络状况可以通过一种或者多种不同的衡量标准进行评价。具体选用的衡量标准可以由技术人员根据实际情况所决定。
在一些实施例中,可以根据数据帧的传输成功率大致将网络状况划分为堵塞状态或者正常状态。该数据帧的传输成功率由应答信号是否与发送的数据帧相符所决定。
440、基于当前的网络状况,调整发送的数据帧的数据编码质量。
应答信号反映了发送的数据是否能够被成功的接收到。因此,在一些实施例中,信息发送端可以在发送数据帧以后的预定时间段内,确定是否有接收到对应的应答信号。并且,根据所述对应的应答信号的接收结果,确定当前的网络状态。
针对不同的网络状况,发送模块114可以相应的调整发送数据帧的策略或者侧重点来满足用户在不同网络状况下的需要。
例如,当网络状况不佳的情况下(如堵塞状态),用户需要的是保持图像传输不中断或者图像传输中断的情况及时恢复。因此,发送模块114可以通过降低图像传输质量,亦即降低数据帧的数据编码质量的方式来确保图像传输可以在低带宽状态下完成。
或者是,当网络状况较好的情况下(如正常状态),用户此时希望能够得到较高质量的图像或者画质。因此,发送模块114可以将数据编码质量提高,从而尽可能的为用户提供较高质量的图像。
由于无人机图传系统中,无线网络的网络状况并不稳定,容易出现反复或者瞬时的变化。因此,为了避免网络状况在稍微恢复时,数据传输的压力过分加大而导致网络状况重新变差,进入恶性循环的问题,在一些实施例中,所述发送模块114可以采用阶梯式恢复数据编码质量的方式,逐渐的将数据编码质量提升。
该阶梯式恢复方式是指在编码模块113支持的最高数据编码质量到最低数据编码质量的区间中,随着网络状况的不断变好,逐步的提高数据编码质量。
图5为本发明实施例提供的根据应答信号确定网络状况的方法流程图。基于图5所提供的方法,可以采用相应的方式调整发送的数据帧的数据编码质量,与网络状况的变化情况相适应。
如图5所示,所述根据应答信号确定网络状况的方法包括如下步骤:
431、在发送数据帧以后的预定时间段内,确定是否有接收到对应的应答信号。若否,则执行步骤432;若是,则执行步骤433。
该预定时间段是根据实际的使用情况或需要设置的检测时长,是指一般情况下,信号接收端返回应答信号所需要的时间。该预定时间段可以采用多种不同的方式,如该预定时间段可以通过一定次数的等待时间来表示。
在一些实施例中,可以设置5毫秒的单位等待时间(即接收周期),该预定时间段设置为2次单位等待时间(即两个接收周期)。当然,也可以根据实际需要(如两者之间的时延较长)设置更多的单位等待时间,例如3次或者4次。当然,该预定时间段或者单位等待时间需要被合理的设置,以避免出现误判。
该“对应的应答信号”是指信号接收端向信号发送端返回的,接收到信号发送端发送的数据帧的确认信息。具体的,该确认信息可以利用上述方法实施例中的序号来判断信号接收端是否接收到了发送的数据帧。亦即,所述数据帧具有随发送次序,逐帧累加的序号,所述应答信号包括信息接收端接收到的数据帧的序号。
首先,信号接收端在接收到数据帧以后,读取接收到的数据帧的序号,并将其写入应答信息中,并立即发送至信号发送端。然后信号发送端根据预定时间段内,接收到的应答信号中的序号是否与发送数据帧的序号相同。若相同时,则确定接收到对应的应答信号。若不相同,则确定未接收到对应的应答信号。
432、增加用于表示网络阻塞程度的统计值。
在本实施例中,没有接收到到对应的应答信号有两种情况。第一种是没有接收到应答信号。另一种情况是接收到了应答信号,但是应答信号与发送数据帧的序号不相符。
这两种情况都表明发送出去的数据帧都没有被信号接收端接收到,出现了数据帧丢包的情况。这是一个消极的信号。因此,在出现这种情况时,可以将统计值的数据增加1,来表示网络堵塞的程度上升。
433、清零或者减少所述统计值。
如以上记载的,在接收到对应的应答信号时,表明发送的数据帧没有出现丢帧的现象,可以顺利的传输到信号接收端处。这是一个积极的信号。因此,此时可以将所述统计值清零或者减少,重新对当前无线网络的状态进行检测。
基于计算确定的统计值可以用以计算或者确定当前的网络状态情况。具体的,可以执行如下步骤434。
434、将当前的统计值与预设的阻塞阈值和正常阈值进行比较。在所述统计值大于预设的阻塞阈值时,执行步骤435;在所述统计值小于预设的正常阈值时,执行步骤436。
435、确定所述网络状况处于堵塞状态。
阻塞阈值是一个人为设定的数值,可以由技术人员根据历史经验数据或者实际的使用情况所确定。堵塞状态是指当前的网络状况所能够传输的数据量很少(即可用带宽少),处于受到了严重影响的状态。因此,在堵塞状态下,需要减轻或者降低无线网络对数据传输的负荷。
436、确定所述网络状况处于正常状态。
与阻塞阈值相类似的,正常阈值也是一个人为设定的数值,用于判断当前的网络状况是否处于正常状态。该正常阈值由技术人员通过经验总结所获得,与飞行器图传系统的实际使用环境相关。在正常状态下,无线网络的网络状况较好,可以提供更高质量的图像传输。
基于以上实施例公开的网络状况判断方法中使用的统计值,本发明实施例中还进一步提供了降低数据传输质量和恢复数据传输质量的具体方法。其中,在网络状况堵塞的情况下,根据所述统计值与阻塞阈值的大小关系,降低数据编码质量。统计值和阻塞阈值之间的大小关系表明了网络状况的堵塞严重程度。
图6为本发明实施例提供的阶梯式恢复数据传输质量的方法流程图。在本实施例中,为了实现阶梯式恢复的效果,数据编码质量可以被划分为Q+1个等级,从质量低到质量高分别表示为质量等级0、质量等级1、质量等级2至质量等级Q。,在网络状况符合要求的情况下,以等级为单位,随着网络状态的变化每次提高一个数据编码质量等级,从而实现阶梯式恢复的效果。设置的质量等级数量具体可以根据实际情况设置,例如5个、10个或者15个等。当然,划分的质量等级数量越多,阶梯式恢复的效果越平滑,恢复的效果越好。
在本实施例中。如图6所示,该方法包括:
601、计算所述统计值连续小于预设的正常阈值的统计次数。
在图5所示的方法实施例中,在信息发送端每发送一个数据帧以后,都会根据该数据帧是否存在对应的应答信号对统计值进行一次更新和判断。而更新后的统计值与正常阈值的比较记为统计次数中的一次。换言之,在步骤601中,该统计次数的次数以发送一个数据帧为计算单位。
602、在所述统计次数大于预设的次数阈值时,提高所述数据编码质量的等级。
在统计次数的数值越大,网络状况维持在正常状态的时间越长,网络状况真正恢复至正常的可能性越高。由此,技术人员可以根据实际的网络情况,设置合适的次数阈值。当然,次数阈值应当尽可能的设置为较大的数值以避免阈值过小时,无法真实的反映当前的网络状况,出现波动或者震荡,影响图像数据的正常传输。
603、在提高所述数据编码质量的等级以后,将所述统计次数清零。
每次在数据编码质量的等级提升以后,都将统计次数清零并重复执行步骤601至603,直至数据编码质量的等级提升到最高等级位置。
通过这样的方式,能够跟随网络状况的变化情况,将数据编码质量阶梯式的逐渐提升,有效提高了从低带宽网络到网络正常时,数据编码质量恢复的速度。同时也能鉴别网络状况的真实情况,避免出现震荡现象,导致图像传输的恶性循环。
图7为本发明实施例提供的降低数据传输质量的方法流程图。在本实施例中,设置了多个不同大小阻塞阈值,将堵塞状况划分为多个不同的等级,并采用相应的降低数据编码质量的措施,以更好适应不同的网络状况。
示例性地,可以设置有第一阻塞阈值、第二阻塞阈值以及第三阻塞阈值这三个不同大小的阻塞阈值,将阻塞状况划分为三种。
701、在所述统计值大于预设的第一阻塞阈值时,降低数据编码质量。
第一阻塞阈值是最低一级的阈值,在统计值处于第一阻塞阈值和第二阻塞阈值的区间时,表明此时的网络状况不佳。由此,可以将数据编码质量降低到次一级等级(即质量等级1)。
当然,也可以适应性的调整数据编码质量降低的等级,具体取决于第一阻塞阈值和第二阻塞阈值的区间对应的无线网络带宽。
702、在所述统计值大于预设的第二阻塞阈值时,将所述数据编码质量降低至最低等级。
在统计值处于第一阻塞阈值和第二阻塞阈值的区间时,表明网络状况进一步的恶化。此时,为了保证最低限度的数据传输,可以适应性的将所述数据编码质量降低至最低等级,以保障数据传输的进行。
703、在所述统计值大于预设的第三阻塞阈值时,清空在缓存队列内所有待发送的数据帧。
第三阻塞阈值是人为设定的,能够维持基本数据传输的最低值。在统计值大于预设的第三阻塞阈值时,基本可以认为网络状况处于断开或者极低带宽的状态。因此,可以采用情况缓存队列的策略,由信号发送端主动的清除待发送的缓存数据,从而在网络恢复时,迅速的向信号接收端输出当前的图像数据帧,实现快速恢复的技术效果。
请继续参阅图3,所述信息接收端201具体可以包括如下硬件模块:接收模块211以及显示模块212。所述接收模块211是与发送模块114相对应的硬件模块,可以包括相应的射频天线,用以接收来自发送模块114的射频信号。当然,该接收模块211之中还可以根据实际情况的需要,添加或者减省一些功能单元。例如,该接收模块211还可以进一步的包括解码模块,用于将射频信号中的编码内容进行解码,读取数据帧包含的图像内容。
显示模块212可以是用户终端20中的显示设备,可以接收图像数据并向用户展示。在本实施例中,显示模块212与接收模块211连接,获取接收模块211提供的解码信息,在用户终端20中的显示设备上显示。
与发送模块114相类似地,接收模块211在进行图像数据传输过程中,也可以根据网络状况的变化,采用如图8所示的方法,及时的调整对数据帧的解码播放策略,以在显示模块212上提供更好的图像显示效果。
图8为本发明实施例提供的数据传输控制方法。图8所示的数据传输控制方法应用于飞行器图传系统的信息接收端中。本领域技术人员可以理解的是,基于相同的发明构思,该数据传输控制方法还可以应用于其它不同类型的数据无线传输过程(例如音频传输)而不限于飞行器图传系统。
如图8所示,所述数据传输控制方法包括如下步骤:
810、接收信息发送端发送的数据帧。
由于在信息发送端11中,数据帧是以一定的次序发送的。每个数据帧在发送时都会写入一个用于代表自身发送顺序的序号。
因此,上述步骤810是一个在飞行器图传系统中不断持续的步骤。在此,以数据帧N表示信息接收端接收到的第N个数据帧,N为大于1的正整数。
820、向信息发送端返回与当前接收到的数据帧N对应的应答信号,以使所述信息发送端根据所述应答信号,确定当前的网络状态,并基于当前的网络状况,调整发送的数据帧的数据编码质量。
信息接收端对接收到的数据帧N进行解析后,可以确定数据帧N记录的序号n,并写入返回至信息发送端的应答信号中。这样的,可以通过应答信号的方式,以向信息发送端确认已经接收到了序号为n的数据帧。信号发送端根据应答信号来确定发送的信息是否有被接收到,从而得出网络状态的估计。
图9为本发明另一实施例提供的数据传输控制方法的方法流程图。基于该数据传输控制方法,可以有效的避免图传过程中,产生的花屏等的问题。如图9所示,除了与图8所示的步骤810和步骤820相同的步骤910和步骤920以外,所述方法还包括如下步骤:
930、确定当前接收到的数据帧N与上一个接收到的数据帧N-1之间是否存在丢失的数据帧。若否,则执行步骤840;若是,则执行步骤850。
在正常的数据传输过程中,信息发送端发送的数据帧事实上不一定全部能够被信息接收端接收到。在此,以“丢失的数据帧”这样的术语表示没有被信息接收端接收的数据帧。亦即数据传说过程中的“丢包”现象。
940、解码所述数据帧N。
在没有出现丢帧的情况下,表明此时信息接收端与信息发送端之间的无线网络通信处于正常状态,不需要特殊的处理,信息接收端可以解码所述数据帧N,并提供相应的图像数据给显示模块,向用户展示。
850、丢弃所述数据帧N以及所述数据帧N所在的非关键帧片段。
若出现“丢包”或者存在丢失的数据帧,此时的数据帧N和数据帧N-1之间会存在明显的不连续性。如果仍然对接收到的数据帧N进行解码播放,基于,将会在显示模块上产生图像花屏的问题。
由此,可以采用丢弃位于关键帧之间的非关键帧的方式,从下一个关键帧开始,直接播放下一段的图像信息,从而避免在显示模块中出现图像花屏的问题。
在本实施例中,信息发送端发送的数据帧序列是由多个间隔的关键帧以及连续的非关键帧所组成。这些夹在关键帧之间的连续非关键帧组成所述关键帧段落。
可以理解的,对于任意一个信号接收端接收获得的数据帧N而言,其必然会落在其中一个非关键帧段落内或者恰好是一个关键帧。而当数据帧N为关键帧时,所述数据帧N所在的非关键帧片段是指在关键帧之后的非关键帧片段。
在本实施例中,信号发送端提供的数据帧序列中关键帧出现的时间频率应当尽可能的提高,关键帧出现的频率不能过低,所述非关键片段的时间长度应该小于预设时间阈值。否则,在出现丢包现象时,不能快速的恢复图像显示(因为需要丢弃的非关键帧数量比较多)。较佳的,可以将关键帧出现的时间频率设置为1秒(即每一秒至少出现一个关键帧)从而确保非关键片段的时间长度小于1秒。
在一些实施例中,基于信号发送端发送数据帧和信号接收端返回应答信号的方式,可以通过判断当前接收到的数据帧N与上一个接收到的数据帧N-1之间的序号是否连续来确定是否出现“丢包”或者丢失的数据帧:
由于在信号发送端发送数据帧的过程中,序号是按照数据帧序列的发送次序,逐帧累加的。亦即,在信号发送端发送的相邻两个数据帧之间的序号应当是连续并且不相同的。
因此,如果信号接收端接收到的相邻两个数据帧N和N-1之间的序号是连续时,可以确定这两个连续发送的数据帧都已经被接收到,不存在丢失的数据帧,发生了丢包现象。相反,则说明信号接收端丢失了数据帧N和N-1之间序号不连续部分数据帧,存在丢包现象。
例如,数据帧N的序号为5,数据帧N-1的序号为7时,表明丢失了序号为6的数据帧。
在实际的数据帧传输处理过程中,可以采用多种不同的形式来准确的丢弃所述数据帧N所在的非关键帧片段。图9为本发明实施例提供的,用于丢弃所述非关键帧片段方法的方法流程图。
如图10所示,丢弃所述非关键帧片段的步骤具体包括:
951、在存在丢失的数据帧时,丢弃所述数据帧N。
在出现丢包现象时,首先将此次接收到的数据帧N丢弃。
952、确定下一个接收到的数据帧N+1是否为关键帧。若是,执行步骤953,若否,则执行步骤954。
所述关键帧是由信息发送端在数据帧发送时进行标记或者标注的。信息发送端可以采用任何形式对数据帧序列中的一部分数据帧进行标注,确定其属于关键帧。相应地,没有标注的数据帧则为非关键帧。
953、解码所述关键帧。
解码关键帧的过程具体可以根据数据帧的编码方式所决定。信息接收端可以采用多种类型的解码器进行关键帧解码。关键帧解码以后获得的图像信息会被提供至显示模块,由显示模块向用户展示。
954、丢弃所述数据帧。
如以上实施例中所揭露的,非关键帧片段是由两个关键帧在数据帧序列中划分形成的。因此,在丢弃所述数据帧N+1以后,可以重复执行步骤852,直至找到下一个关键帧为止,完成对非关键帧片段的丢弃。
图11为图3所示的飞行器图传系统的图像传输过程的方法流程图。在实际的图像传输过程中,如图11所示:
在传输过程中,所述信息发送端101首先向信息接收端201发送数据帧n(S110)。其中,n为数据帧的序号。然后,所述信息接收端201接收到数据帧N以后,向信息发送端101返回接收到的数据帧N的序号n`作为应答信号(S120)。
在信息发送端101中,根据应答信息中的序号n`是否与发送的数据帧的序号n是否一致来更新用于表示网络状况的统计值(S130)。并且,根据所述统计值,调整数据帧发送的策略(S140)。
例如,在统计值大于第三阻塞阈值时,清除缓存序列中的所有数据帧;或者根据统计值,调整数据编码质量的等级。
在信息接收端201内,根据接收到的数据帧N和N+1之间的序号是否连续来判断是否存在丢包现象(S150)。并且,在出现丢包现象时,丢弃后续的出现的所有非关键帧,直至接收到关键帧为止(S160)以及在没有出现丢包现象时,解码播放接收到的数据帧(S170)。
综上所述,本发明实施例提供的飞行器图传系统在信息接收端采取丢帧策略能够有效的解决网络状况较差时的图像花屏以及网络恢复时图像延时过大的问题。而信息发送端可以识别出网络状况,根据网络状况自适应的调整图像质量以确保在网络状况差的情况下,输出低画质的图像,而在网络正常时快速恢复高质量图像。
本领域技术人员应该还可以进一步意识到,结合本文中所公开的实施例描述的示例性的数据传输控制方法的各个步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。
本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。所述的计算机软件可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (4)
1.一种数据传输控制方法,其特征在于,包括:
接收信息发送端发送的数据帧;所述数据帧由信息发送端依照数据帧序列的顺序依次发送;
向信息发送端返回与当前接收到的数据帧N对应的应答信号,以使所述信息发送端根据所述应答信号,确定当前的网络状态,并基于当前的网络状况,调整发送的数据帧的数据编码质量;
所述数据编码质量被划分为若干个等级;所述网络状况包括:堵塞状态和正常状态;
所述基于当前的网络状况,调整发送的数据帧的数据编码质量,具体包括:
在当前的网络状况为堵塞状态时,降低数据编码质量;
在当前的网络状况为正常状态时,阶梯式恢复数据编码质量;
所述阶梯式恢复数据编码质量,具体包括:
步骤1:计算统计值连续小于预设的正常阈值的统计次数;
步骤2:在所述统计次数大于预设的次数阈值时,提高所述数据编码的质量等级;所述质量等级包括质量等级0至质量等级Q的Q+1个等级;
步骤3:在提高所述数据编码的质量等级后,将所述统计次数清零;
在所述统计次数清零后,重复执行步骤1至步骤3,直至所述数据编码的质量等级被提高至所述质量等级Q;
所述统计值的计算方法包括:
在发送数据帧以后的预定时间段内,确定是否有接收到对应的应答信号;
在接收到应答信号时,清零所述统计值;
在没有接收到所述应答信号时,增加所述统计值;
所述数据帧序列被若干个关键帧划分为若干个非关键片段;
所述方法还包括:
确定当前接收到的数据帧N与上一个接收到的数据帧N-1之间是否存在丢失的数据帧,N为大于1的正整数;
在不存在丢失的数据帧时,解码所述数据帧N;
在存在丢失的数据帧时,丢弃所述数据帧N以及所述数据帧N所在的非关键帧片段;
所述数据帧具有随发送次序,逐帧累加的序号;
所述确定当前接收到的数据帧N与上一个接收到的数据帧N-1之间是否存在丢失的数据帧,具体包括:
判断当前接收到的数据帧N与上一个接收到的数据帧N-1之间的序号是否连续;
若是,则确定不存在丢失的数据帧;若否,则确定存在丢失的数据帧。
2.根据权利要求1所述的方法,其特征在于,所述非关键片段的时间长度小于预设时间阈值。
3.根据权利要求1-2任一项所述的方法,其特征在于,所述在存在丢失的数据帧时,丢弃所述数据帧N以及所述数据帧N所在的非关键帧片段,具体包括:
在存在丢失的数据帧时,丢弃所述数据帧N;
确定下一个接收到的数据帧N+1是否为关键帧;
若是,解码所述关键帧;
若否,丢弃所述数据帧N+1,并重复执行所述确定下一个接收到的数据帧是否为关键帧的步骤。
4.一种信息接收端,其特征在于,包括:通信接口、处理器以及存储器;所述通信接口、处理器以及存储器之间耦合连接;
所述通信接口用于接收来自信息发送端发送的数据;所述存储器存储有软件应用程序,所述处理器用于调用所述软件应用程序,以执行如权利要求1-3任一所述的数据传输控制方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011410138.0A CN112492118B (zh) | 2018-06-21 | 2018-06-21 | 数据传输控制方法、信息发送端、接收端及飞行器图传系统 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011410138.0A CN112492118B (zh) | 2018-06-21 | 2018-06-21 | 数据传输控制方法、信息发送端、接收端及飞行器图传系统 |
CN201810645607.3A CN108769450B (zh) | 2018-06-21 | 2018-06-21 | 数据传输控制方法、信息发送端、接收端及飞行器图传系统 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810645607.3A Division CN108769450B (zh) | 2018-06-21 | 2018-06-21 | 数据传输控制方法、信息发送端、接收端及飞行器图传系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112492118A CN112492118A (zh) | 2021-03-12 |
CN112492118B true CN112492118B (zh) | 2023-11-17 |
Family
ID=63979978
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810645607.3A Active CN108769450B (zh) | 2018-06-21 | 2018-06-21 | 数据传输控制方法、信息发送端、接收端及飞行器图传系统 |
CN202011410138.0A Active CN112492118B (zh) | 2018-06-21 | 2018-06-21 | 数据传输控制方法、信息发送端、接收端及飞行器图传系统 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810645607.3A Active CN108769450B (zh) | 2018-06-21 | 2018-06-21 | 数据传输控制方法、信息发送端、接收端及飞行器图传系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11785148B2 (zh) |
CN (2) | CN108769450B (zh) |
WO (1) | WO2019242620A1 (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108769450B (zh) | 2018-06-21 | 2021-01-05 | 深圳市道通智能航空技术有限公司 | 数据传输控制方法、信息发送端、接收端及飞行器图传系统 |
CN109889766B (zh) * | 2019-04-19 | 2021-02-02 | 电科云(北京)科技有限公司 | 基于浏览器实现屏幕传输功能的方法 |
CN111713107A (zh) * | 2019-06-28 | 2020-09-25 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备、无人飞行器和接收端 |
CN111131210B (zh) * | 2019-12-16 | 2021-09-17 | 维沃移动通信有限公司 | 数据处理方法及电子设备 |
CN111615137B (zh) * | 2020-05-11 | 2023-02-28 | 深圳市炬力北方微电子有限公司 | 无线网络状态检测方法及其相关设备 |
CN112423004B (zh) * | 2020-11-05 | 2024-02-06 | 深圳Tcl新技术有限公司 | 视频数据传输方法、装置、发送端以及存储介质 |
CN112532355B (zh) * | 2020-11-22 | 2021-07-13 | 广州技象科技有限公司 | 基于链路复杂程度进行模式切换的数据传输方法和装置 |
CN113300819B (zh) * | 2021-04-13 | 2022-09-06 | 中国科学技术大学 | 一种鲁棒的逐跳可靠数据传输方法、装置及系统 |
CN113132669B (zh) * | 2021-04-22 | 2022-08-12 | 睿云联(厦门)网络通讯技术有限公司 | 基于WebRTC弱网环境视频质量提升方法、系统及存储介质 |
CN115412776B (zh) * | 2021-05-28 | 2024-10-18 | 华为技术有限公司 | 一种近场场景下视频传输中的网络质量评估方法及设备 |
CN113315773B (zh) * | 2021-05-31 | 2022-08-12 | 浙江大华技术股份有限公司 | 一种码率调整方法、装置、电子设备及存储介质 |
CN113676948B (zh) * | 2021-07-15 | 2024-05-31 | 武汉中观自动化科技有限公司 | 一种三维扫描仪的无线传输控制方法、系统、设备及介质 |
CN113747222A (zh) * | 2021-09-07 | 2021-12-03 | 湖南五凌电力科技有限公司 | 一种基于边缘计算的画面同步传输方法及系统 |
CN114640886B (zh) * | 2022-02-28 | 2023-09-15 | 深圳市宏电技术股份有限公司 | 自适应带宽的音视频传输方法、装置、计算机设备及介质 |
CN114582111A (zh) * | 2022-03-02 | 2022-06-03 | 齐鲁空天信息研究院 | 基于5g网络的无人机控制方法、装置和电子设备 |
CN114815870B (zh) * | 2022-05-06 | 2024-09-24 | 成都软智科技有限公司 | 一种可扩展的多无人机协作火情处理方法及系统 |
CN115190142A (zh) * | 2022-06-20 | 2022-10-14 | 深圳潜水侠创新动力科技有限公司 | 一种管道机器人的数据传输系统 |
CN117641420A (zh) * | 2022-08-09 | 2024-03-01 | 华为技术有限公司 | 数据处理方法及装置 |
CN116132528B (zh) * | 2023-04-19 | 2023-07-04 | 民航成都信息技术有限公司 | 一种航班管理消息的推送方法、装置及电子设备 |
CN117896546B (zh) * | 2024-03-14 | 2024-06-07 | 浙江华创视讯科技有限公司 | 一种数据传输方法、系统、电子设备及存储介质 |
Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102740064A (zh) * | 2012-06-15 | 2012-10-17 | 福建星网视易信息系统有限公司 | 对讲系统中流媒体传输的组包方法 |
CN103533387A (zh) * | 2013-10-21 | 2014-01-22 | 腾讯科技(深圳)有限公司 | 一种视频直播控制方法、设备及系统 |
CN104767591A (zh) * | 2015-04-29 | 2015-07-08 | 北京奇艺世纪科技有限公司 | 一种数据发送方法及装置 |
CN105191184A (zh) * | 2013-03-14 | 2015-12-23 | 苹果公司 | 具有错误故障转移过程的支持大量客户端的媒体递送服务协议 |
WO2016023358A1 (zh) * | 2014-08-15 | 2016-02-18 | 小米科技有限责任公司 | 一种基于网络环境调整视频画质的方法及装置 |
CN105898403A (zh) * | 2015-11-16 | 2016-08-24 | 乐视云计算有限公司 | 在线媒体服务的码流自适应方法及系统 |
CN105992023A (zh) * | 2015-02-11 | 2016-10-05 | 杭州海康威视数字技术股份有限公司 | 视频图像数据的处理方法及装置 |
CN106162375A (zh) * | 2015-04-14 | 2016-11-23 | 宏碁股份有限公司 | 影像播放装置及影像播放方法 |
CN106792263A (zh) * | 2016-12-09 | 2017-05-31 | 东方网力科技股份有限公司 | 一种视频数据传输方法、装置及系统 |
CN106792262A (zh) * | 2016-12-05 | 2017-05-31 | 乐视控股(北京)有限公司 | 视频数据传输方法及装置 |
CN107113441A (zh) * | 2016-12-30 | 2017-08-29 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、无人飞行器和接收端 |
CN107196746A (zh) * | 2016-03-15 | 2017-09-22 | 中兴通讯股份有限公司 | 实时通信中的抗丢包方法、装置和系统 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3403683B2 (ja) * | 1999-11-26 | 2003-05-06 | 沖電気工業株式会社 | 画像符号化装置および方法 |
US6629261B1 (en) * | 2000-11-21 | 2003-09-30 | At&T Wireless Services, Inc. | Enhanced data link layer selective reject mechanism in noisy wireless environment |
US6778512B2 (en) * | 2000-12-20 | 2004-08-17 | Motorola, Inc. | Communication system that provides extra protection when transmitting critical data |
KR100533686B1 (ko) * | 2004-05-21 | 2005-12-05 | 삼성전자주식회사 | 모바일 애드 혹 네트워크에서의 데이터 전송 방법 및 이를이용한 네트워크 장치 |
US7760638B2 (en) * | 2004-11-29 | 2010-07-20 | Nec Corporation | High-throughput communication system, communication terminal, session relay, and communication protocol |
EP1847071A4 (en) * | 2005-01-26 | 2010-10-20 | Internet Broadcasting Corp B V | MULTI-DIFFUSION IN LAYERS AND EXACT ATTRIBUTION OF BANDWIDTH AND PRIORIZATION OF PACKETS |
CN1764184B (zh) * | 2005-10-20 | 2010-07-07 | 中兴通讯股份有限公司 | 一种实时流媒体通讯传输方法 |
US7987285B2 (en) * | 2007-07-10 | 2011-07-26 | Bytemobile, Inc. | Adaptive bitrate management for streaming media over packet networks |
US7991904B2 (en) * | 2007-07-10 | 2011-08-02 | Bytemobile, Inc. | Adaptive bitrate management for streaming media over packet networks |
US20100302359A1 (en) * | 2009-06-01 | 2010-12-02 | Honeywell International Inc. | Unmanned Aerial Vehicle Communication |
US8964115B2 (en) * | 2009-06-30 | 2015-02-24 | Nokia Corporation | Transmission capacity probing using adaptive redundancy adjustment |
US9585062B2 (en) * | 2010-07-15 | 2017-02-28 | Dejero Labs Inc. | System and method for implementation of dynamic encoding rates for mobile devices |
CN103312719B (zh) * | 2013-06-27 | 2016-12-28 | 华多九州科技股份有限公司 | 网络环境下基于udp的速率自适应传输方法 |
EP3020191B1 (en) * | 2013-07-11 | 2021-01-06 | Dejero Labs Inc. | Systems and methods for transmission of data streams |
US9832375B2 (en) * | 2014-10-21 | 2017-11-28 | Bae Systems Information And Electronic Systems Integration Inc. | Video image recovery from transient blockage or corruption artifacts |
US10681382B1 (en) * | 2016-12-20 | 2020-06-09 | Amazon Technologies, Inc. | Enhanced encoding and decoding of video reference frames |
CN108769450B (zh) * | 2018-06-21 | 2021-01-05 | 深圳市道通智能航空技术有限公司 | 数据传输控制方法、信息发送端、接收端及飞行器图传系统 |
-
2018
- 2018-06-21 CN CN201810645607.3A patent/CN108769450B/zh active Active
- 2018-06-21 CN CN202011410138.0A patent/CN112492118B/zh active Active
-
2019
- 2019-06-18 WO PCT/CN2019/091753 patent/WO2019242620A1/zh active Application Filing
-
2020
- 2020-12-18 US US17/126,345 patent/US11785148B2/en active Active
Patent Citations (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102740064A (zh) * | 2012-06-15 | 2012-10-17 | 福建星网视易信息系统有限公司 | 对讲系统中流媒体传输的组包方法 |
CN105191184A (zh) * | 2013-03-14 | 2015-12-23 | 苹果公司 | 具有错误故障转移过程的支持大量客户端的媒体递送服务协议 |
CN103533387A (zh) * | 2013-10-21 | 2014-01-22 | 腾讯科技(深圳)有限公司 | 一种视频直播控制方法、设备及系统 |
WO2016023358A1 (zh) * | 2014-08-15 | 2016-02-18 | 小米科技有限责任公司 | 一种基于网络环境调整视频画质的方法及装置 |
CN105992023A (zh) * | 2015-02-11 | 2016-10-05 | 杭州海康威视数字技术股份有限公司 | 视频图像数据的处理方法及装置 |
CN106162375A (zh) * | 2015-04-14 | 2016-11-23 | 宏碁股份有限公司 | 影像播放装置及影像播放方法 |
CN104767591A (zh) * | 2015-04-29 | 2015-07-08 | 北京奇艺世纪科技有限公司 | 一种数据发送方法及装置 |
CN105898403A (zh) * | 2015-11-16 | 2016-08-24 | 乐视云计算有限公司 | 在线媒体服务的码流自适应方法及系统 |
CN107196746A (zh) * | 2016-03-15 | 2017-09-22 | 中兴通讯股份有限公司 | 实时通信中的抗丢包方法、装置和系统 |
CN106792262A (zh) * | 2016-12-05 | 2017-05-31 | 乐视控股(北京)有限公司 | 视频数据传输方法及装置 |
CN106792263A (zh) * | 2016-12-09 | 2017-05-31 | 东方网力科技股份有限公司 | 一种视频数据传输方法、装置及系统 |
CN107113441A (zh) * | 2016-12-30 | 2017-08-29 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、无人飞行器和接收端 |
Also Published As
Publication number | Publication date |
---|---|
US20210105367A1 (en) | 2021-04-08 |
CN108769450B (zh) | 2021-01-05 |
US11785148B2 (en) | 2023-10-10 |
WO2019242620A1 (zh) | 2019-12-26 |
CN108769450A (zh) | 2018-11-06 |
CN112492118A (zh) | 2021-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112492118B (zh) | 数据传输控制方法、信息发送端、接收端及飞行器图传系统 | |
US11546399B2 (en) | Method and apparatus for providing a low latency transmission system using adjustable buffers | |
CN110381316B (zh) | 一种视频传输控制方法、装置、设备及存储介质 | |
US10686704B2 (en) | Method and apparatus for providing a low latency transmission system using adaptive buffering estimation | |
CN110121114B (zh) | 发送流数据的方法及数据发送设备 | |
CN109937578B (zh) | 用于视频流的方法和系统 | |
US9113141B2 (en) | Wireless channel aware adaptive video bit rate encoding | |
US20120250762A1 (en) | System and method for implementation of dynamic encoding rates for mobile devices | |
US20120039391A1 (en) | System and method for transmission of data signals over a wireless network | |
CN114640886B (zh) | 自适应带宽的音视频传输方法、装置、计算机设备及介质 | |
CN113037697B (zh) | 一种视频帧处理方法、装置和电子设备及可读存储介质 | |
CN115037416B (zh) | 数据前向纠错处理方法、装置、电子设备和存储介质 | |
CN106162257B (zh) | 一种实时视频的自适应网络传输优化方法 | |
US9215500B2 (en) | Full-frame buffer to improve video performance in low-latency video communication systems | |
CN102325275A (zh) | 一种流媒体播放的丢包方法、装置及服务器 | |
CN109862400B (zh) | 一种流媒体传输方法、装置及其系统 | |
US11115693B2 (en) | Source clock recovery in wireless video systems | |
CN113115111A (zh) | 一种录屏直播的视频帧率控制方法、系统及存储介质 | |
US10700818B2 (en) | System and method for improving efficiency of wirelessly transmitting video packets | |
GB2499001A (en) | Dynamic control of bandwidth allocation for multiple transmission channels based on video data encoding characteristics | |
WO2023010356A1 (zh) | 视频传输方法、装置、系统、终端设备、可移动平台和存储介质 | |
CN117768649A (zh) | 一种数据串流传输方法、装置及电子设备 | |
CN115604194A (zh) | 视频传输速率的段内调整 | |
KR20130085514A (ko) | 네트워크 이동 단말의 상태를 고려하여 미디어를 송수신하는 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1 Applicant after: Shenzhen daotong intelligent Aviation Technology Co.,Ltd. Address before: 518055 Guangdong city of Shenzhen province Nanshan District Xili Street Xueyuan Road No. 1001 Chi Yuen Building 9 layer B1 Applicant before: AUTEL ROBOTICS Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |