CN111602398A - 一种图像发送方法、图像接收方法、图像传输方法及装置 - Google Patents

一种图像发送方法、图像接收方法、图像传输方法及装置 Download PDF

Info

Publication number
CN111602398A
CN111602398A CN201980008816.XA CN201980008816A CN111602398A CN 111602398 A CN111602398 A CN 111602398A CN 201980008816 A CN201980008816 A CN 201980008816A CN 111602398 A CN111602398 A CN 111602398A
Authority
CN
China
Prior art keywords
code stream
frame
image
resolution
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980008816.XA
Other languages
English (en)
Inventor
薛菲
马宁
苏文艺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111602398A publication Critical patent/CN111602398A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种图像发送方法、图像接收方法、图像传输方法及装置，通过并行编码步骤提前发送具有第二分辨率的第二码流的关键帧，即在并行编码步骤中发送，而不是分辨率切换时发送。分辨率切换时通信信道发送的是预测帧而非关键帧，不会导致图像模糊或卡顿的情况出现，并且第二码流的质量已经与第一码流的质量一致，所以在分辨率切换时不会发生闪烁现象，实现了分辨率无闪烁切换，提高了图像的主观质量，提升了用户体验。

Description

一种图像发送方法、图像接收方法、图像传输方法及装置
技术领域
本公开涉及图像传输技术领域，尤其涉及一种图像发送方法、图像接收方法、图像传输方法及装置。
背景技术
无人机一般携带有摄像机等拍摄设备。当无人机执行飞行任务时，常常需要将摄像机拍摄的图像传输给地面。图像传输时，由于无人机所处的环境常常变化剧烈，通信信道的信道容量发生变化，从而会影响图像的传输质量。
当通信信道的信道容量发生变化时，可采用改变图像分辨率的方式来匹配信道容量。现有的图像传输技术，在变更图像分辨率时，容易造成图像卡顿、模糊，导致图像出现闪烁，影响图像的主观质量。
公开内容
本公开提供了一种图像发送方法，其中，包括：
以第一分辨率对图像进行第一编码以生成第一码流，通过一通信信道发送所述第一码流；
响应于所述通信信道的信道容量变化，判断所述第一码流与所述信道容量是否匹配；如果否，执行并行编码步骤：继续对所述图像进行第一编码的同时，以第二分辨率对所述图像进行第二编码以生成第二码流，通过所述通信信道同时发送所述第一码流和所述第二码流；
判断所述第二码流是否达到所述第一码流的质量；如果是，执行编码切换步骤：停止对所述图像进行所述第一编码，继续以所述第二分辨率对所述图像进行所述第二编码以生成所述第二码流，所述第二码流与所述信道容量匹配，并通过所述通信信道发送所述第二码流。
本公开还提供了一种图像接收方法，其中，包括：
通过一通信信道接收第一码流，所述第一码流是以第一分辨率对图像进行第一编码而生成，对所述第一码流进行解码并以所述第一分辨率显示所述第一码流；
执行并行接收步骤：同时接收所述第一码流和第二码流，所述第二码流是以第二分辨率对所述图像进行第二编码而生成，对所述第一码流和所述第二码流进行解码，并继续以所述第一分辨率显示所述第一码流；
执行显示切换步骤：接收所述第二码流，所述第二码流是以所述第二分辨率继续对所述图像进行所述第二编码而生成，所述第二码流与所述信道容量匹配，对所述第二码流进行解码并以所述第二分辨率显示所述第二码流。
本公开还提供了一种图像传输方法，其中，包括：
以第一分辨率对图像进行第一编码以生成第一码流，并通过一通信信道传输所述第一码流，对所述第一码流进行解码并以所述第一分辨率显示所述第一码流；
响应于所述通信信道的信道容量变化，判断所述第一码流与所述信道容量是否匹配；如果否，执行并行传输步骤：继续对所述图像进行第一编码的同时，以第二分辨率对所述图像进行第二编码以生成第二码流，并通过所述通信信道同时传输所述第一码流和所述第二码流，对所述第一码流和所述第二码流进行解码，并继续以所述第一分辨率显示所述第一码流；
判断所述第二码流是否达到所述第一码流的质量；如果是，执行切换步骤：停止对所述图像进行所述第一编码，继续以所述第二分辨率对所述图像进行所述第二编码以生成所述第二码流，所述第二码流与所述信道容量匹配，并通过所述通信信道传输所述第二码流，对所述第二码流进行解码，并以所述第二分辨率显示所述第二码流。
本公开还提供了一种图像发送装置，其中，包括：
存储器，用于存储可执行指令；
处理器，用于读取所述可执行指令以执行以下操作：
以第一分辨率对图像进行第一编码以生成第一码流，通过一通信信道发送所述第一码流；
响应于所述通信信道的信道容量变化，判断所述第一码流与所述信道容量是否匹配；如果否，执行并行编码操作：继续对所述图像进行第一编码的同时，以第二分辨率对所述图像进行第二编码以生成第二码流，通过所述通信信道同时发送所述第一码流和所述第二码流；
判断所述第二码流是否达到所述第一码流的质量；如果是，执行编码切换操作：停止对所述图像进行所述第一编码，继续以所述第二分辨率对所述图像进行所述第二编码以生成所述第二码流，所述第二码流与所述信道容量匹配，并通过所述通信信道发送所述第二码流。
本公开还提供了一种图像接收装置，其中，包括：
存储器，用于存储可执行指令；
处理器，用于读取所述可执行指令以执行以下操作：
通过一通信信道接收第一码流，所述第一码流是以第一分辨率对图像进行第一编码而生成，对所述第一码流进行解码，并将所述第一码流提供给显示器以所述第一分辨率显示；
执行并行接收操作：同时接收所述第一码流和第二码流，所述第二码流是以第二分辨率对所述图像进行第二编码而生成，对所述第一码流和所述第二码流进行解码，并继续将所述第一码流提供给显示器以所述第一分辨率显示；
执行显示切换操作：接收所述第二码流，所述第二码流是以所述第二分辨率继续对所述图像进行所述第二编码而生成，所述第二码流与所述信道容量匹配，对所述第二码流进行解码，并将所述第二码流提供给显示器以所述第二分辨率显示。
本公开还提供了一种图像传输装置，其中，包括：图像发送装置与图像接收装置；
所述图像发送装置用于以第一分辨率对图像进行第一编码以生成第一码流，并通过一通信信道将所述第一码流传输至图像接收装置，所述图像接收装置对所述第一码流进行解码，并以所述第一分辨率显示所述第一码流；
响应于所述通信信道的信道容量变化，所述图像发送装置判断所述第一码流与所述信道容量是否匹配；如果否，执行并行传输操作：所述图像发送装置用于继续对所述图像进行第一编码的同时，以第二分辨率对所述图像进行第二编码以生成第二码流，并通过所述通信信道同时将所述第一码流和所述第二码流传输至所述图像接收装置，所述图像接收装置对所述第一码流和所述第二码流进行解码，并继续以所述第一分辨率显示所述第一码流；
所述图像发送装置判断所述第二码流是否达到所述第一码流的质量；如果是，执行切换操作：所述图像发送装置所述停止对所述图像进行所述第一编码，继续以所述第二分辨率对所述图像进行所述第二编码以生成所述第二码流，所述第二码流与所述信道容量匹配，并通过所述通信信道将所述第二码流传输至所述图像接收装置，所述图像接收装置对所述第二码流进行解码，并以所述第二分辨率显示所述第二码流。
本公开还提供了一种无人机，包括：上述图像发送装置。
本公开还提供了一种控制设备，包括：上述图像接收装置。
本公开还提供了一种无人机系统，包括：上述图像传输装置。
本公开还提供了一种无人机系统，包括：上述无人机和上述控制设备。
从上述技术方案可以看出，本公开至少具有以下有益效果：
通过并行编码步骤提前发送具有第二分辨率的第二码流的关键帧，即在并行编码步骤中发送，而不是分辨率切换时发送。分辨率切换时通信信道发送的是预测帧而非关键帧，不会导致图像模糊或卡顿的情况出现，并且第二码流的质量已经与第一码流的质量一致，所以在分辨率切换时不会发生闪烁现象，实现了分辨率无闪烁切换，提高了图像的主观质量，提升了用户体验。
附图说明
附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
图1为本公开实施例图像发送方法的流程图。
图2为图1所述图像发送方法的时序图。
图3为图1所述图像发送方法的负荷容量的变化曲线图。
图4为图1所述图像发送方法的负荷容量的另一变化曲线图。
图5为现有分辨率切换方法的时序图。
图6为本公开实施例图像接收方法的流程图。
图7为图6所述图像接收方法的时序图。
图8为本公开实施例图像传输方法的流程图。
图9为本公开实施例图像传输方法的第二码流的时序图。
图10为本公开实施例图像发送装置的结构示意图。
图11为本公开实施例图像接收装置的结构示意图。
图12为本公开实施例图像传输装置的结构示意图。
具体实施方式
本公开提供了一种图像发送方法、图像接收方法和图像传输方法，以及分别执行上述方法的图像发送装置、图像接收装置和图像传输装置，其适用于任何需要对包括图片、视频在内的图像进行传输的系统。为描述方便，以下实施例以无人机系统为例对本公开进行说明，但本领域技术人员应当知道，本公开提供的上述方法和装置同样适用于其他系统。对于无人机系统，本公开的图像发送装置位于无人机上，图像接收装置位于无人机的控制设备上，该控制设备例如是遥控器。图像发送装置和图像接收装置组成图像传输装置。无人机拍摄的图像经图像发送装置发送，控制设备的图像接收装置接收图像并显示，以实现无人机的实时图像传输。
下面将结合实施例和实施例中的附图，对本公开技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开一实施例提供了一种图像发送方法，参见图1所示，其包括以下步骤：
S101：以第一分辨率对图像进行第一编码以生成第一码流，通过一通信信道发送第一码流。
无人机一般携带有摄像机等拍摄设备。当无人机执行飞行任务时，摄像机会对视线内的景象进行拍摄。无人机对摄像机拍摄的图像进行编码，并将编码后的图像发送给遥控器。图像的分辨率、帧率是图像编码的重要参数，其直接决定了图像传输的码率，同时也是影响图像主观质量的主要因素。
在本步骤中，如图2所示，无人机采用第一分辨率和帧率对图像进行第一编码，第一编码后的图像生成第一码流。该帧率采用能保证图像主观质量的常用帧率即可。该第一分辨率例如可以是720P、1080P等。可通过多种方式确定该第一分辨率，本实施例并不加以限制。例如，第一分辨率可以由用户通过遥控器设置。遥控器将用户设置的分辨率发送至无人机，无人机用该分辨率作为第一分辨率对图像进行第一编码。该第一分辨率也可以采用无人机设置的默认分辨率。
本实施例中，对第一编码采用的协议也不加以限制，其可以是各种标准或私有的编码协议。标准编码协议例如但不限于H.263、H.264、H.265、MPEG-4等。无论采用标准编码协议还是私有编码协议，第一编码生成的第一码流均包括关键帧(I帧)以及预测帧(P帧、B帧)，每个关键帧及其对应的多个预测帧组成一个图像组(Group Of Picture，GOP)。
在本步骤中，无人机利用无线网络的通信信道发送第一码流。本实施例对无线网络的种类不加以限制，无线网络可以采用标准无线网络或私有无线网络。标准无线网络例如是WI-FI，私有无线网络例如是OcuSync、Light Bridge等。无线网络可使用2.4GHz或5.8GHz的频段传输第一码流。
以上是针对无人机的情况，当本实施例的图像发送方法应用于其他系统时，也可以采用有线网络的通信信道发送第一码流。
S102：响应于通信信道的信道容量变化，判断第一码流与信道容量是否匹配；如果否，执行并行编码步骤：继续对图像进行第一编码的同时，以第二分辨率对图像进行第二编码以生成第二码流，通过通信信道同时发送第一码流和第二码流。
无人机在飞行过程中，由于所处的环境常常变化剧烈、距离遥控器的距离不断变化等因素，传输第一码流的通信信道会发生变化，通信信道的信道容量随之发生变化，这种变化常常非常剧烈，从而会影响图像的传输质量。如果不对这种变化做出反应和调整，将会影响图像的传输效果和用户体验。
基于此，本步骤不断检测信道容量是否发生了变化，当信道容量变化时，判断第一码流与信道容量是否匹配。本实施例对信道容量检测的具体方式不做限定，可以采用各种成熟的手段进行检测。
本实施例中，所述是否匹配是指第一码流的码率与信道容量是否匹配，其包括两层含义：当信道容量变小时，第一码流的码率相对于信道容量过大而不匹配；当信道容量变大时，第一码流的码率相对于信道容量过小而不匹配。上述第一种情况会导致第一码流产生传输延时，造成图像传输不流畅。上述第二种情况表示通信信道状况好，可采用更高的码率进行第一编码。但是，当采用更高码率时，在同一分辨率下，图像的编码质量趋于平稳，提升不多。因此可以通过增大第一分辨率，以描述图像更多的细节信息，使得图像更为清晰，以获得更好的观看效果。
对于通信信道来说，其会专门留出部分信道容量用来传输第一码流，通信信道分配给第一码流的信道容量称为负荷容量。本实施例判断第一码流与通信信道的信道容量是否匹配包括：
当负荷容量大于第一阈值或小于第二阈值时，认为第一码流与信道容量不匹配；否则，当负荷容量不小于第二阈值且不大于第一阈值时，认为第一码流与信道容量匹配；其中第一阈值大于第二阈值，第一阈值和第二阈值应根据第一码流的码率来确定。
图3为负荷容量的变化曲线。上述判断条件意味着，只要负荷容量位于第一阈值与第二阈值之外，则认为第一码流与信道容量不匹配，不匹配对应图3中的粗体线。
由此，如图2所示，当第一码流与信道容量不匹配时，执行并行编码步骤：继续对图像进行第一编码的同时，以第二分辨率对图像进行第二编码以生成第二码流，通过通信信道同时发送第一码流和第二码流。
当第一码流与信道容量不匹配时，分为两种情况：当负荷容量大于第一阈值时，第二分辨率大于第一分辨率，可充分利用信道容量，呈现给用户更高分辨率的图像，以提升图传体验。当负荷容量小于第二阈值时，第二分辨率小于第一分辨率，可避免第一码流传输延时、图像传输不流畅，改善用户体验。
第一码流只占用通信信道的一部分信道容量，当通信信道同时发送第一码流和第二码流时，第二码流是利用通信信道的这部分信道容量之外的剩余信道容量发送。基于此，在本步骤中，采用自适应帧率对图像进行第二编码。该自适应帧率的具体数值根据剩余信道容量来确定。也就是说，以第二分辨率、以及该自适应帧率对图像进行第二编码时，要确保第二码流的帧率不超过剩余信道容量。这样，如图2所示，并行编码步骤相当于形成了一个分辨率切换过渡带，在不影响第一码流传输和显示的情况下，同时发送第二码流。第二码流与第一码流类似，也包括一个关键帧以及至少一个预测帧。
在本实施例中，还可以通过以下方式判断第一码流与通信信道的信道容量是否匹配：判断负荷容量是否经历一变化区间，如果是，认为第一码流与信道容量不匹配；否则，认为第一码流与信道容量匹配。
变化区间包括：上升区间和下降区间。如图4所示，上升区间是指负荷容量由小于第一阈值上升至大于第一阈值的区间；这种情况下，第二分辨率大于第一分辨率。下降区间是指负荷容量由大于所述第二阈值下降至小于所述第二阈值的区间，这种情况下，第二分辨率小于第一分辨率。即只有负荷容量经历了上述变化区间时，才认为第一码流与信道容量不匹配，才执行并行编码步骤。对于其他情况，如图4所示的AB、CD区间，虽然这两个区间中负荷容量大于第一阈值，但认为第一码流与信道容量仍是匹配的。同样，对于EF、GH区间，虽然这两个区间中负荷容量小于第二阈值，但也认为第一码流与信道容量仍是匹配的。相对于图3所示的方式，可以减小不必要的分辨率切换，降低分辨率的切换频率，可以提高图像的主观质量，提升用户的体验。
S103：判断第二码流是否达到第一码流的质量；如果是，执行编码切换步骤：停止对图像进行第一编码，继续以第二分辨率对图像进行第二编码以生成第二码流，第二码流与信道容量匹配，并通过通信信道发送第二码流。
本步骤中，当第二码流的质量与第一码流的质量一致时，执行编码切换步骤。所述质量可通过多种指标进行衡量，例如但不限于均方根误差(Root Mean Square Error，RMSE)、峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)、结构相似性(StructuralSimilarity Index，SSIM)、梯度幅相似性偏差(Gradient Magnitude SimilarityDeviation，GMSD)，或者上述至少任意两项的组合。
在编码切换步骤中，参见图2所示，不再对图像进行第一编码，也就不再生成和发送第一码流，但继续以第二分辨率对图像进行第二编码，通信信道只发送第二码流。其中，第二编码的帧率发生变化，在并行编码步骤中第二编码采用自适应帧率，但在编码切换步骤中，第二编码的帧率等于第一编码的帧率。即在并行编码步骤中，第二编码由自适应帧率变为第一编码的帧率。
常见的分辨率切换方式如图5所示，当由于信道容量变化的原因需要切换分辨率时，需要对图像进行以新的分辨率编码。由于分辨率切换前后的两帧分辨率不同，所以切换后的码流无法参考切换前的码流。以新的分辨率编码时，就必须生成一个关键帧。通信信道先传输切换后码流的关键帧，再传输预测帧。但由于关键帧极难压缩，因此当分辨率切换时，图像会出现模糊或卡顿的情况，造成分辨率切换时会有明显的闪烁，在分辨率切换频繁时，图像的主观质量尤其不佳。
参见图2所示，在本实施例中，由于在并行编码步骤中，第二码流已经生成了关键帧和预测帧，并已经通过通信信道发送。在编码切换步骤中，其生成的第二码流就只包括预测帧，没有关键帧。通信信道发送的也只是预测帧，没有关键帧。也就是说，本实施例通过并行编码步骤，提前发送具有第二分辨率的第二码流的关键帧，即在并行编码步骤中发送，而不是分辨率切换时，即编码切换步骤中发送。分辨率切换时通信信道发送的是预测帧而非关键帧，不会导致图像模糊或卡顿的情况出现，并且第二码流的质量已经与第一码流的质量一致，所以在分辨率切换时不会发生闪烁现象，实现了分辨率无闪烁切换，提高了图像的主观质量，提升了用户体验。
本步骤中，只要第一码流和第二码流的质量差异很小，即可认为第二码流达到了第一码流的质量。所以判断第二码流是否达到第一码流的质量还可以是以下情况：
当第二码流的指标与第一码流的指标的差值大于一阈值时，认为第二码流未达到第一码流的质量；当第二码流的指标与第一码流的指标的差值小于或等于阈值时，认为第二码流达到第一码流的质量。这样只要第一码流的质量与第二码流的质量足够接近，即可执行编码切换步骤。该阈值可以根据第一码流的指标而定。
本公开另一实施例提供了一种图像接收方法，参见图6所示，其包括以下步骤：
步骤S601：通过一通信信道接收第一码流，第一码流是以第一分辨率对图像进行第一编码而生成，对第一码流进行解码并以第一分辨率显示第一码流。
如图7所示，本步骤对应图像发送方法的第一步，接收通信信道发送的第一分辨率的第一码流，并对第一码流解码并显示。此时显示的是第一分辨率的第一码流。
步骤S602：执行并行接收步骤：同时接收第一码流和第二码流，第二码流是以第二分辨率对图像进行第二编码而生成，对第一码流和第二码流进行解码，并继续以第一分辨率显示第一码流。
本步骤对应图像发送方法的第二步，当通信信道同时发送第一码流和第二码流时，如图7所示，本步骤同时接收第一码流和第二码流，并对第一码流和第二码流进行解码，但不显示第二码流，而是仍然显示第一分辨率的第一码流。
步骤S603：执行显示切换步骤：接收第二码流，第二码流是以第二分辨率继续对图像进行第二编码而生成，第二码流与信道容量匹配，对第二码流进行解码并以第二分辨率显示第二码流。
本步骤对应图像发送方法的第三步，当通信信道只发送第二码流时，接收并解码第二码流，显示第二分辨率的第二码流。
由此可见，参见图2所示，在本实施例中，由于在并行接收步骤中，已经接收了第二码流的关键帧和预测帧，并显示第一码流。在显示切换步骤中，只接收第二码流的预测帧。本实施例通过并行接收步骤提前接收具有第二分辨率的第二码流的关键帧，分辨率切换时不会导致图像模糊或卡顿的情况出现，并且第二码流的质量已经与第一码流的质量一致，所以在分辨率切换时不会发生闪烁现象，实现了分辨率无闪烁切换，提高了图像的主观质量，提升了用户体验。
本公开又一实施例提供了一种图像传输方法，参见图8所示，其包括以下步骤：
步骤S801：以第一分辨率对图像进行第一编码以生成第一码流，并通过一通信信道传输第一码流，对第一码流进行解码并以第一分辨率显示第一码流。
在本步骤中，如图2所示，无人机采用第一分辨率和帧率对图像进行第一编码，第一编码后的图像生成第一码流。该帧率采用能保证图像主观质量的常用帧率即可。该第一分辨率例如可以是720P、1080P等。可通过多种方式确定该第一分辨率，本实施例并不加以限制。例如，第一分辨率可以由用户通过遥控器设置。遥控器将用户设置的分辨率发送至无人机，无人机用该分辨率作为第一分辨率对图像进行第一编码。该第一分辨率也可以采用无人机设置的默认分辨率。
本实施例中，对第一编码采用的协议也不加以限制，其可以是各种标准或私有的编码协议。标准编码协议例如但不限于H.263、H.264、H.265、MPEG-4等。无论采用标准编码协议还是私有编码协议，第一编码生成的第一码流均包括关键帧(I帧)以及预测帧(P帧、B帧)，每个关键帧及其对应的多个预测帧组成一个图像组(Group Of Picture，GOP)。
在本步骤中，无人机利用无线网络的通信信道传输第一码流，并对第一码流解码并显示。此时显示的是第一分辨率的第一码流。
本实施例对无线网络的种类不加以限制，无线网络可以采用标准无线网络或私有无线网络。标准无线网络例如是WI-FI，私有无线网络例如是OcuSync、Light Bridge等。无线网络可使用2.4GHz或5.8GHz的频段传输第一码流。
以上是针对无人机的情况，当本实施例的图像传输方法应用于其他系统时，也可以采用有线网络的通信信道发送第一码流。
步骤S802：响应于通信信道的信道容量变化，判断第一码流与信道容量是否匹配；如果否，执行并行传输步骤：继续对图像进行第一编码的同时，以第二分辨率对图像进行第二编码以生成第二码流，并通过通信信道同时传输第一码流和第二码流，对第一码流和第二码流进行解码，并继续以第一分辨率显示第一码流。
本步骤不断检测信道容量是否发生了变化，当信道容量变化时，判断第一码流与信道容量是否匹配。本实施例对信道容量检测的具体方式不做限定，可以采用各种成熟的手段进行检测。
本实施例中，所述是否匹配是指第一码流的码率与信道容量是否匹配，其包括两层含义：当信道容量变小时，第一码流的码率相对于信道容量过大而不匹配；当信道容量变大时，第一码流的码率相对于信道容量过小而不匹配。上述第一种情况会导致第一码流产生传输延时，造成图像传输不流畅。上述第二种情况表示通信信道状况好，可采用更高的码率进行第一编码。但是，当采用更高码率时，在同一分辨率下，图像的编码质量趋于平稳，提升不多。因此可以通过增大第一分辨率，以描述图像更多的细节信息，使得图像更为清晰，以获得更好的观看效果。
对于通信信道来说，其会专门留出部分信道容量用来传输第一码流，通信信道分配给第一码流的信道容量称为负荷容量。本实施例判断第一码流与通信信道的信道容量是否匹配包括：
当负荷容量大于第一阈值或小于第二阈值时，认为第一码流与信道容量不匹配；否则，当负荷容量不小于第二阈值且不大于第一阈值时，认为第一码流与信道容量匹配；其中第一阈值大于第二阈值，第一阈值和第二阈值应根据第一码流的码率来确定。
图3为负荷容量的变化曲线。上述判断条件意味着，只要负荷容量位于第一阈值与第二阈值之外，则认为第一码流与信道容量不匹配，不匹配对应图3中的粗体线。
由此，如图2所示，当第一码流与信道容量不匹配时，执行并行编码步骤：继续对图像进行第一编码的同时，以第二分辨率对图像进行第二编码以生成第二码流，通过通信信道同时传输第一码流和第二码流，并对第一码流和第二码流进行解码，但不显示第二码流，而是仍然显示第一分辨率的第一码流。
当第一码流与信道容量不匹配时，分为两种情况：当负荷容量大于第一阈值时，第二分辨率大于第一分辨率，可充分利用信道容量，呈现给用户更高分辨率的图像，以提升图传体验。当负荷容量小于第二阈值时，第二分辨率小于第一分辨率，可避免第一码流传输延时、图像传输不流畅，改善用户体验。
第一码流只占红通信信道的一部分信道容量，当通信信道同时传输第一码流和第二码流时，第二码流是利用通信信道的这部分信道容量之外的剩余信道容量传输。基于此，在本步骤中，采用自适应帧率对图像进行第二编码。该自适应帧率的具体数值根据剩余信道容量来确定。也就是说，以第二分辨率、以及该自适应帧率对图像进行第二编码时，要确保第二码流的帧率不超过剩余信道容量。这样，如图2所示，并行传输步骤相当于形成了一个分辨率切换过渡带，在不影响第一码流传输和显示的情况下，同时发送第二码流。第二码流与第一码流类似，也包括一个关键帧以及至少一个预测帧。
在本实施例中，还可以通过以下方式判断第一码流与通信信道的信道容量是否匹配：判断负荷容量是否经历一变化区间，如果是，认为第一码流与信道容量不匹配；否则，认为第一码流与信道容量匹配。
变化区间包括：上升区间和下降区间。如图4所示，上升区间是指负荷容量由小于第一阈值上升至大于第一阈值的区间；这种情况下，第二分辨率大于第一分辨率。下降区间是指负荷容量由大于所述第二阈值下降至小于所述第二阈值的区间，这种情况下，第二分辨率小于第一分辨率。即只有负荷容量经历了上述变化区间时，才认为第一码流与信道容量不匹配，才执行并行编码步骤。对于其他情况，如图4所示的AB、CD区间，虽然这两个区间中负荷容量大于第一阈值，但认为第一码流与信道容量仍是匹配的。同样，对于EF、GH区间，虽然这两个区间中负荷容量小于第二阈值，但也认为第一码流与信道容量仍是匹配的。相对于图3所示的方式，可以减小不必要的分辨率切换，降低分辨率的切换频率，可以提高图像的主观质量，提升用户的体验。
步骤S803：判断第二码流是否达到第一码流的质量；如果是，执行切换步骤：停止对图像进行第一编码，继续以第二分辨率对图像进行第二编码以生成第二码流，第二码流与信道容量匹配，并通过通信信道传输第二码流，对第二码流进行解码，并以第二分辨率显示所述第二码流。
本步骤中，当第二码流的质量与第一码流的质量一致时，执行切换步骤。所述质量可通过多种指标进行衡量，例如但不限于均方根误差(Root Mean Square Error，RMSE)、峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)、结构相似性(Structural SimilarityIndex，SSIM)、梯度幅相似性偏差(Gradient Magnitude Similarity Deviation，GMSD)，或者上述至少任意两项的组合。
在切换步骤中，参见图2所示，不再对图像进行第一编码，也就不再生成和发送第一码流，但继续以第二分辨率对图像进行第二编码，通信信道只发送第二码流，并解码第二码流，显示第二分辨率的第二码流。其中，第二编码的帧率发生变化，在并行传输步骤中第二编码采用自适应帧率，但在切换步骤中，第二编码的帧率等于第一编码的帧率。即在并行传输步骤中，第二编码由自适应帧率变为第一编码的帧率。
常见的分辨率切换方式如图5所示，当由于信道容量变化的原因需要切换分辨率时，需要对图像进行以新的分辨率编码。由于分辨率切换前后的两帧分辨率不同，所以切换后的码流无法参考切换前的码流。以新的分辨率编码时，就必须生成一个关键帧。通信信道先传输切换后码流的关键帧，再传输预测帧。但由于关键帧极难压缩，因此当分辨率切换时，图像会出现模糊或卡顿的情况，造成分辨率切换时会有明显的闪烁，在分辨率切换频繁时，图像的主观质量尤其不佳。
参见图2所示，在本实施例中，由于在并行传输步骤中，第二码流已经生成了关键帧和预测帧，并已经通过通信信道发送。在切换步骤中，其生成的第二码流就只包括预测帧，没有关键帧。通信信道传输的也只是预测帧，没有关键帧。也就是说，本实施例通过并行传输步骤，提前发送具有第二分辨率的第二码流的关键帧，即在并行传输步骤中传输，而不是分辨率切换时，即切换步骤中传输。分辨率切换时通信信道传输的是预测帧而非关键帧，不会导致图像模糊或卡顿的情况出现，并且第二码流的质量已经与第一码流的质量一致，所以在分辨率切换时不会发生闪烁现象，实现了分辨率无闪烁切换，提高了图像的主观质量，提升了用户体验。
本步骤中，只要第一码流和第二码流的质量差异很小，即可认为第二码流达到了第一码流的质量。所以判断第二码流是否达到第一码流的质量还可以是以下情况：
当第二码流的指标与第一码流的指标的差值大于一阈值时，认为第二码流未达到第一码流的质量；当第二码流的指标与第一码流的指标的差值小于或等于阈值时，认为第二码流达到第一码流的质量。这样只要第一码流的质量与第二码流的质量足够接近，即可执行编码切换步骤。该阈值可以根据第一码流的指标而定。
本公开另一实施例的图像发送方法，为简要描述，与上述实施例相同或相似的内容不再赘述，以下仅描述其不同于上一实施例的内容。
本实施例的图像发送方法，在步骤S102的并行编码步骤中，通信信道发送第一码流和第二码流的同时，判断第一码流是否出现错误，如果是，则执行编码切换步骤。
无人机在飞行过程中，由于通信信道常常发生剧烈变化，会导致码流出错的情况发生，包括：丢帧、错帧、数据错误等多种情况。如果不对出错的情况进行处理，会影响图像的质量以及用户的体验。本实施例的图像发送方法，如果检测到第一码流出现了错误，则不再判断第二码流是否达到第一码流的质量，而是直接执行步骤S103的编码切换步骤，即直接进行分辨率切换，停止对图像进行第一编码，继续进行第二编码，通信信道只发送第二码流。
这样，针对出错的情况而直接进行分辨率切换，可快速对第一码流出错进行处理，避免出错的第一码流对图像质量造成影响，实现图像的快速纠错，提高图像的质量，提升用户的体验。
本公开另一实施例的图像传输方法，为简要描述，与上述实施例相同或相似的内容不再赘述，以下仅描述其不同于上一实施例的内容。
本实施例的图像传输方法，在步骤S802的并行传输步骤中，通信信道传输第一码流和第二码流的同时，判断第一码流是否出现错误，如果是，则执行切换步骤。
无人机在飞行过程中，由于通信信道常常发生剧烈变化，会导致码流出错的情况发生，包括：丢帧、错帧、数据错误等多种情况。如果不对出错的情况进行处理，会影响图像的质量以及用户的体验。本实施例的图像传输方法，如果检测到第一码流出现了错误，则不再判断第二码流是否达到第一码流的质量，而是直接执行步骤S803的切换步骤，即直接进行分辨率切换，停止对图像进行第一编码，继续进行第二编码，通信信道只传输第二码流。
这样，针对出错的情况而直接进行分辨率切换，可快速对第一码流出错进行处理，避免出错的第一码流对图像质量造成影响，实现图像的快速纠错，提高图像的质量，提升用户的体验。
本公开另一实施例的图像发送方法，为简要描述，与上述实施例相同或相似的内容不再赘述，以下仅描述其不同于上一实施例的内容。
本实施例的图像发送方法，在步骤S103的编码切换步骤中，基于反馈机制对第二码流进行错误恢复。反馈机制利用图像接收装置的反馈信息来对码流进行错误恢复，具体来说，如图9所示，如果图像接收装置发现第二码流的P4帧出现错误，可以将该信息反馈给图像发送装置，使得图像发送装置对P5帧编码时，使用P4帧之前、已经被图像接收装置接收的正确帧(P1至P3帧的任一帧)作为参考帧。通过上述反馈机制即可保证P5帧一旦被图像接收装置接收就可以将错误恢复，且P5后的帧将P5帧作为参考帧生成。
本实施例中，对图像进行第二编码生成的第二码流，第二码流的帧编有帧序号，帧序号为全局序号，每个帧的帧序号是唯一的。通信信道发送第二码流时，将帧序号连同帧一并发送。
反馈机制包括：
获取第二码流的当前帧，该当前帧为需要进行编码的帧。
接收图像接收装置发送的反馈信息，反馈信息包括：图像接收装置接收到的第二码流的正确帧的帧序号。该正确帧可以是发送反馈信息之前，图像接收装置接收到的第二码流的最后一个正确帧。
然后根据反馈信息确定当前帧的参考帧。本实施例中，图像发送装置创建一参照帧队列，参照帧队列用于保存图像接收装置接收到的第二码流的正确帧及其帧序号。当接收到图像接收装置发送的反馈信息后，将帧序号及其对应的正确帧保存至该参照帧队列中，并将接收到的该正确帧作为参考帧队列的第一帧。将参考帧队列的第一帧作为参考帧，当前帧参照该参考帧编码。
通过上述手段，图像发送装置总是参考图像接收装置接收到的第二码流的正确帧对当前帧进行编码，即使第二码流中出现了错误帧，也可以将错误恢复。由此可见，本实施例的反馈机制，无需发送关键帧即可确保恢复错误，大大减小了对通信信道容量的压力，改善图像传输质量，提升用户体验。
当然本实施例并不限于此，当将帧序号及其对应的正确帧保存至该参照帧队列中，并将接收到的该正确帧作为参考帧队列的第一帧后，可以不直接将参考帧队列的第一帧作为参考帧，而是将在当前帧之前发送的最后一帧作为参考帧。判断正确帧的帧序号与最后一帧的帧序号是否相等，如果不相等，将参考帧队列的第一帧作为参考帧。如图9所示，依次发送P3帧、P4帧，其中P3帧正确，P4帧错误。当对P5帧编码时，图像接收装置可能尚未返回反馈信息，因此图像发送装置并不知道P4帧是否被正确接收。此时可以继续参考P4帧对P5帧编码，因为P5参考最近的帧(P4帧)编码，所以编码效率更高。当图像接收装置返回的正确帧为P3帧时，发现正确帧并非P4帧，这时再将参考帧队列的第一帧(P3帧)作为参考帧对P5重新编码。采用上述方式可以提高编码效率，有利于降低码率，降低通信信道的压力。
本公开另一实施例的图像接收方法，为简要描述，与上述实施例相同或相似的内容不再赘述，以下仅描述其不同于上一实施例的内容。
本实施例的图像接收方法，在步骤S603的显示切换步骤中，基于反馈机制对第二码流进行错误恢复。
在本实施例中，图像接收装置建立有参考帧队列，其在接收第二码流的同时，仅将第二码流的正确帧及其帧序号保存到参考帧队列。反馈机制包括：按照预定时间间隔向图像发送装置发送反馈信息，反馈信息包括：在发送反馈信息之前，参照帧队列中保存的、接收到的第二码流的最后一个正确帧的帧序号。
反馈机制也可以不按预定时间间隔发送反馈信息，而是当第二码流出现错误帧后，才向图像发送装置发送反馈信息。
通过上述手段，图像发送装置总是参考图像接收装置接收到的第二码流的正确帧对当前帧进行编码，即使第二码流中出现了错误帧，也可以将错误恢复。由此可见，本实施例的反馈机制，无需发送关键帧即可确保恢复错误，大大减小了对通信信道容量的压力，改善图像传输质量，提升用户体验。
本公开另一实施例的图像传输方法，为简要描述，与上述实施例相同或相似的内容不再赘述，以下仅描述其不同于上一实施例的内容。
本实施例的图像传输方法，在步骤S803的切换步骤中，基于反馈机制对第二码流进行错误恢复。
反馈机制包括：
图像发送装置获取第二码流的当前帧；
图像接收装置向图像发送装置发送反馈信息；
图像发送装置接收反馈信息，根据反馈信息确定当前帧的参考帧，并根据参考帧对当前帧进行第二编码。
其中，图像接收装置可按照预定时间间隔、或者响应于接收到第二码流的错误帧而向图像发送装置发送反馈信息。反馈信息包括：所述图像接收装置在发送反馈信息之前、或者在接收到错误帧之前，接收到的第二码流的最后一个正确帧的帧序号。
根据反馈信息确定当前帧的参考帧包括：
将帧序号及其对应的正确帧保存至一参照帧队列，并将正确帧作为参考帧队列的第一帧；将参考帧队列的第一帧作为参考帧；
或者，
将帧序号及其对应的正确帧保存至一参照帧队列，并将正确帧作为参考帧队列的第一帧；
将在当前帧之前发送的最后一帧作为参考帧；
判断正确帧的帧序号与最后一帧的帧序号是否相等，如果否，将参考帧队列的第一帧作为参考帧。
通过上述手段，图像发送装置总是参考图像接收装置接收到的第二码流的正确帧对当前帧进行编码，即使第二码流中出现了错误帧，也可以将错误恢复。由此可见，本实施例的反馈机制，无需发送关键帧即可确保恢复错误，大大减小了对通信信道容量的压力，改善图像传输质量，提升用户体验。
本公开再一实施例提供了一种图像发送装置，参见图10所示，其包括：存储器、处理器和发送器。
存储器，用于存储可执行指令。
处理器，用于读取所述可执行指令以执行以下操作：以第一分辨率对图像进行第一编码以生成第一码流。
发送器通过一通信信道发送所述第一码流。
处理器响应于通信信道的信道容量变化，判断第一码流与信道容量是否匹配；如果否，执行并行编码操作：继续对图像进行第一编码的同时，以第二分辨率对图像进行第二编码以生成第二码流，发送器通过通信信道同时发送第一码流和第二码流。
处理器判断第二码流是否达到第一码流的质量；如果是，执行编码切换操作：停止对图像进行第一编码，继续以第二分辨率对图像进行第二编码以生成第二码流，第二码流与信道容量匹配，发送器通过通信信道所述第二码流。
图像发送装置采用第一分辨率和帧率对图像进行第一编码，第一编码后的图像生成第一码流。该帧率采用能保证图像主观质量的常用帧率即可。
本实施例中，对第一编码采用的协议也不加以限制，其可以是各种标准或私有的编码协议。
在本步骤中，发送器利用无线网络的通信信道发送第一码流。本实施例对无线网络的种类不加以限制，无线网络可以采用标准无线网络或私有无线网络。
以上是针对无人机的情况，当本实施例的图像发送装置应用于其他系统时，也可以采用有线网络的通信信道发送第一码流。
处理器不断检测信道容量是否发生了变化，当信道容量变化时，判断第一码流与信道容量是否匹配。本实施例对信道容量检测的具体方式不做限定，可以采用各种成熟的手段进行检测。
本实施例中，所述是否匹配是指第一码流的码率与信道容量是否匹配，其包括两层含义：当信道容量变小时，第一码流的码率相对于信道容量过大而不匹配；当信道容量变大时，第一码流的码率相对于信道容量过小而不匹配。上述第一种情况会导致第一码流产生传输延时，造成图像传输不流畅。上述第二种情况表示通信信道状况好，可采用更高的码率进行第一编码。但是，当采用更高码率时，在同一分辨率下，图像的编码质量趋于平稳，提升不多。因此可以通过增大第一分辨率，以描述图像更多的细节信息，使得图像更为清晰，以获得更好的观看效果。
对于通信信道来说，其会专门留出部分信道容量用来传输第一码流，通信信道分配给第一码流的信道容量称为负荷容量。本实施例判断第一码流与通信信道的信道容量是否匹配包括：
当负荷容量大于第一阈值或小于第二阈值时，认为第一码流与信道容量不匹配；否则，当负荷容量不小于第二阈值且不大于第一阈值时，认为第一码流与信道容量匹配；其中第一阈值大于第二阈值，第一阈值和第二阈值应根据第一码流的码率来确定。
当第一码流与信道容量不匹配时，执行并行编码操作：继续对图像进行第一编码的同时，以第二分辨率对图像进行第二编码以生成第二码流，通过通信信道同时发送第一码流和第二码流。
当第一码流与信道容量不匹配时，分为两种情况：当负荷容量大于第一阈值时，第二分辨率大于第一分辨率，可充分利用信道容量，呈现给用户更高分辨率的图像，以提升图传体验。当负荷容量小于第二阈值时，第二分辨率小于第一分辨率，可避免第一码流传输延时、图像传输不流畅，改善用户体验。
第一码流只占红通信信道的一部分信道容量，当通信信道同时发送第一码流和第二码流时，第二码流是利用通信信道的这部分信道容量之外的剩余信道容量发送。基于此，处理器采用自适应帧率对图像进行第二编码。该自适应帧率的具体数值根据剩余信道容量来确定。也就是说，以第二分辨率、以及该自适应帧率对图像进行第二编码时，要确保第二码流的帧率不超过剩余信道容量。这样，并行编码操作相当于形成了一个分辨率切换过渡带，在不影响第一码流传输和显示的情况下，同时发送第二码流。第二码流与第一码流类似，也包括一个关键帧以及至少一个预测帧。
在本实施例中，还可以通过以下方式判断第一码流与通信信道的信道容量是否匹配：判断负荷容量是否经历一变化区间，如果是，认为第一码流与信道容量不匹配；否则，认为第一码流与信道容量匹配。
变化区间包括：上升区间和下降区间。上升区间是指负荷容量由小于第一阈值上升至大于第一阈值的区间；这种情况下，第二分辨率大于第一分辨率。下降区间是指负荷容量由大于所述第二阈值下降至小于所述第二阈值的区间，这种情况下，第二分辨率小于第一分辨率。即只有负荷容量经历了上述变化区间时，才认为第一码流与信道容量不匹配，才执行并行编码步骤，可以减小不必要的分辨率切换，降低分辨率的切换频率，可以提高图像的主观质量，提升用户的体验。
当第二码流的质量与第一码流的质量一致时，执行编码切换操作。所述质量可通过多种指标进行衡量，
在编码切换操作中，不再对图像进行第一编码，也就不再生成和发送第一码流，但继续以第二分辨率对图像进行第二编码，通信信道只发送第二码流。其中，第二编码的帧率发生变化，在并行编码步骤中第二编码采用自适应帧率，但在编码切换步骤中，第二编码的帧率等于第一编码的帧率。
本实施例中，由于在并行编码操作中，第二码流已经生成了关键帧和预测帧，并已经通过通信信道发送。在编码切换操作中，其生成的第二码流就只包括预测帧，没有关键帧。通信信道发送的也只是预测帧，没有关键帧。也就是说，本实施例通过并行编码操作，提前发送具有第二分辨率的第二码流的关键帧，即在并行编码操作中发送，而不是分辨率切换时，即编码切换操作中发送。分辨率切换时通信信道发送的是预测帧而非关键帧，不会导致图像模糊或卡顿的情况出现，并且第二码流的质量已经与第一码流的质量一致，所以在分辨率切换时不会发生闪烁现象，实现了分辨率无闪烁切换，提高了图像的主观质量，提升了用户体验。
只要第一码流和第二码流的质量差异很小，即可认为第二码流达到了第一码流的质量。所以判断第二码流是否达到第一码流的质量还可以是以下情况：
当第二码流的指标与第一码流的指标的差值大于一阈值时，认为第二码流未达到第一码流的质量；当第二码流的指标与第一码流的指标的差值小于或等于阈值时，认为第二码流达到第一码流的质量。这样只要第一码流的质量与第二码流的质量足够接近，即可执行编码切换步骤。该阈值可以根据第一码流的指标而定。
本公开再一实施例提供了一种图像接收装置，参见图11所示，其包括：存储器、处理器、接收器和显示器。
存储器，用于存储可执行指令；
接收器通过一通信信道接收第一码流，第一码流是以第一分辨率对图像进行第一编码而生成。
处理器，用于读取可执行指令以执行以下操作：对第一码流进行解码，并将第一码流提供给显示器以第一分辨率显示。
显示器以第一分辨率显示第一码流。
执行并行接收操作：接收器同时接收第一码流和第二码流，第二码流是以第二分辨率对图像进行第二编码而生成，处理器对第一码流和第二码流进行解码，并继续将第一码流提供给显示器以第一分辨率显示；显示器以第一分辨率显示第一码流。
执行显示切换操作：接收器接收第二码流，第二码流是以第二分辨率继续对图像进行第二编码而生成，第二码流与信道容量匹配，处理器对第二码流进行解码，并将第二码流提供给显示器以第二分辨率显示。显示器以第二分辨率显示第二码流。
图像接收装置接收通信信道发送的第一分辨率的第一码流，并对第一码流解码并显示。此时显示的是第一分辨率的第一码流。
当通信信道同时发送第一码流和第二码流时，图像接收装置同时接收第一码流和第二码流，并对第一码流和第二码流进行解码，但不显示第二码流，而是仍然显示第一分辨率的第一码流。
当通信信道只发送第二码流时，图像接收装置接收并解码第二码流，显示第二分辨率的第二码流。
由此可见，由于在并行接收操作中，已经接收了第二码流的关键帧和预测帧，并显示第一码流。在显示切换操作中，只接收第二码流的预测帧。本实施例通过并行接收操作提前接收具有第二分辨率的第二码流的关键帧，分辨率切换时不会导致图像模糊或卡顿的情况出现，并且第二码流的质量已经与第一码流的质量一致，所以在分辨率切换时不会发生闪烁现象，实现了分辨率无闪烁切换，提高了图像的主观质量，提升了用户体验。
本公开又一实施例提供了一种图像传输装置，参见图12所示，其包括：图像发送装置与图像接收装置；
图像发送装置用于以第一分辨率对图像进行第一编码以生成第一码流，并通过一通信信道将第一码流传输至图像接收装置，图像接收装置对第一码流进行解码，并以第一分辨率显示第一码流。
响应于通信信道的信道容量变化，图像发送装置判断第一码流与信道容量是否匹配；如果否，执行并行传输操作：图像发送装置用于继续对图像进行第一编码的同时，以第二分辨率对图像进行第二编码以生成第二码流，并通过通信信道同时将第一码流和第二码流传输至图像接收装置，图像接收装置对第一码流和第二码流进行解码，并继续以第一分辨率显示第一码流。
图像发送装置判断第二码流是否达到第一码流的质量；如果是，执行切换操作：图像发送装置停止对图像进行第一编码，继续以第二分辨率对图像进行第二编码以生成第二码流，第二码流与信道容量匹配，并通过通信信道将第二码流传输至图像接收装置，图像接收装置对第二码流进行解码，并以第二分辨率显示第二码流。
图像发送装置采用第一分辨率和帧率对图像进行第一编码，第一编码后的图像生成第一码流。该帧率采用能保证图像主观质量的常用帧率即可。对第一编码采用的协议也不加以限制，其可以是各种标准或私有的编码协议。图像发送装置利用无线网络的通信信道传输第一码流，并对第一码流解码并显示。此时显示的是第一分辨率的第一码流。本实施例对无线网络的种类不加以限制，无线网络可以采用标准无线网络或私有无线网络。
以上是针对无人机的情况，当本实施例的图像传输装置应用于其他系统时，也可以采用有线网络的通信信道发送第一码流。
图像发送装置不断检测信道容量是否发生了变化，当信道容量变化时，判断第一码流与信道容量是否匹配。本实施例对信道容量检测的具体方式不做限定，可以采用各种成熟的手段进行检测。
本实施例中，所述是否匹配是指第一码流的码率与信道容量是否匹配，其包括两层含义：当信道容量变小时，第一码流的码率相对于信道容量过大而不匹配；当信道容量变大时，第一码流的码率相对于信道容量过小而不匹配。上述第一种情况会导致第一码流产生传输延时，造成图像传输不流畅。上述第二种情况表示通信信道状况好，可采用更高的码率进行第一编码。但是，当采用更高码率时，在同一分辨率下，图像的编码质量趋于平稳，提升不多。因此可以通过增大第一分辨率，以描述图像更多的细节信息，使得图像更为清晰，以获得更好的观看效果。
对于通信信道来说，其会专门留出部分信道容量用来传输第一码流，通信信道分配给第一码流的信道容量称为负荷容量。本实施例判断第一码流与通信信道的信道容量是否匹配包括：
当负荷容量大于第一阈值或小于第二阈值时，认为第一码流与信道容量不匹配；否则，当负荷容量不小于第二阈值且不大于第一阈值时，认为第一码流与信道容量匹配；其中第一阈值大于第二阈值，第一阈值和第二阈值应根据第一码流的码率来确定。
当第一码流与信道容量不匹配时，执行并行编码操作：继续对图像进行第一编码的同时，以第二分辨率对图像进行第二编码以生成第二码流，通过通信信道同时传输第一码流和第二码流，并对第一码流和第二码流进行解码，但不显示第二码流，而是仍然显示第一分辨率的第一码流。
当第一码流与信道容量不匹配时，分为两种情况：当负荷容量大于第一阈值时，第二分辨率大于第一分辨率，可充分利用信道容量，呈现给用户更高分辨率的图像，以提升图传体验。当负荷容量小于第二阈值时，第二分辨率小于第一分辨率，可避免第一码流传输延时、图像传输不流畅，改善用户体验。
第一码流只占红通信信道的一部分信道容量，当通信信道同时传输第一码流和第二码流时，第二码流是利用通信信道的这部分信道容量之外的剩余信道容量传输。基于此，采用自适应帧率对图像进行第二编码。该自适应帧率的具体数值根据剩余信道容量来确定。也就是说，以第二分辨率、以及该自适应帧率对图像进行第二编码时，要确保第二码流的帧率不超过剩余信道容量。并行传输操作相当于形成了一个分辨率切换过渡带，在不影响第一码流传输和显示的情况下，同时发送第二码流。第二码流与第一码流类似，也包括一个关键帧以及至少一个预测帧。
在本实施例中，还可以通过以下方式判断第一码流与通信信道的信道容量是否匹配：判断负荷容量是否经历一变化区间，如果是，认为第一码流与信道容量不匹配；否则，认为第一码流与信道容量匹配。
变化区间包括：上升区间和下降区间。上升区间是指负荷容量由小于第一阈值上升至大于第一阈值的区间；这种情况下，第二分辨率大于第一分辨率。下降区间是指负荷容量由大于所述第二阈值下降至小于所述第二阈值的区间，这种情况下，第二分辨率小于第一分辨率。即只有负荷容量经历了上述变化区间时，才认为第一码流与信道容量不匹配，才执行并行编码步骤。
当第二码流的质量与第一码流的质量一致时，执行切换操作。在切换步骤中，不再对图像进行第一编码，也就不再生成和发送第一码流，但继续以第二分辨率对图像进行第二编码，通信信道只发送第二码流，并解码第二码流，显示第二分辨率的第二码流。其中，第二编码的帧率发生变化，在并行传输操作中第二编码采用自适应帧率，但在切换操作中，第二编码的帧率等于第一编码的帧率。即在并行传输操作中，第二编码由自适应帧率变为第一编码的帧率。
在本实施例中，由于在并行传输操作中，第二码流已经生成了关键帧和预测帧，并已经通过通信信道发送。在切换操作中，其生成的第二码流就只包括预测帧，没有关键帧。通信信道传输的也只是预测帧，没有关键帧。也就是说，本实施例通过并行传输操作，提前发送具有第二分辨率的第二码流的关键帧，即在并行传输操作中传输，而不是分辨率切换时，即切换操作中传输。分辨率切换时通信信道传输的是预测帧而非关键帧，不会导致图像模糊或卡顿的情况出现，并且第二码流的质量已经与第一码流的质量一致，所以在分辨率切换时不会发生闪烁现象，实现了分辨率无闪烁切换，提高了图像的主观质量，提升了用户体验。
只要第一码流和第二码流的质量差异很小，即可认为第二码流达到了第一码流的质量。所以判断第二码流是否达到第一码流的质量还可以是以下情况：
当第二码流的指标与第一码流的指标的差值大于一阈值时，认为第二码流未达到第一码流的质量；当第二码流的指标与第一码流的指标的差值小于或等于阈值时，认为第二码流达到第一码流的质量。这样只要第一码流的质量与第二码流的质量足够接近，即可执行编码切换步骤。该阈值可以根据第一码流的指标而定。
本公开再一实施例提供了一种无人机，包括：上述任一实施例的图像发送装置。
本公开再一实施例提供了一种控制设备，包括：上述任一实施例所述的图像接收装置。所说控制设备例如是无人机的遥控器。
本公开再一实施例提供了一种无人机系统，包括：上述任一实施例所述的图像传输装置。
本公开再一实施例提供了一种无人机系统，包括所述无人机和所述控制设备。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；在不冲突的情况下，本公开实施例中的特征可以任意组合；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (112)

1.一种图像发送方法，其中，包括：
以第一分辨率对图像进行第一编码以生成第一码流，通过一通信信道发送所述第一码流；
响应于所述通信信道的信道容量变化，判断所述第一码流与所述信道容量是否匹配；如果否，执行并行编码步骤：继续对所述图像进行第一编码的同时，以第二分辨率对所述图像进行第二编码以生成第二码流，通过所述通信信道同时发送所述第一码流和所述第二码流；
判断所述第二码流是否达到所述第一码流的质量；如果是，执行编码切换步骤：停止对所述图像进行所述第一编码，继续以所述第二分辨率对所述图像进行所述第二编码以生成所述第二码流，所述第二码流与所述信道容量匹配，并通过所述通信信道发送所述第二码流。
2.如权利要求1所述的图像发送方法，其中，所述并行编码步骤的所述第二码流包括一个I帧、以及至少一个P帧；
所述编码切换步骤的所述第二码流包括多个P帧；所述多个P帧中的首个P帧以所述至少一个P帧的最后一个P帧为参考帧而生成。
3.如权利要求2所述的图像发送方法，其中，在所述编码切换步骤中，所述第二编码的帧率等于所述第一编码的帧率。
4.如权利要求2所述的图像发送方法，其中，在所述并行编码步骤中，所述第二编码的帧率为自适应帧率。
5.如权利要求1至4任一项所述的图像发送方法，其中，在所述并行编码步骤中，所述第一码流占用所述通信信道的部分信道容量，所述第二码流利用所述部分信道容量之外的剩余信道容量发送。
6.如权利要求1至4任一项所述的图像发送方法，其中，所述信道容量至少包括：负荷容量，所述负荷容量为所述通信信道分配给所述第一码流的信道容量。
7.如权利要求6所述的图像发送方法，其中，所述判断所述第一码流与所述通信信道的信道容量是否匹配包括：
当所述负荷容量大于第一阈值或小于第二阈值时，所述第一码流与所述信道容量不匹配；
当所述负荷容量不小于所述第二阈值且不大于所述第一阈值时，所述第一码流与所述信道容量匹配；
其中所述第一阈值大于所述第二阈值。
8.如权利要求7所述的图像发送方法，其中，
当所述负荷容量大于所述第一阈值时，所述第二分辨率大于所述第一分辨率；
当所述负荷容量小于所述第二阈值时，所述第二分辨率小于所述第一分辨率。
9.如权利要求6所述的图像发送方法，其中，所述判断所述第一码流与所述通信信道的信道容量是否匹配包括：
判断所述负荷容量是否经历一变化区间，如果是，则所述第一码流与所述信道容量不匹配；否则，所述第一码流与所述信道容量匹配。
10.如权利要求9所述的图像发送方法，其中，所述变化区间包括：
上升区间：由小于第一阈值上升至大于第一阈值；
下降区间：由大于所述第二阈值下降至小于所述第二阈值；
其中所述第一阈值大于所述第二阈值。
11.如权利要求10所述的图像发送方法，其中，
当所述负荷容量经历所述上升区间，所述第二分辨率大于所述第一分辨率；
当所述负荷容量经历所述下降区间，所述第二分辨率小于所述第一分辨率。
12.如权利要求7或10所述的图像发送方法，其中，所述第一阈值和所述第二阈值的至少其中之一根据所述第一码流的码率确定。
13.如权利要求5所述的图像发送方法，其中，在所述并行编码步骤中，所述第二编码的帧率根据所述剩余信道容量确定。
14.如权利要求1至4任一项所述的图像发送方法，其中，所述质量采用如下的至少一种指标进行评价：均方根误差、峰值信噪比、结构相似性、梯度幅相似性偏差。
15.如权利要求14项所述的图像发送方法，其中，所述判断所述第二码流是否达到所述第一码流的质量包括：
当所述第二码流的所述指标与所述第一码流的所述指标的差值大于一阈值时，所述第二码流未达到所述第一码流的质量；
当所述第二码流的所述指标与所述第一码流的所述指标的差值小于或等于所述阈值时，所述第二码流达到所述第一码流的质量。
16.如权利要求1至4任一项所述的图像发送方法，其中，在所述并行编码步骤中，判断所述第一码流是否出现错误，如果是，则执行编码切换步骤。
17.如权利要求16所述的图像发送方法，其中，所述错误包括如下的至少一种：丢帧、错帧、数据错误。
18.如权利要求1至4任一项所述的图像发送方法，其中，所述编码切换步骤还包括：基于反馈机制对所述第二码流进行错误恢复。
19.如权利要求18所述的图像发送方法，其中，所述反馈机制包括：
获取所述第二码流的当前帧；
接收图像接收装置发送的反馈信息，根据所述反馈信息确定所述当前帧的参考帧；
根据所述参考帧对所述当前帧进行所述第二编码。
20.如权利要求19所述的图像发送方法，其中，所述反馈信息包括：所述图像接收装置接收到的所述第二码流的正确帧的帧序号；
所述根据所述反馈信息确定所述当前帧的参考帧包括：
将所述帧序号及其对应的正确帧保存至一参照帧队列，并将所述正确帧作为所述参考帧队列的第一帧；
将所述参考帧队列的所述第一帧作为所述参考帧。
21.如权利要求19所述的图像发送方法，其中，所述反馈信息包括：所述图像接收装置接收到的所述第二码流的正确帧的帧序号；
所述根据所述反馈信息确定所述当前帧的参考帧包括：
将所述帧序号及其对应的正确帧保存至一参照帧队列，并将所述正确帧作为所述参考帧队列的第一帧；
将在所述当前帧之前发送的最后一帧作为参考帧；
判断所述正确帧的帧序号与所述最后一帧的帧序号是否相等，如果否，将所述参考帧队列的所述第一帧作为所述参考帧。
22.如权利要求20或21所述的图像发送方法，其中，所述正确帧为在发送所述反馈信息之前，所述图像接收装置接收到的所述第二码流的最后一个正确帧。
23.一种图像接收方法，其中，包括：
通过一通信信道接收第一码流，所述第一码流是以第一分辨率对图像进行第一编码而生成，对所述第一码流进行解码并以所述第一分辨率显示所述第一码流；
执行并行接收步骤：同时接收所述第一码流和第二码流，所述第二码流是以第二分辨率对所述图像进行第二编码而生成，对所述第一码流和所述第二码流进行解码，并继续以所述第一分辨率显示所述第一码流；
执行显示切换步骤：接收所述第二码流，所述第二码流是以所述第二分辨率继续对所述图像进行所述第二编码而生成，所述第二码流与所述信道容量匹配，对所述第二码流进行解码并以所述第二分辨率显示所述第二码流。
24.如权利要求23所述的图像接收方法，其中，所述并行接收步骤的所述第二码流包括一个I帧、以及至少一个P帧；
所述显示切换步骤的所述第二码流包括多个P帧，所述多个P帧中的首个P帧以所述至少一个P帧的最后一个P帧为参考帧而生成。
25.如权利要求24所述的图像接收方法，其中，在所述显示切换步骤中，所述第二编码的帧率等于所述第一编码的帧率。
26.如权利要求24所述的图像接收方法，其中，在所述并行接收步骤中，所述第二编码的帧率为自适应帧率。
27.如权利要求23至26任一项所述的图像接收方法，其中，所述显示切换步骤还包括：基于反馈机制对所述第二码流进行错误恢复。
28.如权利要求27所述的图像接收方法，其中，所述反馈机制包括：按照预定时间间隔向图像发送装置发送反馈信息。
29.如权利要求28所述的图像接收方法，其中，所述反馈信息至少包括：在发送所述反馈信息之前，接收到的所述第二码流的最后一个正确帧的帧序号。
30.如权利要求27所述的图像接收方法，其中，所述反馈机制包括：响应于接收到所述第二码流的错误帧而向图像发送装置发送反馈信息。
31.如权利要求30所述的图像接收方法，其中，所述反馈信息至少包括：在接收到所述错误帧之前接收到的所述第二码流的最后一个正确帧的帧序号。
32.一种图像传输方法，其中，包括：
以第一分辨率对图像进行第一编码以生成第一码流，并通过一通信信道传输所述第一码流，对所述第一码流进行解码并以所述第一分辨率显示所述第一码流；
响应于所述通信信道的信道容量变化，判断所述第一码流与所述信道容量是否匹配；如果否，执行并行传输步骤：继续对所述图像进行第一编码的同时，以第二分辨率对所述图像进行第二编码以生成第二码流，并通过所述通信信道同时传输所述第一码流和所述第二码流，对所述第一码流和所述第二码流进行解码，并继续以所述第一分辨率显示所述第一码流；
判断所述第二码流是否达到所述第一码流的质量；如果是，执行切换步骤：停止对所述图像进行所述第一编码，继续以所述第二分辨率对所述图像进行所述第二编码以生成所述第二码流，所述第二码流与所述信道容量匹配，并通过所述通信信道传输所述第二码流，对所述第二码流进行解码，并以所述第二分辨率显示所述第二码流。
33.如强烈要求32所述的图像传输方法，其中，所述并行传输步骤的所述第二码流包括一个I帧、以及至少一个P帧；
所述切换步骤的所述第二码流包括多个P帧；所述多个P帧中的首个P帧以所述至少一个P帧的最后一个P帧为参考帧而生成。
34.如权利要求33所述的图像传输方法，其中，在所述切换步骤中，所述第二编码的帧率等于所述第一编码的帧率。
35.如权利要求33所述的图像传输方法，其中，在所述并行传输步骤中，所述第二编码的帧率为自适应帧率。
36.如权利要求32至35任一项所述的图像传输方法，其中，在所述并行传输步骤中，所述第一码流占用所述通信信道的部分信道容量，所述第二码流利用所述部分信道容量之外的剩余信道容量发送。
37.如权利要求32至35任一项所述的图像传输方法，其中，所述信道容量至少包括：负荷容量，所述负荷容量为所述通信信道分配给所述第一码流的信道容量。
38.如权利要求37所述的图像传输方法，其中，判断所述第一码流与所述通信信道的信道容量是否匹配包括：
当所述负荷容量大于第一阈值或小于第二阈值时，所述第一码流与所述信道容量不匹配；
当所述负荷容量不小于所述第二阈值且不大于所述第一阈值时，所述第一码流与所述信道容量匹配；
其中所述第一阈值大于所述第二阈值。
39.如权利要求38所述的图像传输方法，其中，
当所述负荷容量大于所述第一阈值时，所述第二分辨率大于所述第一分辨率；
当所述负荷容量小于所述第二阈值时，所述第二分辨率小于所述第一分辨率。
40.如权利要求37所述的图像传输方法，其中，所述判断所述第一码流与所述通信信道的信道容量是否匹配包括：
判断所述负荷容量是否经历一变化区间，如果是，则所述第一码流与所述信道容量不匹配；否则，所述第一码流与所述信道容量匹配。
41.如权利要求40所述的图像传输方法，其中，所述变化区间包括：
上升区间：由小于第一阈值上升至大于第一阈值；
下降区间：由大于所述第二阈值下降至小于所述第二阈值；
其中所述第一阈值大于所述第二阈值。
42.如权利要求41所述的图像传输方法，其中，
当所述负荷容量经历所述上升区间，所述第二分辨率大于所述第一分辨率；
当所述负荷容量经历所述下降区间，所述第二分辨率小于所述第一分辨率。
43.如权利要求38或41所述的图像传输方法，其中，所述第一阈值和所述第二阈值的至少其中之一根据所述第一码流的码率确定。
44.如权利要求36所述的图像传输方法，其中，在所述并行传输步骤中，所述第二编码的帧率根据所述剩余信道容量确定。
45.如权利要求32至35任一项所述的图像传输方法，其中，
所述质量采用如下的至少一种指标进行评价：均方根误差、峰值信噪比、结构相似性、梯度幅相似性偏差。
46.如权利要求45所述的图像传输方法，其中，所述判断所述第二码流是否达到所述第一码流的质量包括：
当所述第二码流的所述指标与所述第一码流的所述指标的差值大于一阈值时，所述第二码流未达到所述第一码流的质量；
当所述第二码流的所述指标与所述第一码流的所述指标的差值小于或等于所述阈值时，所述第二码流达到所述第一码流的质量。
47.如权利要求32至35任一项所述的图像传输方法，其中，在所述并行传输步骤中，判断所述第一码流是否出现错误，如果是，则执行切换步骤。
48.如权利要求47所述的图像发送方法，其中，所述错误包括如下的至少一种：丢帧、错帧、数据错误。
49.如权利要求32至35任一项所述的图像传输方法，其中，所述切换步骤还包括：基于反馈机制对所述第二码流进行错误恢复。
50.如权利要求49所述的图像传输方法，其中，所述反馈机制包括：
图像发送装置获取所述第二码流的当前帧；
图像接收装置向所述图像发送装置发送反馈信息；
所述图像发送装置接收所述反馈信息，根据所述反馈信息确定所述当前帧的参考帧，并根据所述参考帧对所述当前帧进行所述第二编码。
51.如权利要求50所述的图像传输方法，其中，所述图像接收装置按照预定时间间隔、或者响应于接收到所述第二码流的错误帧而向所述图像发送装置发送反馈信息。
52.如权利要求51所述的图像传输方法，其中，所述反馈信息至少包括：所述图像接收装置在发送所述反馈信息之前、或者在接收到所述错误帧之前，接收到的所述第二码流的最后一个正确帧的帧序号。
53.如权利要求52所述的图像传输方法，其中，所述根据所述反馈信息确定所述当前帧的参考帧包括：
将所述帧序号及其对应的正确帧保存至一参照帧队列，并将所述正确帧作为所述参考帧队列的第一帧；
将所述参考帧队列的所述第一帧作为所述参考帧。
54.如权利要求52所述的图像传输方法，其中，所述根据所述反馈信息确定所述当前帧的参考帧包括：
将所述帧序号及其对应的正确帧保存至一参照帧队列，并将所述正确帧作为所述参考帧队列的第一帧；
将在所述当前帧之前发送的最后一帧作为参考帧；
判断所述正确帧的帧序号与所述最后一帧的帧序号是否相等，如果否，将所述参考帧队列的所述第一帧作为所述参考帧。
55.一种图像发送装置，其中，包括：
存储器，用于存储可执行指令；
处理器，用于读取所述可执行指令以执行以下操作：
以第一分辨率对图像进行第一编码以生成第一码流，通过一通信信道发送所述第一码流；
响应于所述通信信道的信道容量变化，判断所述第一码流与所述信道容量是否匹配；如果否，执行并行编码操作：继续对所述图像进行第一编码的同时，以第二分辨率对所述图像进行第二编码以生成第二码流，通过所述通信信道同时发送所述第一码流和所述第二码流；
判断所述第二码流是否达到所述第一码流的质量；如果是，执行编码切换操作：停止对所述图像进行所述第一编码，继续以所述第二分辨率对所述图像进行所述第二编码以生成所述第二码流，所述第二码流与所述信道容量匹配，并通过所述通信信道发送所述第二码流。
56.如权利要求55所述的图像发送装置，其中，所述并行编码操作的所述第二码流包括一个I帧、以及至少一个P帧；
所述编码切换操作的所述第二码流包括多个P帧；所述多个P帧中的首个P帧以所述至少一个P帧的最后一个P帧为参考帧而生成。
57.如权利要求56所述的图像发送装置，其中，在所述编码切换操作中，所述第二编码的帧率等于所述第一编码的帧率。
58.如权利要求56所述的图像发送装置，其中，在所述并行编码操作中，所述第二编码的帧率为自适应帧率。
59.如权利要求55至58任一项所述的图像发送装置，其中，在所述并行编码操作中，所述第一码流占用所述通信信道的部分信道容量，所述第二码流利用所述部分信道容量之外的剩余信道容量发送。
60.如权利要求55至58任一项所述的图像发送装置，其中，所述信道容量至少包括：负荷容量，所述负荷容量为所述通信信道分配给所述第一码流的信道容量。
61.如权利要求60所述的图像发送装置，其中，所述判断所述第一码流与所述通信信道的信道容量是否匹配包括：
当所述负荷容量大于第一阈值或小于第二阈值时，所述第一码流与所述信道容量不匹配；
当所述负荷容量不小于所述第二阈值且不大于所述第一阈值时，所述第一码流与所述信道容量匹配；
其中所述第一阈值大于所述第二阈值。
62.如权利要求61所述的图像发送装置，其中，
当所述负荷容量大于所述第一阈值时，所述第二分辨率大于所述第一分辨率；
当所述负荷容量小于所述第二阈值时，所述第二分辨率小于所述第一分辨率。
63.如权利要求60所述的图像发送装置，其中，所述判断所述第一码流与所述通信信道的信道容量是否匹配包括：
判断所述负荷容量是否经历一变化区间，如果是，则所述第一码流与所述信道容量不匹配；否则，所述第一码流与所述信道容量匹配。
64.如权利要求63所述的图像发送装置，其中，所述变化区间包括：
上升区间：由小于第一阈值上升至大于第一阈值；
下降区间：由大于所述第二阈值下降至小于所述第二阈值；
其中所述第一阈值大于所述第二阈值。
65.如权利要求64所述的图像发送装置，其中，
当所述负荷容量经历所述上升区间，所述第二分辨率大于所述第一分辨率；
当所述负荷容量经历所述下降区间，所述第二分辨率小于所述第一分辨率。
66.如权利要求61或64所述的图像发送装置，其中，所述第一阈值和所述第二阈值的至少其中之一根据所述第一码流的码率确定。
67.如权利要求59所述的图像发送装置，其中，在所述并行编码操作中，所述第二编码的帧率根据所述剩余信道容量确定。
68.如权利要求55至58任一项所述的图像发送装置，其中，所述质量采用如下的至少一种指标进行评价：均方根误差、峰值信噪比、结构相似性、梯度幅相似性偏差。
69.如权利要求68项所述的图像发送装置，其中，所述判断所述第二码流是否达到所述第一码流的质量包括：
当所述第二码流的所述指标与所述第一码流的所述指标的差值大于一阈值时，所述第二码流未达到所述第一码流的质量；
当所述第二码流的所述指标与所述第一码流的所述指标的差值小于或等于所述阈值时，所述第二码流达到所述第一码流的质量。
70.如权利要求55至58任一项所述的图像发送装置，其中，在所述并行编码操作中，判断所述第一码流是否出现错误，如果是，则执行编码切换步骤。
71.如权利要求70所述的图像发送装置，其中，所述错误包括如下的至少一种：丢帧、错帧、数据错误。
72.如权利要求55至58任一项所述的图像发送装置，其中，所述处理器还进行：基于反馈机制对所述第二码流进行错误恢复的操作。
73.如权利要求72所述的图像发送装置，其中，所述反馈机制包括：
获取所述第二码流的当前帧；
接收图像接收装置发送的反馈信息，根据所述反馈信息确定所述当前帧的参考帧；
根据所述参考帧对所述当前帧进行所述第二编码。
74.如权利要求73所述的图像发送装置，其中，所述反馈信息包括：所述图像接收装置接收到的所述第二码流的正确帧的帧序号；
所述根据所述反馈信息确定所述当前帧的参考帧包括：
将所述帧序号及其对应的正确帧保存至一参照帧队列，并将所述正确帧作为所述参考帧队列的第一帧；
将所述参考帧队列的所述第一帧作为所述参考帧。
75.如权利要求73所述的图像发送装置，其中，所述反馈信息包括：所述图像接收装置接收到的所述第二码流的正确帧的帧序号；
所述根据所述反馈信息确定所述当前帧的参考帧包括：
将所述帧序号及其对应的正确帧保存至一参照帧队列，并将所述正确帧作为所述参考帧队列的第一帧；
将在所述当前帧之前发送的最后一帧作为参考帧；
判断所述正确帧的帧序号与所述最后一帧的帧序号是否相等，如果否，将所述参考帧队列的所述第一帧作为所述参考帧。
76.如权利要求74或75所述的图像发送装置，其中，所述正确帧为在发送所述反馈信息之前，所述图像接收装置接收到的所述第二码流的最后一个正确帧。
77.一种图像接收装置，其中，包括：
存储器，用于存储可执行指令；
处理器，用于读取所述可执行指令以执行以下操作：
通过一通信信道接收第一码流，所述第一码流是以第一分辨率对图像进行第一编码而生成，对所述第一码流进行解码，并将所述第一码流提供给显示器以所述第一分辨率显示；
执行并行接收操作：同时接收所述第一码流和第二码流，所述第二码流是以第二分辨率对所述图像进行第二编码而生成，对所述第一码流和所述第二码流进行解码，并继续将所述第一码流提供给显示器以所述第一分辨率显示；
执行显示切换操作：接收所述第二码流，所述第二码流是以所述第二分辨率继续对所述图像进行所述第二编码而生成，所述第二码流与所述信道容量匹配，对所述第二码流进行解码，并将所述第二码流提供给显示器以所述第二分辨率显示。
78.如权利要求77所述的图像接收装置，其中，所述并行接收操作的所述第二码流包括一个I帧、以及至少一个P帧；
所述显示切换操作的所述第二码流包括多个P帧，所述多个P帧中的首个P帧以所述至少一个P帧的最后一个P帧为参考帧而生成。
79.如权利要求78所述的图像接收装置，其中，在所述显示切换操作中，所述第二编码的帧率等于所述第一编码的帧率。
80.如权利要求78所述的图像接收装置，其中，在所述并行接收操作中，所述第二编码的帧率为自适应帧率。
81.如权利要求77至80任一项所述的图像接收装置，其中，所述处理器还进行：基于反馈机制对所述第二码流进行错误恢复的操作。
82.如权利要求81所述的图像接收装置，其中，所述反馈机制包括：按照预定时间间隔向图像发送装置发送反馈信息。
83.如权利要求82所述的图像接收装置，其中，所述反馈信息至少包括：在发送所述反馈信息之前，接收到的所述第二码流的最后一个正确帧的帧序号。
84.如权利要求81所述的图像接收装置，其中，所述反馈机制包括：响应于接收到所述第二码流的错误帧而向图像发送装置发送反馈信息。
85.如权利要求84所述的图像接收装置，其中，所述反馈信息至少包括：在接收到所述错误帧之前接收到的所述第二码流的最后一个正确帧的帧序号。
86.一种图像传输装置，其中，包括：图像发送装置与图像接收装置；
所述图像发送装置用于以第一分辨率对图像进行第一编码以生成第一码流，并通过一通信信道将所述第一码流传输至图像接收装置，所述图像接收装置对所述第一码流进行解码，并以所述第一分辨率显示所述第一码流；
响应于所述通信信道的信道容量变化，所述图像发送装置判断所述第一码流与所述信道容量是否匹配；如果否，执行并行传输操作：所述图像发送装置用于继续对所述图像进行第一编码的同时，以第二分辨率对所述图像进行第二编码以生成第二码流，并通过所述通信信道同时将所述第一码流和所述第二码流传输至所述图像接收装置，所述图像接收装置对所述第一码流和所述第二码流进行解码，并继续以所述第一分辨率显示所述第一码流；
所述图像发送装置判断所述第二码流是否达到所述第一码流的质量；如果是，执行切换操作：所述图像发送装置所述停止对所述图像进行所述第一编码，继续以所述第二分辨率对所述图像进行所述第二编码以生成所述第二码流，所述第二码流与所述信道容量匹配，并通过所述通信信道将所述第二码流传输至所述图像接收装置，所述图像接收装置对所述第二码流进行解码，并以所述第二分辨率显示所述第二码流。
87.如强烈要求86所述的图像传输装置，其中，所述并行传输操作的所述第二码流包括一个I帧、以及至少一个P帧；
所述切换操作的所述第二码流包括多个P帧；所述多个P帧中的首个P帧以所述至少一个P帧的最后一个P帧为参考帧而生成。
88.如权利要求87所述的图像传输装置，其中，在所述切换操作中，所述第二编码的帧率等于所述第一编码的帧率。
89.如权利要求87所述的图像传输装置，其中，在所述并行传输操作中，所述第二编码的帧率为自适应帧率。
90.如权利要求86至89任一项所述的图像传输装置，其中，在所述并行传输操作中，所述第一码流占用所述通信信道的部分信道容量，所述第二码流利用所述部分信道容量之外的剩余信道容量发送。
91.如权利要求86至89任一项所述的图像传输装置，其中，所述信道容量至少包括：负荷容量，所述负荷容量为所述通信信道分配给所述第一码流的信道容量。
92.如权利要求91所述的图像传输装置，其中，所述图像发送装置判断所述第一码流与所述通信信道的信道容量是否匹配包括：
当所述负荷容量大于第一阈值或小于第二阈值时，所述第一码流与所述信道容量不匹配；
当所述负荷容量不小于所述第二阈值且不大于所述第一阈值时，所述第一码流与所述信道容量匹配；
其中所述第一阈值大于所述第二阈值。
93.如权利要求92所述的图像传输装置，其中，
当所述负荷容量大于所述第一阈值时，所述第二分辨率大于所述第一分辨率；
当所述负荷容量小于所述第二阈值时，所述第二分辨率小于所述第一分辨率。
94.如权利要求91所述的图像传输装置，其中，所述判断所述第一码流与所述通信信道的信道容量是否匹配包括：
判断所述负荷容量是否经历一变化区间，如果是，则所述第一码流与所述信道容量不匹配；否则，所述第一码流与所述信道容量匹配。
95.如权利要求94所述的图像传输装置，其中，所述变化区间包括：
上升区间：由小于第一阈值上升至大于第一阈值；
下降区间：由大于所述第二阈值下降至小于所述第二阈值；
其中所述第一阈值大于所述第二阈值。
96.如权利要求95所述的图像传输装置，其中，
当所述负荷容量经历所述上升区间，所述第二分辨率大于所述第一分辨率；
当所述负荷容量经历所述下降区间，所述第二分辨率小于所述第一分辨率。
97.如权利要求92或95所述的图像传输装置，其中，所述第一阈值和所述第二阈值的至少其中之一根据所述第一码流的码率确定。
98.如权利要求90所述的图像传输装置，其中，在所述并行传输操作中，所述第二编码的帧率根据所述剩余信道容量确定。
99.如权利要求86至89任一项所述的图像传输装置，其中，所述质量采用如下的至少一种指标进行评价：均方根误差、峰值信噪比、结构相似性、梯度幅相似性偏差。
100.如权利要求99所述的图像传输装置，其中，所述判断所述第二码流是否达到所述第一码流的质量包括：
当所述第二码流的所述指标与所述第一码流的所述指标的差值大于一阈值时，所述第二码流未达到所述第一码流的质量；
当所述第二码流的所述指标与所述第一码流的所述指标的差值小于或等于所述阈值时，所述第二码流达到所述第一码流的质量。
101.如权利要求86至89任一项所述的图像传输装置，其中，在所述并行传输操作中，判断所述第一码流是否出现错误，如果是，则执行切换步骤。
102.如权利要求101所述的图像传输装置，其中，所述错误包括如下的至少一种：丢帧、错帧、数据错误。
103.如权利要求86至89任一项所述的图像传输装置，其中，所述切换操作还基于反馈机制对所述第二码流进行错误恢复。
104.如权利要求103所述的图像传输装置，其中，所述反馈机制包括：
所述图像发送装置获取所述第二码流的当前帧；
所述图像接收装置向所述图像发送装置发送反馈信息；
所述图像发送装置接收所述反馈信息，根据所述反馈信息确定所述当前帧的参考帧，并根据所述参考帧对所述当前帧进行所述第二编码。
105.如权利要求104所述的图像传输装置，其中，所述图像接收装置按照预定时间间隔、或者响应于接收到所述第二码流的错误帧而向所述图像发送装置发送反馈信息。
106.如权利要求105所述的图像传输装置，其中，所述反馈信息至少包括：所述图像接收装置在发送所述反馈信息之前、或者在接收到所述错误帧之前，接收到的所述第二码流的最后一个正确帧的帧序号。
107.如权利要求106所述的图像传输装置，其中，所述根据所述反馈信息确定所述当前帧的参考帧包括：
将所述帧序号及其对应的正确帧保存至一参照帧队列，并将所述正确帧作为所述参考帧队列的第一帧；
将所述参考帧队列的所述第一帧作为所述参考帧。
108.如权利要求106所述的图像传输装置，其中，所述根据所述反馈信息确定所述当前帧的参考帧包括：
将所述帧序号及其对应的正确帧保存至一参照帧队列，并将所述正确帧作为所述参考帧队列的第一帧；
将在所述当前帧之前发送的最后一帧作为参考帧；
判断所述正确帧的帧序号与所述最后一帧的帧序号是否相等，如果否，将所述参考帧队列的所述第一帧作为所述参考帧。
109.一种无人机，其中，包括：权利要求55至76任一项所述的图像发送装置。
110.一种控制设备，其中，包括：权利要求77至85任一项所述的图像接收装置。
111.一种无人机系统，其中，包括：权利要求86至108任一项所述的图像传输装置。
112.一种无人机系统，其中，包括：权利要求109所述的无人机和权利要求110所述的控制设备。
CN201980008816.XA 2019-05-15 2019-05-15 一种图像发送方法、图像接收方法、图像传输方法及装置 Pending CN111602398A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/087045 WO2020227973A1 (zh) 2019-05-15 2019-05-15 一种图像发送方法、图像接收方法、图像传输方法及装置

Publications (1)

Publication Number Publication Date
CN111602398A true CN111602398A (zh) 2020-08-28

Family

ID=72189566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980008816.XA Pending CN111602398A (zh) 2019-05-15 2019-05-15 一种图像发送方法、图像接收方法、图像传输方法及装置

Country Status (2)

Country Link
CN (1) CN111602398A (zh)
WO (1) WO2020227973A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845596A (zh) * 2005-04-06 2006-10-11 上海迪比特实业有限公司 视频传输系统及其自适应调节视频图像的方法
CN102075741A (zh) * 2010-12-14 2011-05-25 北京华环电子股份有限公司 一种图像传输方法、终端及系统
CN107666593A (zh) * 2017-08-28 2018-02-06 中国电子科技集团公司第二十八研究所 一种波动网络环境下的视频实时传输方法
CN207283720U (zh) * 2017-05-09 2018-04-27 北京航天泰坦科技股份有限公司 一种基于卫星通信的无人机航拍视频图传系统
US10194188B1 (en) * 2014-02-14 2019-01-29 Google Llc Bitrate selection for video streaming

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090161762A1 (en) * 2005-11-15 2009-06-25 Dong-San Jun Method of scalable video coding for varying spatial scalability of bitstream in real time and a codec using the same
CN106375836A (zh) * 2016-09-27 2017-02-01 广东小天才科技有限公司 一种视频的分辨率切换方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845596A (zh) * 2005-04-06 2006-10-11 上海迪比特实业有限公司 视频传输系统及其自适应调节视频图像的方法
CN102075741A (zh) * 2010-12-14 2011-05-25 北京华环电子股份有限公司 一种图像传输方法、终端及系统
US10194188B1 (en) * 2014-02-14 2019-01-29 Google Llc Bitrate selection for video streaming
CN207283720U (zh) * 2017-05-09 2018-04-27 北京航天泰坦科技股份有限公司 一种基于卫星通信的无人机航拍视频图传系统
CN107666593A (zh) * 2017-08-28 2018-02-06 中国电子科技集团公司第二十八研究所 一种波动网络环境下的视频实时传输方法

Also Published As

Publication number Publication date
WO2020227973A1 (zh) 2020-11-19

Similar Documents

Publication Publication Date Title
US10911763B2 (en) System and method for electronic data communication
KR102326312B1 (ko) 비디오 송신 방법 및 데이터 송신기
JP6479621B2 (ja) ビデオ符号化方法及びビデオエンコーダシステム
KR102385337B1 (ko) 비디오 송신 방법 및 데이터 송신기
CN102714728B (zh) 视频图像编码数据的显示方法、设备和通信系统
KR102473678B1 (ko) 비디오 송신 방법 및 데이터 송신기
AU2021200428B2 (en) System and method for automatic encoder adjustment based on transport data
CN105812710A (zh) 视频通话过程中优化图像质量的方法及系统
US8908007B2 (en) Transmission device and transmission method
US20110064276A1 (en) Image transmission device and image reception device
CN111770347A (zh) 一种视频传输方法及系统
CN111602398A (zh) 一种图像发送方法、图像接收方法、图像传输方法及装置
WO2012151549A1 (en) On-demand intra-refresh for end-to-end coded video transmission systems
CN111602389B (zh) 码流的传输控制方法、设备及计算机可读存储介质
US20150264358A1 (en) Video transmitter, video transceiver system and video transmission method
KR102107139B1 (ko) 무선 네트워크 시스템에서 영상 스트리밍 서비스 제공 방법 및 장치
Combernoux et al. Cross-layer optimization of a multimedia streaming system via dynamic programming
CN111818336B (zh) 视频处理方法、装置、存储介质以及通信装置
CN103957417A (zh) 一种高鲁棒性的视频编、解码方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200828

WD01 Invention patent application deemed withdrawn after publication