CN108235150A - 一种网络传输特性友好的实时图像自适应恢复系统及方法 - Google Patents

Abstract

本发明公开的一种网络传输特性友好的实时图像自适应恢复系统及方法，系统包括编码端和解码端两部分，其中编码端包括编码图像索引生成模块、编码图像宏块信息备份模块、丢包数据传播区域计算模块和丢包区域编码类型控制模块；所述解码端包括解码图像索引提取模块、解码丢包信息统计模块和解码丢包信息反馈模块。本发明解决了丢包环境下频繁申请IDR帧的问题，对实时编解码系统的图像质量以及网络传输效果均具有一定提升。

Description

一种网络传输特性友好的实时图像自适应恢复系统及方法

技术领域

本发明涉及实时编码图像传输技术领域，具体涉及一种网络传输特性友好的实时图像自适应恢复系统及方法。

背景技术

在实时视频编解码系统的应用中（比如视频会议或者视频监控）网络丢包是必须要面对和解决的一个问题，以AVC(H.264)的多条带编码为例，在AVC（H.264）编码中有一种多条带（slice）编码模式，各条带之间没有相关性（或相关性很小），在实际网传中一般以一个条带一个包的方式进行传递。在丢包环境下，该方式可以降低异常图像的扩散，但是也会不可避免的引起“马赛克”现象（因为实际数据已经丢失，该丢失部分的图像只能通过一些预测手段来恢复，与真正的解码图像存在一定误差，并且由于编码帧之间的时间相关性，该误差图像会持续扩散，进而引起马赛克现象）。

因此，为消除网络丢包引起的图像质量损失，通常的解决方案是：解码端检测到丢包后向编码端设备发送消息申请IDR帧（立即刷新帧），进而阻断因丢包引起的异常图像传递，编码端需要申请IDR帧来真正阻断异常图像的扩散，进而出现申请IDR帧的情况，网络丢包越严重，IDR帧申请越频繁。但是IDR帧存在如下缺点：1）同等质量情况下IDR帧的尺寸较P帧（预测编码帧）的尺寸大很多，2）同等尺寸条件下IDR帧的图像质量较P帧的图像质量差很多。如果频繁申请IDR帧会引起编码图像质量降低，并且不利于网络传输，极端情况下还会引起网络阻塞，进而引起更严重的丢包。

因此，本发明人提出了一种网络传输特性友好的实时图像自适应恢复系统及方法来解决丢包环境下频繁申请IDR帧的问题。

发明内容

本发明的目的在于提供一种网络传输特性友好的实时图像自适应恢复系统及方法，以解决丢包环境下频繁申请IDR帧的问题，对实时编解码系统的图像质量以及网络传输效果均具有一定提升。

为了实现上述目的，本发明的技术方案如下：

一种网络传输特性友好的实时图像自适应恢复系统，包括编码端和解码端两部分，其中编码端包括：

编码图像索引生成模块，该模块生成该编码序列的唯一图像索引，用于编码端判断编码端反馈的丢包图像帧与当前待编码帧的时间位置对应关系；

编码图像宏块信息备份模块，该模块备份编码图像的宏块类型信息以及运动向量信息，用于丢包数据传播路径以及区域的计算；

丢包数据传播区域计算模块，该模块用于依据帧间信息之间的相关性计算丢包数据的传播区域，包括宏块类型信息以及运动向量信息；

丢包区域编码类型控制模块，该模块用于控制编码端的编码宏块类型，如果判断待编码的宏块处于丢包数据传播区域范围之内，则进行帧内宏块编码，阻断该异常传播；否则，进行正常的编码流程；

所述解码端包括：

解码图像索引提取模块，该模块提取当前解码帧图像的索引，如果出现丢包，则需将该信息传递给编码端，编码端利用该信息确定该丢包的解码帧与待编码帧之间的时间相关性；

解码丢包信息统计模块，该模块统计丢包数据的位置以及丢包数据覆盖的范围，包括条带级以及宏块级，用于编码端核对该类信息；

解码丢包信息反馈模块，该模块通过网络协议传递向编码端传递该路编码端丢包统计以及丢包图像索引信息，用于异常图像恢复。

一种网络传输特性友好的实时图像自适应恢复方法，包括：

在编码端预先保存帧图像索引以及编码宏块类型信息、运动向量信息；

根据解码端反馈的丢包位置信息，编码端计算出该解码帧与当前待编码帧的宏块对应关系；所述丢包位置信息包括解码帧索引以及条带索引；

然后编码端在存在关联的区域使用帧内宏块模式进行编码，阻断解码异常图像的传播路径；

接着编码端发送该编码帧码流，在解码端接收到该编码帧数据之后可立即恢复为正常图像。

采用上述方案后，本发明具有以下优点：

(1) 本发明可以精确控制丢包引起的异常图像传播路径以及区域；

(2) 本发明根据异常图像传播范围进行编码宏块类型的精确控制，阻断异常图像传播；

(3) 本发明可以在不申请IDR帧的情况下即可恢复丢包引起的异常图像，并且图像恢复效果与申请IDR方式相同，可以完全恢复数据丢包引起的图像异常，且网络带宽占用较IDR方式低。

以下结合附图及具体实施例对本发明做进一步说明。

附图说明

图1是编码端与解码端的宏块依赖关系示意图；

图2是本发明编码端与解码端信息传输和处理流程图；

图3是本发明一种网络传输特性友好的实时图像自适应恢复系统结构框图；

图4是本发明编码端处理流程图；

图5是本发明解码端处理流程图。

具体实施方式

在介绍本发明的详细方案之前，对本发明涉及的编解码原理进行解释：

如图1所示，以AVC(H.264)的多条带编码为例但应用范围不限于AVC，为其编码端与解码端的宏块依赖关系示意图，为简明阐述相关问题，仅仅以图像中的个别宏块为例，在实际情况中应扩展到整个图像的宏块依赖关系。

编码端和解码端的各图像帧按照时间顺序进行编码或者解码，编码端和解码端一一对应，以帧序号为例，其中第N-1帧最先编码或者解码，第N帧其次，第N+1再次之。

不同图像帧之间颜色相同的区块（图中做了灰度处理，为灰度相同的区块）代表彼此之间存在依赖关系，第N帧数据既与N-1帧有关系又与N+1帧有关系，其中N帧中的黄、绿、蓝、橙、紫对应的灰度与第N-1帧灰度相同的区块对应，第N帧的其他灰度区块与第N+1帧灰度区域相对应。

粗线条分割的区域代表AVC的条带区域，其内的方形格子代表图像编解码中的宏块信息（Macroblock）;

解码端的N-1帧较细的斜线覆盖区域代码该部分的解码码流在传输过程中出现丢失，由于解码图像之间的时间相关性，会引起N帧以及N+1帧对应区域出现解码图像异常，进而引起异常图像扩散（图1中解码端N帧以及N+1帧中的斜线代表扩散的位置）。

基于以上编解码原理，如图2和3所示，本发明揭示了一种网络传输特性友好的实时图像自适应恢复系统；

包括编码端100和解码端200两部分，其中编码端100包括：

编码图像索引生成模块101，该模块生成该编码序列的唯一图像索引，用于编码端判断编码端反馈的丢包图像帧与当前待编码帧的时间位置对应关系；

编码图像宏块信息备份模块102，该模块备份编码图像的宏块类型信息以及运动向量信息，用于丢包数据传播路径以及区域的计算；

丢包数据传播区域计算模块103，该模块用于依据帧间信息之间的相关性计算丢包数据的传播区域，包括宏块类型信息以及运动向量信息；

丢包区域编码类型控制模块104，该模块用于控制编码端100的编码宏块类型，如果判断待编码的宏块处于“丢包数据传播区域”范围之内，则进行帧内宏块编码，阻断该异常传播；否则，进行正常的编码流程；

所述解码端200包括：

解码图像索引提取模块201，该模块提取当前解码帧图像的索引，如果出现丢包，则需将该信息传递给编码端，编码端利用该信息确定该丢包的解码帧与待编码帧之间的时间相关性；

解码丢包信息统计模块202，该模块统计丢包数据的位置以及丢包数据覆盖的范围，包括条带级以及宏块级，用于编码端核对该类信息，防止出现误判；

解码丢包信息反馈模块203，该模块通过网络协议传递向编码端传递该路编码端丢包统计以及丢包图像索引信息，用于异常图像恢复。

基于上述的一种网络传输特性友好的实时图像自适应恢复系统，本发明还揭示了采用该系统实施的一种网络传输特性友好的实时图像自适应恢复方法，参见图4和5，该方法包括：

第一步，编码图像索引生成模块101生成该编码序列的唯一图像索引，编码图像宏块信息备份模块102备份编码图像的宏块类型信息以及运动向量信息，从而在编码端100能够预先保存帧图像索引以及编码宏块类型信息、运动向量信息；

第二步，解码图像索引提取模块201提取当前解码帧图像的索引，如果出现丢包，解码丢包信息统计模块202统计丢包数据的位置以及丢包数据覆盖的范围（包括条带级以及宏块级），然后解码丢包信息反馈模块203通过网络协议传递向编码端100传递该路编码端丢包统计以及丢包图像索引信息；如果没有出现丢包，解码端200进行正常的解码流程；

第三步，若编码端100接收到丢包位置信息（含解码图像索引提取模块201提取的解码帧图像索引和解码丢包信息统计模块202统计的条带索引），其丢包数据传播区域计算模块103根据解码端200反馈的丢包位置信息计算出该解码帧与当前待编码帧的宏块对应关系；

第四步，然后编码端100的丢包区域编码类型控制模块104进行宏块类型判决，以控制编码端100的编码宏块类型，如果判断待编码的宏块处于“丢包数据传播区域”范围之内，则进行帧内宏块编码，阻断该异常传播；否则，进行正常的编码流程，在存在关联的区域使用帧内宏块(intra)模式进行编码，阻断解码异常图像的传播路径；

第五步，接着编码端100发送该编码帧码流至解码端，在解码端接收到该编码帧数据之后通过宏块解码，即可恢复为正常图像。

本发明提供的网络传输特性优化的编码图像自适应恢复系统及方法，通过编码端100和解码端200的协同配合彼此通过网络协议传递额外的一些信息，可以准确估计“异常图像”扩散的范围，在编码端100根据计算得到的“扩散范围”信息在特定区域进行帧内宏块编码，既可以真正阻断该异常图像扩散又不需要申请IDR帧，并且该编码帧的尺寸小于等于IDR帧的尺寸，普通网络丢包环境下的该类编码帧尺寸远小于IDR帧尺寸，进而避免了频繁申请IDR的缺陷，对编码质量以及网传特性均有较大益处。本发明可以应用于视频会议系统、视频监控以及视频类相关APP应用，但是并不局限于如上所述。

以上仅为本发明的具体实施例，并非对本发明的保护范围的限定。凡依本案的设计思路所做的等同变化，均落入本案的保护范围。

Claims (2)

1.一种网络传输特性友好的实时图像自适应恢复系统，其特征在于，包括编码端和解码端两部分，其中编码端包括：

编码图像索引生成模块，该模块生成该编码序列的唯一图像索引，用于编码端判断编码端反馈的丢包图像帧与当前待编码帧的时间位置对应关系；

编码图像宏块信息备份模块，该模块备份编码图像的宏块类型信息以及运动向量信息，用于丢包数据传播路径以及区域的计算；

丢包数据传播区域计算模块，该模块用于依据帧间信息之间的相关性计算丢包数据的传播区域，包括宏块类型信息以及运动向量信息；

丢包区域编码类型控制模块，该模块用于控制编码端的编码宏块类型，如果判断待编码的宏块处于丢包数据传播区域范围之内，则进行帧内宏块编码，阻断该异常传播；否则，进行正常的编码流程；

所述解码端包括：

解码图像索引提取模块，该模块提取当前解码帧图像的索引，如果出现丢包，则需将该信息传递给编码端，编码端利用该信息确定该丢包的解码帧与待编码帧之间的时间相关性；

解码丢包信息统计模块，该模块统计丢包数据的位置以及丢包数据覆盖的范围，包括条带级以及宏块级，用于编码端核对该类信息；

解码丢包信息反馈模块，该模块通过网络协议传递向编码端传递该路编码端丢包统计以及丢包图像索引信息，用于异常图像恢复。

2.一种网络传输特性友好的实时图像自适应恢复方法，包括：

在编码端预先保存帧图像索引以及编码宏块类型信息、运动向量信息；

根据解码端反馈的丢包位置信息，编码端计算出该解码帧与当前待编码帧的宏块对应关系；所述丢包位置信息包括解码帧索引以及条带索引；

然后编码端在存在关联的区域使用帧内宏块模式进行编码，阻断解码异常图像的传播路径；

接着编码端发送该编码帧码流，在解码端接收到该编码帧数据之后可立即恢复为正常图像。