CN106559397A - Volte视频电话的图像错误恢复方法、装置和视频引擎 - Google Patents

Abstract

本发明涉及一种VOLTE视频电话的图像错误恢复方法、装置和视频引擎。该方法是在视频帧的发送端执行且包括以下步骤：在帧间预测编码下根据各个宏块的运动矢量，记录每一编码帧的宏块预测信息；接收接收端反馈的宏块错误信息，该宏块错误信息包括错误帧号和错误宏块；根据各编码帧的宏块预测信息和该宏块错误信息，推算待编码帧的参考帧在接收端的错误宏块；以及排除参考帧在接收端的错误宏块在该待编码帧中的使用。

Description

VOLTE视频电话的图像错误恢复方法、装置和视频引擎

技术领域

本发明涉及IP多媒体子系统的VOLTE(Voice Over LTE)业务，尤其是涉及VOLTE视频电话的图像错误恢复方法、装置和视频引擎。

背景技术

IP多媒体子系统(IP Multimedia Subsystem,IMS)业务是4G通信的基础业务之一，提供语音、视频通话，短消息，文件传输等多种功能，而基于IP网络的VOLTE视频通话是主要的改进之一。与语音通话的语音数据相比，视频通话的视频数据传输有几点不同。首先是视频数据速率高，视频帧大，导致传输延时比较长；其次如果组成视频帧的实时传输协议(Real-time TransportProtocol,RTP)包出现丢包，则该帧就无法正确解码；另外由于视频采用预测编码，如果出现一帧图像错误，则该错误会被累积，直到下一个关键帧出现才能消除。

由此可见，视频图像对传输错误的敏感程度较高，一旦出现丢包就会产生明显图像错误，而且会持续到下一个关键帧才能消除。目前的技术可以通过RTCP报告丢包情况，然后由发送端进行处理，但是现有的各种应对方法还是有一些局限性。

第一种方法是丢包重传，即发送端根据接收端反馈的丢包信息，重新传输丢失的数据包，接收端等收齐数据后解码。但是重传的时间一般无法确定，所以可能造成该帧解码延时过长，影响图像流畅度。

第二种方法是编码关键帧，即发送端得知接收端丢包后，直接编码关键帧，使接收端恢复正常解码。此方法不会产生过大的解码延时，但是关键帧数据较大，本身就会增加传输通道的压力，更容易造成丢包，在信号强度低的环境下也不利于图像快速恢复。

第三种方法是重传图像条，即将图像编码为多个图像条，出现丢包后对应的图像条改为帧内编码，其余不变。此方法比编码关键帧产生的数据量少，但是图像条过多会降低编码效率，过少则数据量减少不明显。

第四种方法是调整参考帧，即出现丢包后，发送端将参考帧调整为接收端最近一次成功解码的视频帧，使接收端能够恢复正确图像。此方法需要发送端缓存多帧参考图像，占用内存较多，而且选取的参考帧越靠前压缩率也低。

第五种方法是定时发送关键帧，即间隔一段时间发送关键帧，以便接收端恢复图像解码，消除累计的解码错误。此方法会定时产生关键帧，而关键帧数据量又大，所以增加了数据量的波动，不利于数据平稳传输，也增加了丢包的概率，而且接收端没有解码错误时根本不需要发送关键帧。

发明内容

本发明所要解决的技术问题是提供一种改进的VOLTE视频电话的图像错误恢复方法和装置，以及使用这种方法的VOLTE视频引擎。

本发明为解决上述技术问题而采用的技术方案是提出一种VOLTE视频电话的图像错误恢复方法，是视频帧的发送端执行，该方法包括以下步骤：在帧间预测编码下根据各个宏块的运动矢量，记录每一编码帧的宏块预测信息；接收接收端反馈的宏块错误信息，该宏块错误信息包括错误帧号和错误宏块；根据各编码帧的宏块预测信息和该宏块错误信息，推算待编码帧的参考帧在接收端的错误宏块；以及排除参考帧在接收端的错误宏块在该待编码帧中的使用。

在本发明的一实施例中，排除参考帧在接收端的错误宏块在该待编码帧中的使用包括：只使用该解码错误帧的不包含解码错误宏块的部分图像区域对该待编码帧进行编码。

在本发明的一实施例中，排除参考帧在接收端的错误宏块在该待编码帧中的使用包括：对该待编码帧中的部分宏块使用帧内编码。

在本发明的一实施例中，根据错误图像面积的大小决定是否只使用该解码错误帧的该部分图像区域对该待编码帧进行编码。

在本发明的一实施例中，根据错误图像面积的大小决定对该待编码帧中的部分宏块使用帧内编码。

在本发明的一实施例中，该帧间预测编码是前向预测编码或双向预测编码。

本发明还提出一种VOLTE视频电话的发送端视频引擎，包括：视频编码器，配置为常态地使用帧间预测对采集的图像进行编码，且当收到根据宏块管理器的评估结果时根据该评估结果进行编码；RTP发送模块，连接该视频编码器，配置为发送编码后的视频数据；RTCP接收模块，配置为接收接收端反馈的宏块错误信息，该宏块错误信息包括错误帧号和错误宏块；以及宏块管理器，连接该视频编码器和该RTCP接收模块，配置为根据在帧间预测编码下各个宏块的运动矢量，记录每一编码帧的宏块预测信息，并且根据各编码帧的宏块预测信息和该宏块错误信息推算待编码帧的参考帧在接收端的错误宏块，以及向该视频编码器提供评估结果，该评估结果包括排除参考帧在接收端的错误宏块在该待编码帧中的使用。

本发明还提出一种VOLTE视频电话的图像错误恢复装置，包括：第一模块，用于在帧间预测编码下根据各个宏块的运动矢量，得到每一编码帧的宏块预测信息；第二模块，用于接收接收端反馈的宏块错误信息，该宏块错误信息记录解码错误帧及其解码错误宏块；第三模块，用于根据各编码帧的宏块预测信息和该宏块错误信息推算待编码帧的参考帧在接收端的错误宏块；以及第四模块，用于排除参考帧在接收端的错误宏块在该待编码帧中的使用。

本发明由于采用以上技术方案，使之与现有技术相比，收到接收端反馈的丢包信息后，发送端只在后续的待编码帧中进行图像修复，避免往返传输数据，同时仅仅修复图像错误部分，减少数据量。这样在出现丢包时，既不会影响发送端当前的编码状态，不会突然增加数据量，减少对数据通道的压力，又能够很快恢复图像错误，避免长时间图像马赛克现象。

附图说明

为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：

图1示出帧间预测编码的示意图。

图2示出本发明一实施例的VOLTE视频电话的图像错误恢复方法流程图。

图3示出帧间预测编码下单个宏块的运动矢量和宏块预测信息。

图4示出帧间预测编码下多个宏块的运动矢量和宏块预测信息。

图5示出帧间预测编码下三个帧的运动矢量和宏块预测信息。

图6示出本发明一实施例的VOLTE视频引擎的结构框图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。

本发明的实施例描述VOLTE视频电话的图像错误恢复。在视频电话中，由于视频数据量大，在网络传输中比音频数据更容易出现数据丢失，特别是在弱信环境下丢包率会更高，同时VOLTE通话对实时性的要求很高，不能花很长时间等数据重传。根据本发明的实施例，在VOLTE视频电话的数据传输过程中，接收端反馈丢包信息后，发送端只在后续帧中进行图像修复，避免往返传输数据。这样在出现丢包时，既不会影响发送端当前的编码状态，又能够很快恢复图像错误。

目前VOLTE的视频数据传输主要是使用帧间预测来压缩视频数据。帧间预测是利用视频图像帧间的相关性，即时间相关性，来达到图像压缩的目的。帧间预测的代表性例子有运动估计编码。运动估计编码是利用至少一个参考帧来对当前帧的运动以宏块为单位进行估计并补偿，由此对图像进行编码的方法。利用预定的评价函数，在参考帧的规定搜索范围内搜索与当前宏块最相似的参考宏块。当搜索到相似的块时，仅对作为当前宏块与参考帧内的相似的宏块之间的差的残差宏块进行编码。在此，当前宏块可以为16×16。在此，帧间预测编码可以是前向预测编码或双向预测编码。

图1示出帧间预测编码的示意图。参考图1所示，在对图像进行编码时，帧间预测通过参照至少一个参考帧来进行。当对当前帧110的当前宏块112进行帧间预测时，搜索参考帧120中与当前宏块112最相似的参考宏块122。在此，参考宏块122是一个最能预测好当前宏块的宏块，与当前宏块112的绝对差值和最小的宏块可称为参考宏块122。参考宏块122成为当前宏块112的预测宏块，且在当前宏块112中减去参考宏块122而生成残差宏块。只有所生成的残差宏块才被编码而插入到比特流。此时，当前帧110中当前宏块112的位置与参考帧120中参考宏块122的位置之间的相对差称为运动矢量130，而运动矢量130也同残差宏块一样被编码。

根据上述原理可以得出参考帧中所有宏块与当前帧的各宏块的预测关系，依此类推，每编码一帧就能够得到与前面n帧(n为正整数，n的大小根据情况调整)的宏块预测信息。这些宏块预测信息将保存在发送端。当接收端反馈宏块错误信息时，可以根据这些宏块预测信息对待编码帧的编码方式进行调整以修复图像。宏块错误信息包括错误帧号和错误宏块。

图2示出本发明一实施例的VOLTE视频电话的图像错误恢复方法流程图。此方法可以在VOLTE视频电话的发送端执行。参考图2所示，本实施例的方法包括以下步骤：

在步骤201，在帧间预测编码下根据各个宏块的运动矢量，记录每一编码帧的宏块预测信息。

如前文所述，在帧间预测编码时会计算当前宏块与参考宏块之间的运动矢量，在步骤中会利用这些运动矢量来记录各编码帧的宏块预测信息。

例如参考图3，图3示出帧间预测编码下单个宏块的运动矢量和宏块预测信息。假设宏块M23、M24、M33、M34属于第K-1(K为正整数且K>1)帧，宏块M42属于第K帧。那么第K-1帧为参考帧，第K帧为当前编码帧。根据帧间预测编码，当前编码帧的宏块M42由参考帧的宏块M42’运动过来，箭头301代表运动矢量。根据此运动矢量，可以记录宏块M42的宏块预测信息，即宏块M42是由宏块M23、M24、M33、M34预测得到。

考虑更多宏块的情形。图4示出帧间预测编码下多个宏块的运动矢量和宏块预测信息，参考图4所示，假设宏块M22、M23、M24、M25、M26、M32、M33、M34、M35、M36属于第K-1(K为正整数且K>1)帧，宏块M31、M42、M45属于第K帧。那么第K-1帧为参考帧，第K帧为当前编码帧。根据帧间预测编码，当前编码帧的宏块M31由参考帧的宏块M31’运动过来，M42由参考帧的宏块M42’运动过来，M45由参考帧的宏块M45’运动过来，箭头401、402和403分别代表运动矢量。根据这些运动矢量，可以记录宏块M31、M42和M45的宏块预测信息，即宏块M31是由宏块M22、M23、M32、M33预测得到，宏块M42是由宏块M23、M24、M33、M34预测得到，宏块M45是由宏块M25、M26、M35、M36预测得到。

考虑更多帧的情形，图5示出帧间预测编码下三个帧的运动矢量和宏块预测信息，参考图5所示，如果编码第K+1帧时，是以第K帧为参考帧，那么第K+1帧的宏块，例如宏块M50是从第K帧的宏块M50’运动过来，箭头501代表运动矢量。根据此运动矢量，可以记录宏块M50的宏块预测信息，即宏块M50是由宏块M31、M32、M41、M42预测得到。

在步骤202，接收接收端反馈的宏块错误信息。在此，宏块错误信息包括错误帧号和错误宏块。

发送端会在完成各帧编码后将帧数据发送给接收端。接收端会进行解码，得到视频图像。如果在传输过程中出现丢包或数据错误，则接收端将无法完整的还原一帧图像，此时接收端将解码错误的帧号和解码错误的宏块的信息，作为宏块错误信息反馈给发送端。

以图3为例，当接收端无法还原K-1帧的图像时，将会把此帧的信息和解码错误的宏块(假设为宏块M22和M24)的信息反馈给发送端。

在步骤203，根据各编码帧的宏块预测信息和反馈的宏块错误信息，推算待编码帧的参考帧在接收端的错误宏块。

在步骤204，排除参考帧在接收端的错误宏块在该待编码帧中的使用。

以图3为例，当收到宏块错误信息时，假设错误帧号是第K-1帧，错误宏块是宏块M22、M24。并且假设当前的待编码帧时是第K帧。此时第K帧是参考第K-1帧进行编码，即第K-1帧是第K帧的参考帧。那么在步骤203可以推算出参考帧第K-1帧在接收端的错误宏块M22、M24。在步骤204在第K帧编码时排除参考帧第K-1帧的错误宏块M22、M24在待编码帧第K帧中的使用。这样，就可以避免第K帧的宏块M31的解码由于需要使用错误宏块M22、M24，而仍然出现解码错误。

在实际中，往往无法在解码错误帧的下一帧即得到宏块错误信息的反馈，而是相隔一帧或多帧，因此会出现图像错误。例如以图4为例，假设错误帧号是第K-1帧，错误宏块是宏块M22、M24。如果未在第K帧编码时得到宏块错误信息的反馈，那么编码第K帧时会仍然使用错误宏块M22、M24，导致在接收端在解码宏块31时出现解码错误。假设当前的待编码帧时是第K+1帧，此时第K+1帧是参考第K帧进行编码，即第K帧是第K+1帧的参考帧。那么在步骤203可以推算出参考帧第K帧在接收端的错误宏块M31。在步骤204在第K+1帧编码时排除参考帧第K帧的错误宏块M31在待编码帧第K+1帧中的使用。这样，就可以避免第K+1帧的宏块M50的解码由于需要使用参考帧第K帧的错误宏块M31而仍然出现解码错误，迅速恢复图像。

在图3和图4的例子中，一旦在当前编码帧恢复了错误的图像，那么在后续帧中就无需再调整编码方式。例如在图3中，第K帧已经进行了修复，那么第K+1帧就可以使用第K帧的宏块M31，尽管此前的预测中该宏块M31是第K-1帧的错误宏块。在图4中，第K+1帧已经进行了修复，那么在第K+2帧就可以使用第K+1帧的宏块M50，尽管此前的预测中该宏块M50是第K帧的错误宏块。

排除上述宏块的使用的方式，可以是只使用该错误帧的不包含错误宏块的部分图像区域对待编码帧进行编码。例如在图4中，第K+1帧的编码可以使用第K帧中除错误宏块M31以外的剩余可用区域作为参考图像。

排除上述宏块的使用的方式，还可以是对该待编码帧中的参考宏块丢失的宏块使用帧内编码。例如在图4中，第K+1帧的编码可以对宏块M50进行帧内编码。

上述的两种方式的选择，例如可以参考错误帧中错误图像面积的大小来决定。例如当错误图像面积较小时，不使用这些错误区域；当错误面积较大，剩余正确的图像不足以进行预测编码，则该用帧内编码部分宏块。

通过本实施例的上述方法，接收端反馈丢包信息，发送端只在后续的待编码帧中进行图像修复，避免往返传输数据，同时仅仅修复图像错误部分，减少数据量。这样在出现丢包时，既不会影响发送端当前的编码状态，不会突然增加数据量，减少对数据通道的压力，又能够很快恢复图像错误，避免长时间图像马赛克现象。

图6示出本发明一实施例的VOLTE视频引擎的结构框图。参考图6所示，VOLTE视频引擎600包括发送端视频引擎610和接收端视频引擎620。发送端视频引擎610包括视频编码器611、RTP发送模块612、RTCP接收模块613和宏块管理器614。视频编码器611进行视频编码，且配置为常态地使用帧间预测对采集的图像进行编码；另外，视频编码器611配置为当收到根据宏块管理器的评估结果时根据该评估结果进行编码。RTP发送模块612连接视频编码器612配置为发送编码后的视频数据。RTCP接收模块613配置为接收从接收端反馈的宏块错误信息，该宏块错误信息记录错误帧号及其错误宏块。宏块管理器614连接视频编码器611和RTCP接收模块612，配置为根据在帧间预测编码下各个宏块的运动矢量，记录每一编码帧的宏块预测信息，并且根据各编码帧的宏块预测信息及反馈的宏块错误信息推算待编码帧的参考帧在接收端的错误宏块，以及向该视频编码器提供评估结果，该评估结果包括排除参考帧在接收端的错误宏块在该当前编码帧中的使用。此外，发送端视频引擎610可包括图像采集模块615以采集图像。

接收端视频引擎620包括包括视频解码器621、RTP接收模块622、RTCP发送模块623和图像显示模块624。视频解码器621配置为解码自RTP接收模块622接收的数据，且将解码错误信息通过RTCP发送模块623反馈给发送端。

视频传输开始时，第一帧采用关键帧编码，之后采用预测帧编码，同时将每一帧的宏块预测信息记录在宏块管理器614。视频数据通过RTP消息传输，接收端收到完整的RTP数据后给视频解码器621解码。如果在传输过程中出现丢包或数据错误，则视频解码器621将无法完整的恢复一帧图像，此时视频解码器621将解码错误的帧和宏块信息通过RTCP消息反馈给发送端。

发送端的宏块管理器614收到反馈消息后进行错误分析，根据错误程度以及反馈消息的延时长短，通常可以分为2类评估结果：第一种，错误图像面积小，在后一帧编码中不使用这些区域；第二种总体错误面积较大，剩余正确的图像不足以进行预测编码，则该用帧内编码部分宏块。最后宏块管理器614将评估结果设置给视频编码器611，编码出的图像传送到接收端解码，这样就能跳过上一帧的错误图像区域，从而恢复正确的图像。

本发明上述实施例的图像错误恢复方法可以在例如计算机软件、硬件或计算机软件与硬件的组合的计算机可读取介质中加以实施。对于硬件实施而言，本发明中所描述的实施例可在一个或多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DAPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、用于执行上述功能的其它电子装置或上述装置的选择组合来加以实施。在部分情况下，这类实施例可以通过控制器进行实施。

对软件实施而言，本发明中所描述的实施例可通过诸如程序模块(procedures)和函数模块(functions)等独立的软件模块来加以实施，其中每一个模块执行一个或多个本文中描述的功能和操作。软件代码可通过在适当编程语言中编写的应用软件来加以实施，可以储存在内存中，由控制器或处理器执行。例如本发明一实施例的VOLTE视频电话的图像错误恢复装置，包括第一模块、第二模块和第三模块。第一模块，用于在帧间预测编码下根据各个宏块的运动矢量，得到每一编码帧的宏块预测信息；第二模块，用于接收接收端反馈的宏块错误信息，该宏块错误信息记录解码错误帧及其解码错误宏块；第三模块，用于根据各编码帧的宏块预测信息，排除解码错误帧的解码错误宏块以及/或者该解码错误宏块的后续宏块在与该解码错误宏块关联的待编码帧中的使用，该后续宏块为该解码错误宏块按照该宏块预测信息在该解码错误帧的后续帧中的对应宏块。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (13)

1.一种VOLTE视频电话的图像错误恢复方法，是在视频帧的发送端执行，该方法包括以下步骤：

在帧间预测编码下根据各个宏块的运动矢量，记录每一编码帧的宏块预测信息；

接收接收端反馈的宏块错误信息，该宏块错误信息包括错误帧号和错误宏块；

根据各编码帧的宏块预测信息和该宏块错误信息，推算待编码帧的参考帧在接收端的错误宏块；以及

排除参考帧在接收端的错误宏块在该待编码帧中的使用。

2.如权利要求1所述的方法，其特征在于，排除参考帧在接收端的错误宏块在该待编码帧中的使用包括：只使用该参考帧的不包含错误宏块的部分图像区域对该待编码帧进行编码。

3.如权利要求1所述的方法，其特征在于，排除参考帧在接收端的错误宏块在该待编码帧中的使用包括：对该待编码帧中的部分宏块使用帧内编码。

4.如权利要求2所述的方法，其特征在于，根据错误图像面积的大小决定是否只使用该参考帧的该部分图像区域对该待编码帧进行编码。

5.如权利要求3所述的方法，其特征在于，根据错误图像面积的大小决定对该待编码帧中的部分宏块使用帧内编码。

6.如权利要求1所述的方法，其特征在于，该帧间预测编码是前向预测编码或双向预测编码。

7.一种VOLTE视频电话的发送端视频引擎，包括：

视频编码器，配置为常态地使用帧间预测对采集的图像进行编码，且当收到根据宏块管理器的评估结果时根据该评估结果进行编码；

RTP发送模块，连接该视频编码器，配置为发送编码后的视频数据；以及

RTCP接收模块，配置为接收接收端反馈的宏块错误信息，该宏块错误信息包括错误帧号和错误宏块；

宏块管理器，连接该视频编码器和该RTCP接收模块，配置为根据在帧间预测编码下各个宏块的运动矢量，记录每一编码帧的宏块预测信息，并且根据各编码帧的宏块预测信息和该宏块错误信息推算待编码帧的参考帧在接收端的错误宏块，以及向该视频编码器提供该评估结果，该评估结果包括排除参考帧在接收端的错误宏块在该待编码帧中的使用。

8.如权利要求7所述的发送端视频引擎，其特征在于，该宏块管理器的评估结果包括只使用该参考帧的不包含错误宏块的部分图像区域对该待编码帧进行编码。

9.如权利要求7所述的发送端视频引擎，其特征在于，该宏块管理器的该评估结果包括对该待编码帧中的部分宏块使用帧内编码。

10.如权利要求8所述的发送端视频引擎，其特征在于，该宏块管理器根据错误图像面积的大小决定是否只使用该参考帧的该部分图像区域对该待编码帧进行编码。

11.如权利要求9所述的发送端视频引擎，其特征在于，该宏块管理器根据错误图像面积的大小决定对该待编码帧中的部分宏块使用帧内编码。

12.如权利要求7所述的发送端视频引擎，其特征在于，该帧间预测编码是前向预测编码或双向预测编码。

13.一种VOLTE视频电话的图像错误恢复装置，包括：

第一模块，用于在帧间预测编码下根据各个宏块的运动矢量，得到每一编码帧的宏块预测信息；

第二模块，用于接收接收端反馈的宏块错误信息，该宏块错误信息包括错误帧号和错误宏块；

第三模块，用于根据各编码帧的宏块预测信息和该宏块错误信息，推算待编码帧的参考帧在接收端的错误宏块；

第四模块，用于排除参考帧在接收端的错误宏块在该待编码帧中的使用。