CN101193312B - 基于反馈的自适应错误恢复装置、视频通信系统和方法 - Google Patents

Abstract

本发明公开了基于反馈的自适应错误恢复装置、视频通信系统和方法，在视频通信系统中，增加一种基于反馈的自适应错误恢复装置，该错误恢复装置中的数据接收模块接收数据，错误信息处理模块检测接收数据是否有错，或反馈信道中是否有错误信息，如果有错误，控制模块启动错误补偿模块，对接收的出错数据进行错误补偿，将补偿后的数据输出，否则，由数据接收模块直接将正常数据输出。该错误恢复装置可以在较小的反馈时延内进行错误恢复处理，从而以最快的速度恢复视频解码端的受损图像质量。该错误恢复装置及方法可以将需要较大计算资源的容错处理操作与终端的编码/解码分离，降低终端的计算资源需求。

Description

基于反馈的自适应错误恢复装置、视频通信系统和方法

技术领域

本发明涉及图像信息传输和处理领域，具体涉及一种自适应的、具有抗信道错误的视频通信系统和方法，以及其中的错误恢复装置和方法。

背景技术

随着有线宽带网络和无线网络的发展和用户需求的驱动，多媒体技术和相关的应用得到了越来越多的关注，被认为是未来高速网络的主流应用之一。多媒体应用，尤其是视频应用，相对于Internet的传统应用，如WWW、E-mail等，其对实时性要求更严格，对带宽的需求更大。由于视频应用中大多采用了高压缩率的编码技术，其对传输误码的要求尤为苛刻，但是有线或者无线网络不提供传输的QoS(Quality of Services)保证，因此，提高视频应用对传输误码的抗干扰和恢复能力一直是多媒体通信领域的研究热点。

常用的视频传输抗差错方法包括：①在编码器端进行冗余编码，使编码码流对信道错误具有更强的抗干扰能力；②在信道传输过程中加入冗余数据，例如前向纠错，提高传输数据对信道错误的抗干扰能力；③在解码器端进行错误隐蔽后处理，尽可能恢复出由于信道错误引起的受损数据。方法①和方法②都会造成数据冗余，增加对传输带宽的要求，特别是在信道状况较好时占用不必要的传输带宽；方法③虽然不会增加传输冗余数据，但是对信道错误的抗干扰能力有限，特别是对无线信道传输条件下的高比特错误和突发性错误无能为力。

因此，交互式的视频抗差错处理——根据网络信道的状况调整编码策略或者传输策略——是一种有效的自适应视频通信方法。在网络状况较差时，例如信道比特错误率或者丢包率较大时，可以增加编码或者传输过程中的冗余数据；当网络状况较好时，例如信道比特错误率或者丢包率较低，可以降低编码或者传输过程中的冗余数据。

这种交互式的视频抗差错方法的一个重要特征是需要得到网络状况或者解码端解码图像状态的反馈信息，然后根据反馈信息调整编码或者传输策略。但是在实际的通信系统中，从解码器的反馈解码状态信息到编码端存在时延，时延的大小与网络状况有关。若时延较大，编码端接收到错误反馈信息时，错误图像已经在解码器端扩散较长时间，对用户造成明显的视觉体验下降。而且在这种情况下，编码端的容错处理能力会发生明显下降。

发明内容

本发明所要解决的技术问题在于，提供一种基于反馈的自适应错误恢复装置、视频通信系统和方法，能够快速接收错误视频反馈信息，在较短的反馈时延内进行错误恢复。

本发明提供一种基于反馈的自适应错误恢复装置，包括数据接收模块、错误信息处理模块、错误补偿模块及控制模块，其中：

数据接收模块，用于接收正常数据流，并对数据进行缓存；错误信息处理模块，用于检测接收数据是否发生错误，以及检测从反馈信道获取的反馈信息是否有错误信息；控制模块，用于接收检测结果，若未发生错误也没有检测到错误信息，则控制所述数据接收模块直接将缓存数据输出；若发生错误或者检测到错误信息，则控制所述数据接收模块将所缓存数据送至错误补偿模块，错误信息处理模块将错误信息送至错误补偿模块，启动所述错误补偿模块根据错误信息对待输出的下一个数据包进行错误补偿后输出。

其中，所述错误补偿模块，进行错误补偿时是对接收的视频码流解码，然后进行重新编码，在重新编码过程中进行容错处理，所述容错处理包括I帧更新、或宏块帧内更新、或参考帧选择、或发送冗余帧。

其中，所述错误补偿模块，进行错误补偿时是在变换域对即将发送的数据码流进行错误补偿，在得到第N帧图像出错的信息时，确定所述错误恢复装置待发送的数据帧；根据接收的错误信息位置，采取基于象素的跟踪或者基于宏块的跟踪，对错误进行跟踪，找到待发送的数据帧的错误扩散区域；对待发送的数据帧中错误扩散宏块区域进行跳帧转码处理，得到重新编码的码流。

所述错误补偿模块，进行跳帧转发处理时，在重新编码的码流中，错误扩散区域以发生错误之前的第N-1帧作为参考帧进行重新编码，阻止错误扩散。

所述错误信息处理模块发送至错误补偿模块的错误信息包括从反馈信道获得的错误信息、以及根据错误信息从缓存数据中提取的数据错误信息，其包括图像帧号、或错误宏块位置、或解码器端错误隐蔽算法。

本发明还提供一种基于上述错误恢复装置的自适应错误恢复方法，包括如下步骤：

(1)数据接收模块接收正常数据流，并对数据进行缓存；

(2)错误信息处理模块对缓存的数据进行检测，同时检测反馈信道是否存在错误信息；

(3)控制模块接收检测结果，若检测到缓存数据有错或者检测到反馈信道发送了错误信息，则进行启动错误补偿模块；

(4)控制模块指示错误信息处理模块将错误信息送至错误补偿模块，数据接收模块将缓存数据送至错误补偿模块，错误补偿模块根据错误信息及缓存数据，对待输出的下一个数据包进行错误补偿后输出。

其中，步骤(3)进一步包括：

若没有检测到缓存数据有错，而且没有检测到反馈信道发送了错误信息，则指示数据接收模块直接将缓存数据发送至下一网络节点或者终端接收设备。

步骤(4)中错误补偿模块进行错误补偿的步骤包括：

对接收的视频码流解码，然后进行重新编码，在重新编码过程中进行容错处理，所述容错处理包括I帧更新、或宏块帧内更新、或参考帧选择、或发送冗余帧。

步骤(4)中错误补偿模块进行错误补偿的步骤是在变换域对即将发送的数据码流进行错误补偿，包括如下步骤：

在得到第N帧图像出错的信息时，确定所述错误恢复装置待发送的数据帧；

根据接收的错误信息位置，采取基于象素的跟踪或者基于宏块的跟踪，对错误进行跟踪，找到待发送的数据帧的错误扩散区域；

对待发送的数据帧中错误扩散宏块区域进行跳帧转码处理，得到重新编码的码流。其中，所述对待发送的数据帧中错误扩散宏块区域进行跳帧转码处理步骤，是在重新编码的码流中，错误扩散区域以发生错误之前的第N-1帧作为参考帧进行重新编码，阻止错误扩散。

本发明还提供一种基于反馈的自适应视频通信系统，包括发送侧终端、第一、第二无线接入设备、第一、第二媒体网关、核心网、接收侧终端，发送侧终端编码无线输出数据码流，经第一无线接入设备、第一媒体网关、核心网、第二媒体网关、第二无线接入设备传输至接收侧终端，由其无线接收所述数据码流，其中：

所述无线接入设备或媒体网关中具有一个错误恢复装置，对数据流进行错误检测及错误补偿处理；

所述错误恢复装置，在发送侧终端与第一无线接入设备之间的无线连接上发生信道错误时，用于将错误信息送回发送侧终端，发送侧终端根据错误信息对即将发送的数据采取容错编码策略后编码输出，或者发送侧终端将错误数据重发至第一无线接入设备或第一媒体网关，该错误恢复装置对错误数据进行错误补偿处理后输出；

所述错误恢复装置，在接收侧终端与第二无线接入设备之间的无线连接上发生信道错误时，用于检测错误信息，对错误数据进行错误补偿后输出至接收侧终端，或者在接收侧终端检测到错误信息、将错误信息反馈至该错误恢复装之后，该错误恢复装置对数据码流进行错误补偿后输出至接收侧终端。

所述错误恢复装置包括数据接收模块、错误信息处理模块、错误补偿模块及控制模块，其中：

数据接收模块，用于接收正常数据流，并对数据进行缓存；错误信息处理模块，用于检测接收数据是否发生错误，以及检测从反馈信道获取的反馈信息是否有错误信息；控制模块，用于接收检测结果，若未发生错误也没有错误信息，则控制所述数据接收模块直接将缓存数据输出；若发生错误或者检测到错误信息，则控制所述数据接收模块将所缓存数据送至错误补偿模块，错误信息处理模块将错误信息送至错误补偿模块，启动所述错误补偿模块根据错误信息对待输出的下一个数据包进行错误补偿后输出。

所述错误补偿模块，在进行错误补偿时，是对接收的视频码流解码，然后进行重新编码，在重新编码过程中进行容错处理，所述容错处理包括I帧更新、或宏块帧内更新、或参考帧选择、或发送冗余帧；

或者，所述错误补偿模块，在进行错误补偿时，是在变换域对即将发送的数据码流进行错误补偿，在得到第N帧图像出错的信息时，确定所述错误恢复装置待发送的数据帧；根据接收的错误信息位置，采取基于象素的跟踪或者基于宏块的跟踪，对错误进行跟踪，找到待发送的数据帧的错误扩散区域；对待发送的数据帧中错误扩散宏块区域进行跳帧转码处理，得到重新编码的码流；

其中，所述错误补偿模块，进行跳帧转发处理时，在重新编码的码流中，错误扩散区域以发生错误之前的第N-1帧作为参考帧进行重新编码，阻止错误扩散；所述错误信息处理模块发送至错误补偿模块的错误信息包括从反馈信道获得的错误信息、以及根据错误信息从缓存数据中提取的数据错误信息，其包括图像帧号、或错误宏块位置、或解码器端错误隐蔽算法。

所述无线接入设备包括基站BTS和基站控制器BSC/RNC。

本发明进一步还一种基于上述自适应视频通信系统的基于反馈的自适应错误恢复方法，在邻近发送侧终端的无线连接发生信道错误时进行错误恢复，包括如下步骤：

(1)错误恢复装置检测数据码流，检测到数据出错后，利用反馈信道将错误信息发送至发送侧终端；

(2)发送侧终端根据错误信息，查找出错的数据包，并重传该数据包，并将当前待发送的下一数据帧发送至错误恢复装置；

(3)错误恢复装置对所接收的所述待发送的下一数据帧进行错误补偿处理，对由重传数据包对应的数据帧造成的错误扩散进行补偿，恢复出无错误的视频码流数据，进行输出。

步骤(1)中所述错误信息包括丢失的数据包号或数据帧号。

本发明还提供一种基于上述自适应视频通信系统的基于反馈的自适应错误恢复方法，在邻近接收侧终端的无线连接发生信道错误时进行错误恢复，包括如下步骤：

(1)接收侧终端检测到错误信息时，将信道错误信息反馈至无线接收设备或媒体网关上的错误恢复装置；

(2)错误恢复装置根据错误信息查找错误信息对应的数据，对当前待发送的数据帧进行错误补偿处理，对错误信息对应的数据帧造成的错误扩散进行补偿，恢复出无错误的视频数据码流。

其中，所述错误信息包括出错的数据包号、数据帧号、对应的图像帧号、对应的宏块号、解码器使用的错误隐蔽方法。

应用本发明提出的错误恢复装置，在包括该错误恢复装置的视频通信系统中，该错误恢复装置可以放置在不同的网络节点上，包括BTS/BSC/RNC或者媒体网关等；可以在不同的网络节点上检测或者接收视频数据错误信息，并对错误信息做出相应的处理；可以在较小的反馈时延内进行错误恢复处理，从而以最快的速度恢复视频解码端的受损图像质量；可以将需要较大计算资源的容错处理操作与终端的编码/解码分离，降低终端的计算资源需求。

附图说明

图1是典型无线视频通信系统的结构示意图；

图2是本发明实施例中的错误恢复装置的组成示意图；

图3是本发明实施例中在邻近发送端连接发生信道错误的示意图；

图4是本发明实施例中在邻近发送端连接发生信道错误时的一种错误恢复流程示意图；

图5是本发明实施例中在邻近接收端连接发生信道错误的示意图；

图6是本发明实施例中在邻近接收端连接发生信道错误时的一种错误恢复流程示意图；

图7是本发明实施例中错误恢复装置中，错误补偿模块在变换域对即将发送的码流进行错误补偿的流程示意图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细描述。

如图1所示，在典型的无线视频通信系统中，终端与BTS/BSC/RNC之间是通过无线连接传输数据，BTS/BSC/RNC之间的连接则是通过有线连接，包括核心网或者软交换网络，以及核心网上的媒体网关等网络节点设备。在进行数据传输时，无线网络发生信道错误的概率远大于有线网络。因此，在图1所示的典型无线视频通信系统中，无线连接是造成数据丢失的主要部分，例如图1中的A和B两处是最容易发生数据丢失的位置。

本发明所提供的解决方法，是在BTS/BSC/RNC或者媒体网关处引入一个新的设备——如图2所示的错误恢复装置。该错误恢复装置能够从反馈信道中获取视频图像的错误信息，并利用已经接收的正确视频码流进行错误恢复处理。

图2中，该错误恢复装置包括错误信息处理模块、数据接收模块、错误补偿模块，以及一个控制模块，其中：

错误信息处理模块，用于在接收到从反馈信道获取的错误信息后，提取出对应的视频帧错误信息，例如图像帧号、错误宏块(Macro Block)位置、解码器端错误隐蔽算法等。

数据接收模块，用于将接收的数据流进行缓存。

控制模块接收错误信息处理模块的检测结果，若反馈信息中不包含错误信息，表明解码端没有发生数据丢失，此时，可以控制数据接收模块直接将待发送数据包的输出；若检测到反馈信息中包含错误视频帧信息，表明解码端发现数据丢失，不能正常解码，此时可以启动错误补偿模块，控制数据接收模块、错误信息处理模块分别将缓存的数据、错误检测信息送至错误补偿模块，由错误补偿模块对待输出的下一个数据包进行错误补偿后输出。

错误信息处理模块，还可以检测接收到的缓存数据是否发生错误，如果检测到错误，则将控制模块启动错误补偿模块对待输出的下一个数据包进行错误补偿后输出。

错误补偿模块，根据错误信息对待输出的下一个数据包进行错误补偿后输出。

上述的数据接收、错误信息处理、错误补偿三个模块在不同条件下需要使用的功能不一样。在没有检测到错误的情况下，错误补偿模块不工作；而在检测到错误的情况下，三个模块都要工作，控制模块则协调前面三个模块之间的工作流程。

该错误恢复装置可以设置在不同的网络节点上，包括基站(BTS)、基站控制器(BSC/RNC)、媒体网关、个人计算机或者服务器。

下面以典型的单向视频电话业务为例，来解释本发明的错误恢复装置的功能和实施方法，但是并不局限于该应用。

如图1所示，终端1将接收到的视频源数据进行编码，发送到邻近的BTS/BSC/RNC1，然后由BTS/BSC/RNC1通过核心网或者软交换网络将编码数据发送到接收端邻近的BTS/BSC/RNC2，最后由终端2对从BTS/BSC/RNC2接收的数据进行解码，并显示视频图像。在数据传输的过程中，可能需要经过媒体网关进行数据格式转换或者其它数据处理操作。

由于无线连接是最有可能发生信道错误的部分，因此，本发明提出的错误恢复装置可以放置在邻近无线连接A或者无线连接B的位置。其中，在邻近无线连接A的位置是用于处理终端1的上行连接信道错误，在邻近无线连接B的位置用于处理终端2的下行连接信道错误。下面对这两种情况分别进行介绍。

在邻近发送端连接发生信道错误时，例如图3中终端1编码的视频码流在发送至BTS/BSC/RNC1时发生信道错误，部分视频码流数据不能正确到达BTS/BSC/RNC1。此时，可以在BTS/BSC/RNC1或者媒体网关1处放置错误恢复装置，错误恢复装置的错误信息处理模块可以检测接收的视频码流数据是否发生错误，并将错误信息通过反馈信道发送至终端1。再由终端1根据接收的反馈信道错误信息对即将发送的编码视频码流进行容错处理。此时，错误恢复装置的错误补偿模块不启动。

在这种情况下，上行连接信道错误被及时反馈至编码端，编码端可以在最短的反馈时延内作出相应处理。

在邻近发送端连接发生信道错误时，一种错误恢复装置的处理方法是在BTS/BSC/RNC1或者媒体网关1处进行错误检测，并将错误信息，例如丢失RTP包号或者数据帧号，送回至终端1。在终端1根据接收的RTP包号或者数据帧号找到对应的视频图像位置，然后在编码端对即将编码的图像采取容错编码策略，例如帧内更新、错误跟踪、参考帧选择、发送冗余码流等。在这种情况下，在BTS/BSC/RNC1或者媒体网关1处已经接收的错误视频码流数据将继续送到下一个网络节点或者终端，此时，这些数据在终端2不能正常解码，在解码图像上产生马赛克或者拖影等瑕疵。但是在检测到信道错误之后接收的视频码流数据，则是在终端1进行了容错处理的编码数据，能够阻止错误信息在视频图像序列上的扩散，恢复正常图像。终端1进行容错后，直接发送带有容错信息的下一帧数据，例如，如果不进行容错，发送的数据为data[N+M](表示第N+M帧数据)，容错处理后还是第N+M帧数据，但不是data[N+M]，而是data’[N+M]。

这种处理方法的优点是：能够在终端1采取有效的容错编码方法对错误信息进行处理，错误恢复能力很好，但是需要终端1有较大的缓存和较高的计算能力。

在邻近发送端连接发生信道错误时，错误恢复装置的另一种处理方法是在BTS/BSC/RNC1或者媒体网关1处进行错误检测，并将错误信息，例如丢失RTP包号或者数据帧号，送回至终端1。在终端1根据接收的RTP包号或者数据帧号将错误数据重发至BTS/BSC/RNC1或者媒体网关1。然后在BTS/BSC/RNC1或者媒体网关1处的错误恢复装置进行错误补偿处理。此时，在错误恢复装置的数据接收模块中存储的码流包括检测到信道错误之前接收到的数据包(有错视频码流)、检测到错误之后重发的错误数据包和即将发送的下一个视频数据包。参照图3、图4，此时的错误恢复处理方法，包括：

(1)错误恢复装置在接收的第N帧图像中检测到数据出错。为了不影响编码视频码流的正常传输，第N帧的错误数据仍然被发送到下一网络节点。

(2)错误恢复装置在检测到数据出错后，立即通过反馈信道将出错数据包号或者数据帧号发送到终端1。

(3)终端1根据数据包号或者数据帧号，查找对应的丢失或者错误数据，并重传该数据包。

(4)终端1将下一帧(第N+M帧)准备发送的视频图像包含的数据包或者数据帧发送到错误恢复装置。

(5)错误恢复装置在接收到重传数据时，已经发送了第N+M-1帧图像包含的所有数据包。下一帧准备发送的图像是第N+M帧。

(6)错误恢复装置对第N+M帧图像进行错误补偿处理，对由第N帧图像数据出错造成的错误扩散进行补偿，恢复出无错误的视频码流数据。

其中，终端重发第N帧的出错数据时，一并发送第N+M帧到错误恢复装置，在错误恢复装置对第N+M帧进行错误补偿后输出该帧，而在第N+M帧之前的数据则不必纠错，而仅保证之后的数据能构得到纠错，从而达到阻止第N帧错误扩散的目的。发送端重发时，只要将第N帧的出错数据发送给错误恢复装置就可以而不必进行容错处理，此时错误恢复装置的错误补偿模块需要启动。

这种错误恢复方法的优点在于：

(1)终端1与错误恢复装置之间的反馈时间很短，可以对信道错误作出快速反应，发送冗余数据或者错误修复数据；

(2)生成冗余数据或者错误修复数据不会影响终端1的正常编码流程，因此，不会给终端造成太大的计算压力，此时并没有进行实质性的容错编码；

(3)真正的容错编码，即需要较大计算资源的部分，放在错误恢复装置处进行处理；

(4)错误恢复装置发送的错误补偿后数据已经把所有或者大部分由于信道错误引起的错误扩散阻止，而且不会影响后续编码码流的正常解码。

在邻近接收端连接发生错误时，例如图5中终端2在接收从BTS/BSC/RNC2发送的编码视频码流时发生信道错误，部分视频码流数据不能正确到达终端2。此时可以在BTS/BSC/RNC2或者媒体网关2处放置错误恢复装置，错误恢复装置的错误信息接收模块可以接收从反馈信道获取解码端错误信息，并在该装置所在位置进行错误恢复处理。

在邻近接收端连接发生信道错误时，一种错误恢复装置的处理方法是：

在终端2处进行错误检测，将检测到的信道错误信息，例如受损数据包、受损图像帧号、受损宏块位置等，反馈至BTS/BSC/RNC2或者媒体网关2处的错误恢复装置；然后，在BTS/BSC/RNC2或者媒体网关2处的错误恢复装置处对码流数据进行错误补偿处理。

此时，在错误恢复装置的数据接收模块中存储的码流包括检测到信道错误之前接收到的数据包(正确接收的视频码流)和即将发送的下一个视频数据包。

如图6所示，此时的错误恢复处理方法，包括：

(1)终端2在进行解码时检测到第N帧图像的数据出错。为了不影响视频码流的正常播放，第N帧图像的错误数据仍然被解码显示。

(2)终端2在检测到第N帧图像出错后，立即将出错信息通过反馈信道发送到错误恢复装置，错误信息包括出错的数据包号、数据帧号、对应的图像帧号、对应的宏块号、解码器使用的错误隐蔽方法等。

(3)错误恢复装置在接收到反馈信息时，已经发送了第N+M-1帧图像的所有数据包或者数据帧。下一帧准备发送的图像是第N+M帧。

(4)错误恢复装置根据反馈的出错信息，查找对应的丢失或者错误数据。

(5)错误恢复装置对第N+M帧图像进行错误补偿处理，对由第N帧图像数据出错造成的错误扩散进行补偿，恢复出无错误的视频码流数据。

这种错误恢复方法的优点在于：

(1)终端2与错误恢复装置之间的反馈时间很短，可以对信道错误作出快速反应，将错误信息反馈到错误恢复装置；

(2)终端2的解码过程不受到信道错误的影响，如有需要可以对发生错误的第N帧图像进行错误隐蔽后处理，在接收到第N+M帧图像的码流时，由于第N帧图像出错造成的错误扩散会被阻止；

(3)错误补偿处理，即需要较大计算资源的部分，放在错误恢复装置处进行处理；

(4)错误恢复装置发送的错误补偿后数据已经把所有或者大部分由于信道错误引起的错误扩散阻止，而且不会影响后续编码码流的正常解码；

错误恢复装置中的错误补偿模块的一种常见方法，是对接收的视频码流解码，然后进行重新编码。在重新编码过程中进行容错处理，例如I帧更新、宏块帧内更新、参考帧选择、发送冗余帧等。但是这种重新编码方法需要实时保持对接收码流的解码处理，占用大量的计算资源。

错误恢复装置中的错误补偿模块的另外一种实施方法，是不进行重新编码操作，而是在变换域对即将发送的码流进行错误补偿。

下面结合图7说明该方法的实施步骤：

(1)错误恢复装置得到第N帧图像出错的信息(第N帧中的阴影部分)，其中第N帧图像为预测编码帧，它会造成错误在已经发送的第N+1帧图像扩散(第N+1帧中的半阴影部分)。错误恢复装置准备发送的是第N+2帧图像。

(2)根据接收的错误信息位置，对错误进行跟踪，错误跟踪方法可以采取基于象素的跟踪或者基于宏块的跟踪，找到第N+2帧图像错误扩散区域(第N+2帧中半阴影部分)。

(3)对第N+2帧图像中错误扩散宏块区域进行跳帧转码处理，得到重新编码的码流。在重新编码的码流中，错误扩散区域不再以第N+1帧的图像作为参考帧，而是以第N-1帧作为参考帧，从而可以阻止错误扩散。

但是，由于系统是RTP实时系统，从第N帧开始出错，直到第N+M帧为止，其间的错误帧不能恢复。

视频通信过程中的信道错误是造成终端解码的视频图像下降的主要原因，对于无线信道而言信道错误更加严重，在出错时的解码图像质量退化更加严重。

本发明针对视频通信过程中由于信道错误引起的数据丢失或者受损造成的解码图像质量下降问题，提出了一种错误恢复装置。该错误恢复装置可以放置在不同的网络节点上，包括BTS/BSC/RNC或者媒体网关等。该错误恢复装置可以在不同的网络节点上检测或者接收视频数据错误信息，并对错误信息做出相应的处理。该错误恢复装置可以在较小的反馈时延内进行错误恢复处理，从而以最快的速度恢复视频解码端的受损图像质量。该错误恢复装置及方法可以将需要较大计算资源的容错处理操作与终端的编码/解码分离，降低终端的计算资源需求。

Claims (14)

1.一种基于反馈的自适应错误恢复装置，其特征在于，包括数据接收模块、错误信息处理模块、错误补偿模块及控制模块，其中：

所述数据接收模块，用于接收正常数据流，并对数据进行缓存；

所述错误信息处理模块，用于检测接收数据是否发生错误，以及检测从反馈信道获取的反馈信息是否有错误信息；

所述控制模块，用于接收检测结果，若未发生错误也没有检测到错误信息，则控制所述数据接收模块直接将缓存数据输出；若发生错误或者检测到错误信息，则控制所述数据接收模块将所缓存数据送至所述错误补偿模块，所述错误信息处理模块将错误信息送至所述错误补偿模块，启动所述错误补偿模块根据所述错误信息对待输出的下一个数据包进行错误补偿后输出；

其中，所述错误补偿模块，进行错误补偿时是对接收的视频码流解码，然后进行重新编码，在重新编码过程中进行容错处理，所述容错处理包括I帧更新、或宏块帧内更新、或参考帧选择、或发送冗余帧；或者

所述错误补偿模块，进行错误补偿时是在变换域对即将发送的数据码流进行错误补偿，在得到第N帧图像出错的信息时，确定所述错误恢复装置待发送的数据帧；根据接收的错误信息位置，采取基于象素的跟踪或者基于宏块的跟踪，对错误进行跟踪，找到待发送的数据帧的错误扩散区域；对待发送的数据帧中错误扩散宏块区域进行跳帧转码处理，得到重新编码的码流。

2.如权利要求1所述的自适应错误恢复装置，其特征在于，所述错误补偿模块，进行跳帧转发处理时，在重新编码的码流中，错误扩散区域以发生错误之前的第N-1帧作为参考帧进行重新编码，阻止错误扩散。

3.如权利要求1所述的自适应错误恢复装置，其特征在于，所述错误信息处理模块发送至错误补偿模块的错误信息包括从反馈信道获得的错误信息、以及根据错误信息从缓存数据中提取的数据错误信息，其包括图像帧号、或错误宏块位置、或解码器端错误隐蔽算法。

4.一种基于权利要求1所述自适应错误恢复装置的自适应错误恢复方法，其特征在于，包括如下步骤：

(1)数据接收模块接收正常数据流，并对数据进行缓存；

(2)错误信息处理模块对缓存的数据进行检测，同时检测反馈信道是否存在错误信息；

(3)控制模块接收检测结果，若检测到缓存数据有错或者检测到反馈信道发送了错误信息，则进行启动错误补偿模块；

(4)控制模块指示错误信息处理模块将错误信息送至错误补偿模块，数据接收模块将缓存数据送至错误补偿模块，错误补偿模块根据错误信息及缓存数据，对待输出的下一个数据包进行错误补偿后输出；

步骤(4)中错误补偿模块进行错误补偿的步骤包括：

对接收的视频码流解码，然后进行重新编码，在重新编码过程中进行容错处理，所述容错处理包括I帧更新、或宏块帧内更新、或参考帧选择、或发送冗余帧；或者

步骤(4)中错误补偿模块进行错误补偿的步骤是在变换域对即将发送的数据码流进行错误补偿，包括：在得到第N帧图像出错的信息时，确定所述错误恢复装置待发送的数据帧；根据接收的错误信息位置，采取基于象素的跟踪或者基于宏块的跟踪，对错误进行跟踪，找到待发送的数据帧的错误扩散区域；对待发送的数据帧中错误扩散宏块区域进行跳帧转码处理，得到重新编码的码流。

5.如权利要求4所述的自适应错误恢复方法，其特征在于，步骤(3)进一步包括：

若没有检测到缓存数据有错，而且没有检测到反馈信道发送了错误信息，则指示数据接收模块直接将缓存数据发送至下一网络节点或者终端接收设备。

6.如权利要求4所述的自适应错误恢复方法，其特征在于，所述对待发送的数据帧中错误扩散宏块区域进行跳帧转码处理步骤，是在重新编码的码流中，错误扩散区域以发生错误之前的第N-1帧作为参考帧进行重新编码，阻止错误扩散。

7.一种基于反馈的自适应视频通信系统，包括发送侧终端、第一无线接入设备、第二无线接入设备、第一媒体网关、第二媒体网关、核心网、接收侧终端，发送侧终端编码无线输出数据码流，经第一无线接入设备、第一媒体网关、核心网、第二媒体网关、第二无线接入设备传输至接收侧终端，由其无线接收所述数据码流，其特征在于：

所述第一无线接入设备、第二无线接入设备或第一媒体网关、第二媒体网关中具有一个错误恢复装置，对数据流进行错误检测及错误补偿处理；

所述错误恢复装置，在发送侧终端与第一无线接入设备之间的无线连接上发生信道错误时，用于将错误信息送回发送侧终端，发送侧终端根据错误信息对即将发送的数据采取容错编码策略后编码输出，或者发送侧终端将错误数据重发至第一无线接入设备或第一媒体网关，该错误恢复装置对错误数据进行错误补偿处理后输出；

所述错误恢复装置，在接收侧终端与第二无线接入设备之间的无线连接上发生信道错误时，用于检测错误信息，对错误数据进行错误补偿后输出至接收侧终端，或者在接收侧终端检测到错误信息、将错误信息反馈至该错误恢复装置之后，该错误恢复装置对数据码流进行错误补偿后输出至接收侧终端。

8.如权利要求7所述的系统，其特征在于，所述错误恢复装置包括数据接收模块、错误信息处理模块、错误补偿模块及控制模块，其中：

数据接收模块，用于接收正常数据流，并对数据进行缓存；错误信息处理模块，用于检测接收数据是否发生错误，以及检测从反馈信道获取的反馈信息是否有错误信息；控制模块，用于接收检测结果，若未发生错误也没有错误信息，则控制所述数据接收模块直接将缓存数据输出；若发生错误或者检测到错误信息，则控制所述数据接收模块将所缓存数据送至错误补偿模块，错误信息处理模块将错误信息送至错误补偿模块，启动所述错误补偿模块根据错误信息对待输出的下一个数据包进行错误补偿后输出。

9.如权利要求7所述的系统，其特征在于：

所述错误补偿模块，在进行错误补偿时，是对接收的视频码流解码，然后进行重新编码，在重新编码过程中进行容错处理，所述容错处理包括I帧更新、或宏块帧内更新、或参考帧选择、或发送冗余帧；

或者，所述错误补偿模块，在进行错误补偿时，是在变换域对即将发送的数据码流进行错误补偿，在得到第N帧图像出错的信息时，确定所述错误恢复装置待发送的数据帧；根据接收的错误信息位置，采取基于象素的跟踪或者基于宏块的跟踪，对错误进行跟踪，找到待发送的数据帧的错误扩散区域；对待发送的数据帧中错误扩散宏块区域进行跳帧转码处理，得到重新编码的码流；

其中，所述错误补偿模块，进行跳帧转发处理时，在重新编码的码流中，错误扩散区域以发生错误之前的第N-1帧作为参考帧进行重新编码，阻止错误扩散；所述错误信息处理模块发送至错误补偿模块的错误信息包括从反馈信道获得的错误信息、以及根据错误信息从缓存数据中提取的数据错误信息，其包括图像帧号、或错误宏块位置、或解码器端错误隐蔽算法。

10.如权利要求7所述的系统，其特征在于，所述无线接入设备包括基站BTS和基站控制器BSC/RNC。

11.一种基于权利要求7所述自适应视频通信系统的基于反馈的自适应错误恢复方法，在邻近发送侧终端的无线连接发生信道错误时进行错误恢复，其特征在于，包括如下步骤：

(1)错误恢复装置检测数据码流，检测到数据出错后，利用反馈信道将错误信息发送至发送侧终端；

(2)发送侧终端根据错误信息，查找出错的数据包，并重传该数据包，并将当前待发送的下一数据帧发送至错误恢复装置；

(3)错误恢复装置对所接收的所述待发送的下一数据帧进行错误补偿处理，对由重传数据包对应的数据帧造成的错误扩散进行补偿，恢复出无错误的视频码流数据，进行输出。

12.如权利要求11所述的方法，其特征在于：

步骤(1)中所述错误信息包括丢失的数据包号或数据帧号。

13.一种基于权利要求7所述自适应视频通信系统的基于反馈的自适应错误恢复方法，在邻近接收侧终端的无线连接发生信道错误时进行错误恢复，其特征在于，包括如下步骤：

(1)接收侧终端检测到错误信息时，将信道错误信息反馈至无线接收设备或媒体网关上的错误恢复装置；

(2)错误恢复装置根据错误信息查找错误信息对应的数据，对当前待发送的数据帧进行错误补偿处理，对错误信息对应的数据帧造成的错误扩散进行补偿，恢复出无错误的视频数据码流。

14.如权利要求13所述的错误恢复方法，其特征在于，所述错误信息包括出错的数据包号、数据帧号、对应的图像帧号、对应的宏块号、解码器使用的错误隐蔽方法。

Images