CN101321284B - 一种编解码方法、设备及系统 - Google Patents

Abstract

本发明公开了一种编码方法，该方法包括：对I帧进行编码，获得第一重构图像；对I帧至恢复点之间的参考图像进行编码，获得第二重构图像；对所述第二重构图像进行刷新，获得第一重建图像，其中，刷新后获得的所述第一重建图像与所述I帧图像之前的图像内容无关；以所述第一重构图像和/或第一重建图像作为参考图像，对恢复点的对应帧进行编码。对应的，本发明同时公开一种解码方法，以及一种编码器、解码器和图像处理系统。采用本发明可以提高多参考图像随机访问的灵活性和编码效率。

Description

一种编解码方法、设备及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种编解码方法、设备及系统。 

背景技术

视频图像压缩编码是当前非常活跃的一个研究领域。在过去的近20年当中，视频压缩编码技术得到不断发展，新的视频压缩编码标准也不断涌现。1991年MPEG组织制定的MPEG-1标准，面向VCD存储光盘的应用，在中国市场上取得了巨大的成功；1994年MPEG和ITU联合制定的MPEG-2标准，面向数字电视广播和DVD激光视盘的应用，该标准是目前在数字视频广播和激光视盘领域应用最为广泛、最为成熟、影响最为深远的视频压缩标准；之后，MPEG推出了面向对象的新一代视频压缩编码标准MPEG-4，ITU推出了面向视频会议、视频通信的标准H.263以及其后续版本包括H.263+和H.263++。目前最新的视频压缩编码标准主要有ITU/MPEG联合制定的H.264/AVC标准、微软公司制定的VC-1标准，前者已经于2005年3月由ISO/IEC/ITU标准组织颁布为国际标准，后者则于2006年4月由SMPTE标准组织颁布。视频压缩编码技术的发展趋势：追求更高的编码压缩效率、更好的网络兼容性、更好的用户体验和更广泛的应用领域。 

为了获得较高的编码压缩效率，目前各种视频压缩编码技术力求去除图像内和图像间的各种冗余信息，包括时间、空间、统计和人眼视觉等方面的冗余。比如，H.264标准中，采用了多种技术来提高编码效率，包括完全可逆的整数变换、多参考图像预测、多模式的帧内预测、变块大小运动补偿、1/8像素插值、去块效应的环路滤波、高效的熵编码等一系列技术。 

其中，在多参考图像预测技术中，涉及帧内编码图像、帧间编码图像和图 组(GOP，Group of Picture)。帧内编码图像由图像本身即可完成编码，不需要其他图像作参考。帧内编码图像可以利用帧内预测技术进行编码。例如，I帧就是一种帧内编码图像。帧间编码图像是利用帧间预测技术进行编码的图像，需要根据参考图像对本图像进行预测编码。帧间编码图像有两种类型：前向预测编码图像和双向预测编码图像。双向预测编码图像是指在前向和后向两个方向上都进行帧间预测编码的图像。在前向和后向两个方向上的参考图像数目可以是单个也可以是多个。例如，P帧是一种前向预测编码图像，B帧是一种双向预测编码图像。图组是指一个或多个编码图像的组合，由一个帧内编码图像和该帧内编码图像之后的多个帧间编码图像组成。图组头可用于辅助随机访问和编辑。 

参考图像是指被帧间编码图像用作参考的图像。帧间编码图像需要有参考图像才能进行帧间预测编码，同样在解码端对帧间编码图像的解码也需要参考图像。参考图像也被称为关键图像。参考图像可以是帧内编码图像，如I帧，也可以是帧间编码图像，如P帧，但不能为B帧。 

非参考图像是指不被其他图像用作参考的图像。在某些应用中可以被丢弃，可应用于支持时间轴上的可伸缩性。这里非参考图像是指双向预测编码图像，即B帧。 

在采用多参考图像预测技术时，随机访问可能引起参考图像丢失。 

随机访问是指从除比特流起始点之外的某一点开始，对比特流解码并恢复出解码图像的能力。随机访问可以分为两种，一种是立即随机访问，从码流切入点开始就可以正确解码；另一种是逐渐随机访问，从码流切入点开始到可以正确解码，需要一个过程。随机访问直接与用户的体验相关。随机访问的需求主要包括节目换台、码流切换、编辑和拼接、节目回放的随机定位、快进快退等。不同的业务对随机访问性能的要求不同，比如，对于广播业务，DVB标准规定每隔0.5s要出现一个随机访问切入点；对于视频通信、视频会议、PPV(Pay Per View)等业务对随机访问性能的要求较低。为了支持随机访问，视 频码流需要有一定的冗余信息，因此，随机访问的性能和编码效率是矛盾的关系，如何在两者之间进行权衡，是视频编码标准必须要考虑的一个重要问题。 

在多参考图像情况下，由于P帧可以跨过I帧参考I帧之前的图像，若I帧之前的图像出错，将导致I帧起不到完全阻止误差扩散的作用。另外，在I帧发生随机访问时，由于访问点之前的图像不可得，而帧间编码图像将参考访问点之前的图像，因此将导致切入点之后的图像不可解码的问题。 

当然，参考图像丢失还有另一些可能的原因，例如，对码流作了编辑处理，如进行了剪切、拼接等操作。由于在剪切点之前的所有参考图像不可得或者图像内容发生了变化，将可能引起后续图像不可解码或导致解码错误的问题。又如，在传输过程中，也可能发生参考图像丢失，如在有误码信道上的传输过程中，由于突发错误或累积错误的影响，将导致图像不可正确解码。 

为了保证编码效率，有效阻止参考图像丢失引起的误差扩散，在H.264标准中，提出了两种解决方法： 

一、引入IDR图像。IDR图像为一种新的图像类型，为帧内编码图像，IDR图像之后的图像不使用IDR之前的图像作参考，从IDR图像开始，后续图像均可以正确解码。视频序列的第一个图像应为IDR图像，IDR图像可以作为一个随机访问切入点。但是，发明人在实现本发明的过程中发现该方法存在如下不足： 

随机访问只能发生在IDR边界，而IDR图像可以被认为是一种特殊的I帧，也就是说，随机访问并不能以每一个I帧作为切入点，即随机访问不能发生在图组的边界，因此，该方法丧失了随机访问的灵活性。另一方面，由于IDR图像之后的图像不使用IDR之前的图像作参考，而随机访问切入点处的IDR图像之后的图像无法充分利用多参考图像技术，因此将导致编码效率降低。 

二、引入基于隔离区域的GDR(Gradual decoding refresh)技术，基于隔离区域，并采用帧内宏块刷新技术，可以支持多参考图像情况下的随机访问，随机访问的进入点可以是P、B帧。但是，发明人在实现本发明的过程中发现该方法存在如下不足

首先，随机访问虽然可以从帧间预测图像进入，但随机访问切入点实际上是在编码端生成码流时就已经被固定设置，并且不是每一个P、B帧都可以作为随机访问切入点，因此，利用GDR技术进行随机访问的灵活性仍然不高。其次，由于限制使用隔离区域和帧内宏块，对编码工具如环路滤波、帧内帧间预测甚至扫描都作了较多的限制，造成了编码效率下降。相对于IDR技术，该方法将损失更多的编码增益。再次，隔离区域的引入，增加了实现复杂度，需要描述隔离区域的形状，增长率等信息。 

在视频编解码标准AVS，也采用了多参考图像技术，允许前向参考2帧。并利用序列头Sequence header对后续图像的参考特性作出限制，即限制序列头后第一个I帧后的第一个P帧的预测参考特性，以实现随机访问。但是，发明人在实现本发明的过程中，发现上述方法存在如下不足： 

随机访问机制只能发生在序列头sequence header边界，并不能以每一个I帧作为切入点，即随机访问不能发生在图组的边界，因此，该方法的随机访问灵活性也不高。另一方面，由于在序列头sequence header内部，允许P帧跨过I帧参考前面的帧，因此将出现随机访问时误差扩散的情况。并且，由于限制序列头后的I帧后第一个P帧的预测参考特性，导致了编码效率的降低。 

发明内容

本发明实施例提供一种编解码方法、设备及系统，用以提高多参考图像随机访问的灵活性。 

本发明实施例提供一种编码方法，该方法包括步骤： 

对I帧图像进行编码，获得第一重构图像； 

对I帧图像至恢复点之间的参考图像进行编码，获得第二重构图像； 

对所述第二重构图像进行刷新，获得第一重建图像，其中，刷新后获得的所述第一重建图像与所述I帧图像之前的图像内容无关； 

以所述第一重构图像和/或第一重建图像作为参考图像，对恢复点的对应图像进行编码。 

本发明实施例还提供一种解码方法，该方法包括步骤： 

对I帧图像进行解码，获得第一解码图像； 

对I帧图像至恢复点之间的参考图像进行解码，获得第二解码图像； 

对所述第二解码图像进行刷新，获得第二重建图像，其中，刷新后获得的所述第二重建图像与所述I帧图像之前的图像内容无关； 

以所述第一解码图像和/或第二重建图像作为参考图像，对恢复点的对应图像进行解码。 

本发明实施例还提供一种编码器，包括： 

第一编码模块，用于对I帧图像进行编码，获得第一重构图像； 

第二编码模块，用于对I帧图像至恢复点之间的参考图像进行编码，获得第二重构图像； 

第一刷新模块，用于对所述第二重构图像进行刷新，获得第一重建图像，其中，刷新后获得的所述第一重建图像与所述I帧图像之前的图像内容无关； 

第三编码模块，用于以所述第一重构图像和/或第一重建图像作为参考图像，对恢复点的对应图像进行编码。 

本发明实施例还提供一种解码器，包括： 

第一解码模块，用于对I帧图像进行解码，获得第一解码图像； 

第二解码模块，用于对I帧图像至恢复点之间的参考图像进行解码，获得第二解码图像； 

第二刷新模块，用于对所述第二解码图像进行刷新，获得第二重建图像，其中，刷新后获得的所述第二重建图像与所述I帧图像之前的图像内容无关； 

第三解码模块，用于以所述第一解码图像和/或第二重建图像作为参考图像，对恢复点的对应图像进行解码。 

本发明实施例还提供一种图像处理系统，包括： 

编码器，用于对I帧图像进行编码，获得第一重构图像；对I帧图像至恢复点之间的参考图像进行编码，获得第二重构图像；对所述第二重构图像进行刷新，获得第一重建图像；以所述第一重构图像和/或第一重建图像作为参考图像，对恢复点的对应图像进行编码； 

解码器，用于对I帧图像进行解码，获得第一解码图像；对I帧图像至恢复点之间的参考图像进行确码，获得第二解码图像；对所述第二解码图像进行刷新，获得第二重建图像；以所述第一解码图像和/或第二重建图像作为参考图像，对恢复点的对应图像进行解码； 

其中，刷新后获得的所述第一重建图像与所述I帧图像之前的图像内容无关，以及，刷新后获得的所述第二重建图像与所述I帧图像之前的图像内容无关。 

本发明实施例中，在编码端，对I帧图像进行编码，获得第一重构图像；对I帧图像至恢复点之间的参考图像进行编码，获得第二重构图像；对所述第二重构图像进行刷新，获得第一重建图像；以所述第一重构图像和/或第一重建图像作为参考图像，对恢复点的对应图像进行编码；对应的，在解码端，对I帧图像进行码，获得第一解码图像；对I帧图像至恢复点之间的参考图像进行解码，获得第二解码图像；对所述第二解码图像进行刷新，获得第二重建图像；以所述第一解码图像和/或第二重建图像作为参考图像，对恢复点的对应图像进行解码。由于在解码过程中，对第二解码图像进行了刷新处理获得第二重建图像，并以第二重建图像进行显示，这样，即使发生了参考帧丢失，也总是能在解码端得到第二重建图像，因此保证了在多参考图像随机访问时，能够以每一个I帧作为随机访问切入点进行随机访问，大大提高了多参考图像随机访问的灵活性。 

附图说明

图1、图2为本发明实施例中编码的处理流程图； 

图3为本发明实施例中编码的具体实例的处理流程图； 

图4、图5为本发明实施例中解码的处理流程图； 

图6、图7为本发明实施例中解码的具体实例的处理流程图； 

图8为本发明实施例中编码端刷新处理涉及的缓冲区管理示意图； 

图9为本发明实施例中刷新处理在编码框架中的位置示意图； 

图10A、图10B为本发明实施例中编码器的结构示意图； 

图11为本发明实施例中解码端刷新处理涉及的缓冲区管理示意图； 

图12A、图12B为本发明实施例中解码器的结构示意图； 

图13为本发明实施例中图像处理系统的结构示意图。 

具体实施方式

本发明实施例中，在编码端，对I帧图像进行编码，获得第一重构图像；对I帧图像至恢复点之间的参考图像进行编码，获得第二重构图像；对第二重构图像进行刷新，获得第一重建图像；以第一重构图像和/或第一重建图像作为参考图像，对恢复点的对应图像进行编码；对应的，在解码端，对I帧图像进行解码，获得第一解码图像；对I帧图像至恢复点之间的参考图像进行解码，获得第二解码图像；对第二解码图像进行刷新，获得第二重建图像；以第一解码图像和/或第二重建图像作为参考图像，对恢复点的对应图像进行解码。由于在解码过程中，对第二解码图像进行了刷新处理获得第二重建图像，并以第二重建图像进行显示，这样，即使发生了参考帧丢失，也总是能在解码端得到第二重建图像，因此保证了在多参考图像随机访问时，能够以每一个I帧作为随机访问切入点进行随机访问，大大提高了多参考图像随机访问的灵活性。 

其中，随机访问切入点是指从该点开始进行随机访问，解码端开始解码，但解码图像并不一定正确；恢复点是指从该点开始，解码端可以完全正确解码，解码图像与编码端的编码图像完全一致。 

重构图像是指在编码端对各图像进行编码重构获得的图像，解码图像是指在解码端对各图像进行解码获得的图像，重建图像是指在编码端对重构图像进行刷新获得的图像或在解码端对解码图像进行刷新获得的图像。刷新是指在编码端，对重构图像进行处理，使获得的重建图像与随机访问切入点之前的图像内容无关；在解码端，对解码图像进行处理，使获得的重建图像与随机访问切入点之前的图像内容无关。需要说明的是，刷新处理可以利用随机访问点之前图像的某些特定信息，比如图像头中携带的信息，这些信息可以在码流中重复传输，以助于解码端能够正确获得重建图像。为了正确地解码出图像，编码端 与解码端的刷新处理技术应当保持一致。另外，对帧间预测图像而言，在编码端都需要进行编码，在解码端都需要进行解码，获得重构图像或解码图像，也可以进行刷新处理，如对P帧、B帧的重构图像或解码图像进行刷新处理，获得重建图像，但在对恢复点的对应帧进行编码时，只参考参考图像的重建图像，如P帧对应的第一重建图像，当然，也可以参考I帧对应的第一重构图像，但不参考B帧对应的重建图像。 

刷新处理可以分别在块、宏块、条带和图像各个层次进行，取决于对恢复图像质量的要求以及实现复杂度的考虑。 

例如，进行图像级的刷新处理。简单地以前一幅图像作为恢复的图像，或者以灰度图像(Y＝128，Cr＝128，Cb＝128)来作为恢复的图像。 

又如，进行宏块/块级的刷新处理。待刷新处理的图像中，有部分宏块/块直接或间接参考了随机访问切入点之前的图像。对于这部分宏块/块，可以用多种方法来处理，以便在参考图像丢失的情况下重建这些宏块/块。可以采用多种方式进行宏块/块级的刷新，例如，进行简单地替换，如替换为特定象素值(比如灰度值Y＝128，Cr＝128，Cb＝128)，该方法等同于把丢失的参考图像默认为灰度图像，或者替换为前一幅图像相应位置的宏块/块；又如，采用运动矢量缩放的方法进行刷新，在解码端，对运动矢量进行缩放，以指向随机访问切入点处的I帧，或者指向P帧的重建图像。进行缩放后，就可以得到当前宏块/块的预测值。预测值加上相应的残差值，从而完成图像重建。该方法的一个前提条件是假设运动是匀速的；又如，采用帧内预测的方法进行刷新，根据当前帧周围宏块信息，重建这些由于缺乏参考图像而无法正确解码的宏块/块。需要指出的是，由于刷新处理可在图像解码之后进行处理，因此，这里的帧内预测方法可以充分利用当前宏块四周的信息，而不必局限于上边和左边相邻块的信息。 

本发明实施例中，一种编码流程如图1所示，包括； 

步骤100、对I帧进行编码，获得第一重构图像。

步骤101、对I帧至恢复点之间的参考图像进行编码，获得第二重构图像。 

步骤102、对第二重构图像进行刷新，获得第一重建图像。 

步骤103、以第一重构图像和/或第一重建图像作为参考图像，对恢复点的对应帧进行编码。对恢复点而言，其参考图像可以只包括第一重构图像，也可以只包括第一重建图像，还可以包括第一重构图像和第一重建图像，具体取决于参考图像的数目和恢复点的位置。 

由于第一重构图像与第一重建图像与随机访问切入点之前的图像无关，因此，利用第一重构图像与第一重建图像作为参考图像，用于后续图像的编码，可以阻止由于随机访问参考图像丢失引起的误差传递。 

一个实施例中，在进行编码时，引入参考缓冲区和刷新缓冲区，例如，参考缓冲区和刷新缓冲区均作为FIFO(先进先出)缓冲区。将第一重构图像和第二重构图像存入第一参考缓冲区，将第一重构图像和第一重建图像存入第一刷新缓冲区，其中，刷新缓冲区的大小可以进行优化，以节约存储开销。刷新缓冲区中的图像内容大部分与参考缓冲区的内容相同，只有一小部分不同。刷新缓冲区可以只存储这不同的部分，而无需存储参考缓冲区相同的部分，从而提高缓冲区的利用率。在对恢复点的对应图像进行编码时，先用第一刷新缓冲区中的图像替换第一参考缓冲区中的图像，再以第一参考缓冲区中的图像作为参考图像进行编码，其处理流程如图2所示，包括： 

步骤200、对I帧进行编码，获得第一重构图像。 

步骤201、将第一重构图像存入第一参考缓冲区和第一刷新缓冲区。 

步骤202、对I帧至恢复点之间的参考图像进行编码，获得第二重构图像。 

步骤203、将第二重构图像存入第一参考缓冲区。 

步骤204、对第二重构图像进行刷新，获得第一重建图像。 

步骤205、将第一重建图像存入第一刷新缓冲区。 

步骤206、在对恢复点的对应帧进行编码前，用第一刷新缓冲区中的图像替换第一参考缓冲区中的图像。

步骤207、以第一参考缓冲区中的图像作为参考图像，对恢复点的对应帧进行编码。 

由于刷新缓冲区中的图像，与随机访问切入点之前的图像无关，因此，利用第一刷新缓冲区中的图像替换第一参考缓冲区中的图像，并作为参考图像用于后续图像的编码，可以阻止由于随机访问参考图像丢失引起的误差传递。 

一个具体实例如下： 

选定图组结构：...，IB1B2P1B3B4P2B5B6P3...PnB2n+1B2n+2Pn+1...Pm...，IB1B2P1B3B4P2B5B6P3，...，并设定参考图像数目为n个(指P、B帧允许的参考图像数目)，定义第一个I帧为随机访问进入点，Pm为恢复点。 

从随机访问切入点I帧开始，直到Pm帧(不包括)，按照参考n帧进行正常编码。在每个参考图像完成编码后，其重构图像放入第一参考缓冲区，其中I帧的第一重构图像也放入第一刷新缓冲区。然后，对I帧与Pm帧之间的第二重构图像做刷新处理，使得刷新后的图像与I帧之前的图像无关，刷新处理后的第二重建图像保存到第一刷新缓冲区中。编码过程如图3所示，包括： 

步骤300、I帧独立编码，获得的第一重构图像进入第一参考缓冲区和刷新缓冲区。 

步骤301、从P1帧开始直到Pm帧(不包括)之间所有P图像，对其编码后的第二重构图像做刷新处理，使得刷新后的图像与I帧之前的图像无关，刷新后的第一重建图像保存到第一刷新缓冲区。具体的，从P1帧开始直到Pn帧(不包括)之间所有P图像，对其重构图像做刷新处理，使得刷新后的图像与I帧之前的图像无关，刷新后的重建图像保存到第一刷新缓冲区。从Pn帧到Pm帧(不包括)之间所有P图像，对其重构图像进行刷新处理后，生成的重建图像放入第一刷新缓冲区。由于此时第一刷新缓冲区已满，第一刷新缓冲区中最早的图像被移出。对于Pm帧及其后续的P图像，无需做刷新处理，无需放入第一刷新缓冲区。 

步骤302、Pm帧的编码。在进行编码之前，利用第一刷新缓冲区中的图 像替换第一参考缓冲区中的图像。然后，按照参考n帧对Pm进行编码，其重构图像放入第一参考缓冲区。由于此时第一参考缓冲区中的第一重构图像和第一重建图像与I帧之前的图像无关，因此，生成的Pm编码图像与I帧之前的图像无关。这样保证Pm帧总是可以在解码端被正确解码。Pm的后续帧直到GOP结束，按照参考n帧进行正常编码。由于当前第一参考缓冲区中的图像与I帧之前的帧无关，因此这些帧与I帧之前的图像无关，总是可以在解码端正确解码。至此，完成整个GOP的编码。 

概括而言，对随机访问切入点处的I帧与恢复点Pm之间的图像编码获得的第二重构图像，需要进行刷新处理，获得第一重建图像，放入刷新缓冲区；刷新处理和编码是两个独立的过程，仅在恢复点Pm处，利用刷新缓冲区中的图像替换参考缓冲区中的图像，用于Pm及其后续图像的编码。 

如表1所示，为编码端各帧图像的刷新处理过程，以IBBP图组结构、GOP长度为15为例进行说明。编码过程不做改动，始终以参考缓冲区作为参考进行编码。编码过程生成的重构图像放入参考缓冲区；刷新处理过程生成的重建图像放入刷新缓冲区，B图像的重建图像不进入刷新缓冲区。仅在恢复点(以P3为例)到达时，用刷新缓冲区的内容替换参考缓冲区，然后进行恢复点及其后续图像的编码。从恢复点开始直到下一个随机访问点，不做刷新处理。 

表1 

恢复点与其对应的随机访问切入点可以位于同一个图组(例如表1所示)；恢复点与其对应的随机访问切入点也可以位于不同的图组，如表2所示，为恢复点与其对应的随机访问切入点不在同一个图组的情况下，各帧图像的刷新处理过程，仍以IBBP图组结构、GOP长度为12为例，恢复点在下一个图组内(恢复点1对应于随机访问切入点1)： 

表2 

在编码过程中，刷新处理技术并不要求编码端做任何附加的限制，例如，对于1/4插值、环路滤波无需限制。因为这些模块在刷新处理过程之后，不会造成影响。又如，对于Intra块(帧内编码块)而言，由于随机访问引起参考图像丢失，有部分宏块/块会直接参考这些丢失的参考图像，需要刷新处理。除此之外，还有一些intra块也可能受到参考图像丢失的影响。当intra块的周围有需要刷新的块时，这些intra块仍可能会受到丢失的参考图像的影响。而这些intra宏块也有可能被后续图像参考，因此，仍有可能会引起误差扩散。可以采用的解决方法是，对于这些intra块，如同那些参考了I帧之前帧的宏块一样，也进行刷新处理。但实际上，这种特殊的intra块数量不多，并且由于Intra块导致的误差扩散传递关系较弱，对后续图像的影响较小，即使不进行刷新也可以获得满意的效果。 

在整个编码过程中，无需对参考图像的数目或预测参考特性作限制，可以有较高的编码效率。与参考多图像正常编码的情况作比较，刷新处理技术生成的码流，从I帧开始直到恢复点，没有引入任何限制，可以获得最高的编码效率；从恢复点开始的后续图像，由于直接或间接参考了刷新缓冲区中的图像，因此编码效率有所下降。可见，恢复点位置的选择会影响编码效率。可以根据编码效率设置恢复点的位置。

具体的，对于恢复点位置的选择，可分以下几种情况来讨论(以IP1P2P3P4图组结构为例，以参考2帧为例，进行说明)： 

一、恢复点定在随机访问切入点I帧后的第一个P帧，此时刷新缓冲区中仅有I帧的重构图像，I帧之前的图像并不进入刷新缓冲区。这种情况相当于限制随机访问切入点后的P帧只有一个参考图像的情况。(实际上，编码效率比限制参考一个参考图像时要高。因为，另外一个参考图像可以初始化为某一特定图像，比如灰度图像，这个特定图像也有可能被I帧后的P帧参考)。 

二、恢复点定在随机访问切入点I帧后的第二个P帧。此时，第一个P帧仍可参考两个图像进行正常编码，保持最高编码效率。第一个P帧的重构图像进行刷新处理后生成重建图像，放入刷新缓冲区。此时刷新缓冲区中有I帧的重构图像和第一个P帧的刷新重建图像。由于第一个P帧的刷新重建图像质量稍差，影响第二个P帧及其后续图像的编码效率。这是编码效率损失最大的情况。 

三、恢复点定在下一个随机访问切入点之前的最后一个P帧。此时，该P帧之前的所有图像都可以保持最高的编码效率，但该P帧本身仍存在编码效率下降的问题。这种情况相比于情况二，可以改善编码效率的下降问题。 

四、恢复点定在下一个随机访问切入点I帧后的第一个P帧，此时刷新缓冲区中有下一个随机访问切入点处I帧的重构图像，以及下一个随机访问切入点之前的最后一个P帧的重建图像。因此，与参考2帧的正常编码情况相比，从下一个随机访问切入点I帧后的第一个P帧开始，编码效率均有所下降。但与在随机访问切入点处限制参考一个参考图像的情况(即情况一)相比，所有帧间编码图像的编码效率均可以提升，因为，相比于情况一，相当于把灰度图象替换为P帧的重建图像，改善了图像质量，从而进一步提高编码效率。因此，这种情况的编码效率较高。 

五、恢复点定在下n个(n为大于1的正整数)随机访问切入点I帧后的第一个P帧，此时刷新缓冲区中有I帧的重构图像，以及下n个随机访问切入 点之前的最后一个P帧的重建图像(该P帧的重建图像，在经过多个I帧的不断刷新，图像质量可以大为改善)。由于恢复点的出现频率要比随机访问切入点少的多，因此，与情况四相比，可以进一步提高编码效率。 

六、如果恢复点定义得足够远，以至于，该恢复点之前的那个P帧的重建图像与重构图像完全一致(因为，经过多个I帧的不断刷新之后，重建图像的质量会越来越接近重构图像)，将不会引起编码效率的损失。这种情况相当于参考2帧的正常编码情况，有最高的编码效率。 

七、考虑一种特殊情况，如果恢复点定义在无穷远处，也就是说不出现恢复点，那么，在编码端，刷新处理不影响编码过程；在解码端，刷新处理实际上成为视频后处理的范畴。这种情况，可以不用修改现有视频编码标准，并且仍能实现在参考2帧情况下的随机访问，每个I帧都可以作为随机访问切入点进入。 

综上，恢复点可以灵活设定，实现在编码效率和快速恢复正确解码过程之间灵活折中。 

在具体应用中，恢复点的位置可以由编码端与解码端预先协议确定，这样，编码端就无需在发送给解码端的数据帧中指明恢复点的具体位置，解码端根据预先的协议可以确定出恢复点的具体位置。也可以是由编码端在发送给解码端的数据帧中指明恢复点的具体位置，例如：在随机切入点I帧中携带标识信息(如一个具体的数字)指明在该I帧后的第几个P帧为其对应的恢复点。 

本发明实施例中，一种解码流程如图4所示，包括； 

步骤400、对I帧进行解码，获得第一解码图像。 

步骤401、对I帧至恢复点之间的参考图像进行解码，获得第二解码图像。 

步骤402、对第二解码图像进行刷新，获得第二重建图像。 

步骤403、以第一解码图像和/或第二重建图像作为参考图像，对恢复点的对应帧进行解码。对恢复点而言，其参考图像可以只包括第一解码图像，也可以只包括第二重建图像，还可以包括第一解码图像和第二重建图像，具体取决 于参考图像的数目和恢复点的位置。 

由于第一解码图像与第二重建图像与随机访问切入点之前的图像无关，因此，利用第一解码图像与第二重建图像作为参考图像，用于后续图像的解码，可以阻止由于随机访问参考图像丢失引起的误差传递。 

一个实施例中，在进行解码时，也引入参考缓冲区和刷新缓冲区，例如，参考缓冲区和刷新缓冲区均作为FIFO(先进先出)缓冲区。将第一解码图像和第二解码图像存入第二参考缓冲区，将第一解码图像和第二重建图像存入第二刷新缓冲区，其中，在对恢复点的对应帧进行解码时，先将第二参考缓冲区中的图像替换为第二刷新缓冲区中的图像，再以第二参考缓冲区中的图像作为参考图像进行解码，其处理流程如图5所示，包括： 

步骤500、对I帧进行解码，获得第一解码图像。 

步骤501、将第一解码图像存入第二参考缓冲区和第二刷新缓冲区。 

步骤502、对I帧至恢复点之间的参考图像进行解码，获得第二解码图像。 

步骤503、将第二解码图像存入第二参考缓冲区。 

步骤504、对第二解码图像进行刷新，获得第二重建图像。 

步骤505、将第二重建图像存入第二刷新缓冲区。 

步骤506、在对恢复点的对应帧进行解码前，将第二参考缓冲区中的图像替换为第二刷新缓冲区中的图像。 

步骤507、以第二参考缓冲区中的图像作为参考图像，对恢复点的对应帧进行解码。 

由于刷新缓冲区中的图像，与随机访问切入点之前的图像无关，因此，利用第二刷新缓冲区中的图像替换第二参考缓冲区中的图像，并作为参考图像用于后续图像的解码，可以阻止由于随机访问参考图像丢失引起的误差传递。 

仍以图3所示的图组结构为例，从随机访问切入点I帧开始，直到Pm帧(不包括)，按照参考n帧进行正常解码。在每个参考图像完成解码后，其解码图像放入第二参考缓冲区，其中I帧的第一解码图像也放入第二刷新缓冲区。 然后，对I帧与Pm帧之间的第二解码图像做刷新处理，使得刷新后的图像与I帧之前的图像无关，刷新处理后的第二重建图像保存到第二刷新缓冲区中。解码过程分两种情况，一种是正常连续解码，此时参考图像总是可以获得。另一种是发生随机访问时的解码，此时参考图像发生丢失。 

一个实施例中，正常连续解码的处理流程如图6所示，包括： 

步骤600、I帧独立解码，获得的第一解码图像进入参考缓冲区和刷新缓冲区。 

步骤601、从P1帧开始直到Pm帧(不包括)之间所有P图像，正常解码和显示，对其解码后的第二解码图像做刷新处理，使得刷新后的图像与I帧之前的图像无关，刷新后的第二重建图像保存到第二刷新缓冲区。第二刷新缓冲区的更新处理过程与编码端相同，采用的刷新处理技术与编码端相同。 

步骤602、Pm帧的解码。在进行解码之前，利用第二刷新缓冲区中的图像替换第二参考缓冲区中的图像。然后，按照参考n帧对Pm进行解码，其解码图像放入参考缓冲区，解码图像无需进行刷新，无需放入刷新缓冲区。由于此时参考缓冲区中的第一解码图像和第二重建图像与I帧之前的图像无关，因此，生成的Pm解码图像与I帧之前的图像无关。这样保证Pm帧总是可以在解码端被正确解码。Pm的后续帧直到GOP结束，按照参考n帧进行正常解码和显示，解码图像无需进行刷新，无需放入刷新缓冲区。由于当前参考缓冲区中的图像与I帧之前的帧无关，因此这些帧与I帧之前的图像无关，可以被正确解码。至此，完成整个GOP的解码。 

一个实施例中，发生随机访问时的处理流程如图7所示，包括： 

步骤700、对于随机访问切入点处的I帧，正常解码和显示，解码后的第一解码图像同时放入第二参考缓冲区和第二刷新缓冲区。 

步骤701、从B1B2帧开始直到Pn-1帧，由于参考了I帧之前的图像，有部分宏块/块不能正确解码，对于这些宏块/块，需要进行图像重建。采用与编码端完全一致的刷新处理技术，生成重建图像，放入显示缓冲区用以显示。重 建图像放入第二参考缓冲区和第二刷新缓冲区。 

步骤702、Pn帧直至Pm帧(不包括)图像，按照参考n帧进行解码和显示。解码后的解码图像放入第二参考缓冲区，对解码图像进行刷新，获得重建图像，放入第二刷新缓冲区，同时放入显示缓冲区用以显示。 

由于这些图像解码时以重建图像作为参考图像，这些重建图像与编码端所用的参考图像有所差别，因此，他们的解码图像并不完全正确。 

步骤703、Pm直至GOP结束，按照参考n帧进行常解码并显示。解码后的图像放入第二参考缓冲区和第二刷新缓冲区； 

从Pm帧解码开始，第二参考缓冲区的图像与编码端所用到的参考图像一致，因此，这些图像可以完全正确解码。解码图像与编码端的重构图像完全一致。至此，完成整个GOP的解码。 

由上述解码过程可知，发生随机访问时，从随机访问切入点I帧开始解码，虽然后续图像解码缺少参考图像，但解码器并不需要丢弃这些图像，可以采用刷新技术来重建图像，重建图像可被显示，从而提高用户的主观体验。这些重建的图像质量取决于采用的具体刷新处理技术。而从恢复点Pm开始，解码图像是完全正确的，从而阻止参考图像丢失引起的误差传递。 

可见，解码端的处理包括两个过程：一个是随机访问时解码过程；另一个是连续正常解码过程。与编码端对应，恢复点与其对应的随机访问切入点可以位于同一个图组，也可以位于不同的图组，与表2所示编码端的刷新处理过程对应，以IBBP图组结构、GOP长度为12为例，恢复点在下一个图组内(恢复点1对应于随机访问切入点1)，涉及的解码和刷新具体处理过程如表3所示： 

表3 

下面以数字视频广播中的随机访问为例，对本发明实施例的编解码方法作具体说明： 

数字视频广播中常用的GOP结构，IBBP1BBP2BBP3BB，GOP长度为12帧。该GOP的结构在视频编码标准AVS、H.264都适用，下面以AVS标准为例进行说明。设定参考图像数目为2，随机访问周期0.5s，恢复周期0.5s。每个I帧都可以作为随机访问切入点，恢复点指定为I帧后的第一个P帧。

编码器按参考2帧进行正常编码，重构图像放入第一参考缓冲区；同时对参考图像(I，P)的重构图像进行刷新处理，生成重建图像。具体处理过程如下： 

对于I帧，正常编码，重构图像放入第一参考缓冲区，无需刷新处理，放入第一刷新缓冲区；此时，第一刷新缓冲区中还存有上一个GOP的最后一个P帧的刷新重建图像。 

对于第一组BB帧，正常编码(以第一参考缓冲区作为参考)。 

对于第一个P帧，即P1，在进行编码之前，利用第一刷新缓冲区中的图像替换第一参考缓冲区的内容，然后按照参考2帧进行编码，其重构图像放入第一参考缓冲区，用于后续图像的编码。接着，对于P1的重构图像进行刷新处理，可以采用前面提到的刷新技术，比如运动矢量缩放、帧内预测或者简单的替换等技术。刷新处理后生成的重建图像放入第一刷新缓冲区。 

对于第二组BB帧，正常编码(以第一参考缓冲区作为参考)。 

对于第二个P图像，即P2，以第一参考缓冲区作为参考进行正常编码，生成的重构图像放入第一参考缓冲区。同时，利用第一刷新缓冲区对该重构图像进行刷新处理，生成的重建图像放入第一刷新缓冲区。 

对于第三组BB帧，正常编码(以第一参考缓冲区作为参考)。 

对于第三个P3帧，与P2一样进行类似处理。以第一参考缓冲区作为参考进行正常编码，生成的重构图像放入第一参考缓冲区。同时，利用第一刷新缓冲区对该重构图像进行刷新处理，生成的重建图像放入第一刷新缓冲区。注意，此时该刷新重建图像将会作为下一个GOP第一个P帧的参考图像。对P1、P2、P3作刷新处理以更新第一刷新缓冲区内的图像，为后续替换第一参考缓冲区内的图像作准备。 

对于第四组BB帧，正常编码(以第一参考缓冲区作为参考)。 

至此完成整个GOP的编码。 

解码端连续正常解码时的处理过程如下： 

对于I帧，正常解码，解码图像放入第二参考缓冲区，无需刷新处理，放 入第二刷新缓冲区；此时，第二参考缓冲区和第二刷新缓冲区中还分别存有上一个GOP的最后一个P帧的重构图像和刷新重建图像。 

对于第一组BB帧，正常解码(以第二参考缓冲区作为参考)。由于第二参考缓冲区中的内容与编码时完全一致，因此BB帧完全正确解码。 

对于第一个P帧，即P1，在进行解码之前，利用第二刷新缓冲区中的图像替换第二参考缓冲区，然后按照参考2帧进行解码，其解码图像放入第二参考缓冲区，用于后续图像的解码。之后，对P1的解码图像进行刷新处理，采用与编码端相同的刷新技术，刷新处理后生成的重建图像放入第二刷新缓冲区。由于解码P1时第二参考缓冲区中的内容与编码时完全一致，因此该P1帧完全正确解码。需要指出的是，此时，第二参考缓冲区和第二刷新缓冲区中的内容是不同的，第二参考缓冲区中的P1的解码图像与I帧之前的图像有关，而第二刷新缓冲区中的P1的重建图像与I帧之前的图像无关。 

对于第二组BB帧，正常解码(以第二参考缓冲区作为参考)。 

对于第二个P图像，即P2，以第二参考缓冲区作为参考进行正常解码，生成的解码图像放入第二参考缓冲区。同时，利用第二刷新缓冲区对该解码图像进行刷新处理，生成的重建图像放入第二刷新缓冲区。所采用的刷新技术与编码端相同。 

对于第三组BB帧，正常解码(以第二参考缓冲区作为参考)。 

对于第三个P3帧，与P2一样进行处理。以第二参考缓冲区作为参考进行正常解码，生成的解码图像放入第二参考缓冲区。同时，利用第二刷新缓冲区对该解码图像进行刷新处理，生成的重建图像放入第二刷新缓冲区。注意，此时该刷新重建图像将会作为下一个GOP第一个P帧的参考图像。 

对于第四组BB帧，正常解码(以第二参考缓冲区作为参考)。 

至此完成整个GOP的解码。 

可见，在整个解码过程中，由于参考缓冲区中的内容始终与编码时完全一致，因此所有图像均可完全正确解码。

解码端发生随机访问时的处理过程如下： 

随机访问从I帧进入，但从下一个GOP的恢复点开始完全正确解码。从随机访问切入点到恢复点之间的参考图像均采用刷新技术进行刷新处理，直到恢复点完全恢复正确解码。随机访问解码过程中使用刷新处理技术的目的，一方面刷新重建图像可用于显示，改善随机访问时的主观体验，另一方面，得到当前GOP的最后一个P帧的刷新重建图像，以作为下一个GOP/恢复点的参考图像。完成随机访问解码过程之后，进入连续正常解码过程。 

具体的，对于随机访问切入点处的I帧，正常解码，解码图像放入第二参考缓冲区和第二刷新缓冲区，此时，第二参考缓冲区和第二刷新缓冲区中仅有I帧的重构图像。I帧的解码图像放入显示缓冲区。 

对于第一组BB帧，由于缺少参考图像，可能无法正确解码。可以丢弃，也可以利用相应的刷新技术，比如运动矢量缩放、帧内预测、简单的替换等技术，进行刷新处理。经过刷新处理后的重建图像放入显示缓冲区，可用于显示。 

对于第一个P帧，即P1，由于缺少参考图像，可能无法正确解码。此时需要采用与编码端相同的刷新技术，刷新处理后生成的重建图像放入第二参考缓冲区和第二刷新缓冲区。刷新重建的图像，可用于显示。 

对于第二组BB帧，并不缺少参考图像，进行解码。解码图像可用于显示。 

对于第二个P图像，即P2，并不缺少参考图像，进行解码。生成的解码图像放入第二参考缓冲区和第二刷新缓冲区。解码图像可用于显示。 

对于第三组BB帧，并不缺少参考图像，进行解码。解码图像可用于显示。 

对于第三个P3帧，与P2一样进行处理。以第二参考缓冲区作为参考进行正常解码，生成的解码图像放入第二参考缓冲区和第二刷新缓冲区。注意，此时该刷新重建图像将会作为下一个GOP第一个P帧的参考图像。 

对于第四组BB帧，正常解码(以第二参考缓冲区作为参考)。 

至此完成整个GOP的解码。 

对于下一个GOP的解码，将按照连续正常解码过程进行。

可见，发生随机访问时，对于随机访问切入点后的第一个P帧和第一组BB帧，由于解码端缺乏参考图像而无法正确解码，故需要进行刷新处理，以重建图像。P1帧重建之后，放入参考缓冲区和刷新缓冲区，用于后续图像的解码。从P1帧开始到下一个恢复点之间的所有图像的解码，均不缺少参考图像，可以解码，尽管解码图像质量稍差，但这部分解码图像可用于显示，以改善用户的主观体验。从下一个GOP或恢复点开始，所有图像均可正确解码，解码图像与编码端的重构图像完全一致。 

上述具体实例中，通过利用刷新技术，实现了在不限制参考图像数目或预测特性的情况下进行快速随机访问，允许任何一个I帧均可作为随机访问切入点，随机访问机制灵活，同时，比限制参考图像数目或参考特性的做法具有更高的编码效率，可以节约传输信道带宽。 

另外，在压缩码流的编辑、拼接，以及码流播放和视频点播中的快进快退也涉及到随机访问的问题。基于刷新技术生成的压缩码流，可以更好的支持这些应用。 

支持刷新技术编码器生成的压缩码流，可以使得每个I帧都成为随机访问切入点，无论对于压缩码流的编辑、拼接还是播放控制中的快进快退，可以做到以I帧为进入点进行相应操作。 

以限制参考图像数目或预测参考特性的做法相比，刷新技术的采用，提高了编辑或码流播放的灵活性；同时由于在编码时无需引进任何附加限制，保持高的编码压缩效率，可以节约存储空间。 

本发明实施例方法也可以应用于差错恢复、丢帧恢复的处理中，在视频传输过程中，由于信道误差积累或突发误差的影响，可能引起丢包甚至丢帧，这对于基于多参考图像压缩码流，将会带来严重的问题。发生丢帧时，解码器由于缺少参考图像无法进行正确解码，这部分图像往往被丢弃，这会影响用户的主观体验；更严重的是，由于多参考图像技术的采用，I帧并不能完全阻止误差传递，参考图像丢失会持续影响后续的解码图像，并且无法预知什么时候能 够恢复正确解码。 

采用刷新处理技术，可以有效阻止丢帧引起的误差扩散。可以从丢帧的下一个I帧开始，重建缺少参考图像的解码图像，这些重建图像可以用于显示，以改善用户的主观体验，同时，在遇到下一个恢复点时，丢帧引起的误差扩散被完全阻止，解码器可以恢复完全正确解码。 

另外，在流媒体传输应用中，采用码流切换技术，以适应网络带宽的变化。基于刷新技术生成的码流，每一个I帧都可以作为随机访问切入点，因此码流切换可以在每一个I帧进行，而无需在特定的随机访问切入点进行，从而提高了码流切换的灵活性。同时，由于并不需要限制参考图像数目或预测参考特性，使得编码效率更高，可以节约网络带宽。 

在多视编码MVC中的各个视之间进行切换时，可以在每个I帧而不仅仅是IDR帧，进行各个视之间的切换，提高了切换的灵活性。 

刷新技术可以作为视频后处理技术来应用，直接支持现有的标准如AVS、H.264等。 

普通编码器，不限制参考图像数目或预测特性，生成压缩码流，应具有最高的编码效率，但却给压缩码流的随机访问带来了问题。由于多参考图像技术的采用，后续帧间编码不像会直接或间接的参考随机访问切入点之前的图像，因此发生随机访问引起参考图像丢失时，后续帧间编码图像都会直接或间接的受到影响，这种影响会持续传递下去。 

实际上，这种参考图像丢失引起的误差传递不会无限制持续下去。因为码流中的帧内预测图像I帧的存在，可以对这些误差传递进行部分阻止。经过足够多个I帧的不断刷新，总可以使得由于参考图像丢失引起的误差传递被完全被阻止，从而恢复正确解码。但这个过程可能需要很长的时间，并且无法人为控制。而另一方面随机访问切入点出的解码图像质量较差，影响用户的主观体验。 

利用刷新技术，在发生随机访问时，可以加快恢复正确解码过程，并且可 改善图像质量，提高用户主观体验。从随机访问切入点后的I帧开始进行刷新处理，重建缺乏参考图像丢解码图像，这部分图像可以马上显示，以改善用户的主观体验。同时，刷新重建的图像，比较接近原始图像，可用于后续解码图像的参考，有助于加快恢复正确解码的过程。 

基于同一发明构思，本发明实施例还提供一种编码器，刷新时涉及的缓冲区管理如图8所示，即在编码端，增加了刷新处理，以及存放刷新处理后重建图像的刷新缓冲区。对重构图像进行刷新处理，生成的重建图像进入刷新缓冲区。注意，仅有参考图像(I，P)刷新处理后生成的重建图像，才会放到刷新缓冲区中。当指定恢复点到达时，以刷新缓冲区的内容替换参考缓冲区，然后进行恢复点图像及其后续图像的编码。具体的，刷新处理在编码框架中的位置如图9所示，其中，刷新处理位于编码环路当中的环路滤波模块之前。刷新处理可以在图像级也可在宏块级进行，但必须在当前帧/宏块解码后，下一帧解码前进行。刷新处理放在帧内预测环内，因此，在刷新处理过程中，对当前经过刷新的解码块会影响下一个解码块的刷新(但不影响下一个块的编码)。需要指出的是，刷新过程与编码过程相对独立，仅在恢复点到达时，用刷新缓冲区覆盖参考缓冲区。 

一个实施例中，编码器的结构如图10A所示，包括：第一编码模块1000、第二编码模块1001、第一刷新模块1002、第三编码模块1003；其中，第一编码模块1000，用于以I帧作为随机访问切入点，对I帧进行编码，获得第一重构图像；第二编码模块1001，用于对I帧至恢复点之间的参考图像进行编码，获得第二重构图像；第一刷新模块1002，用于对第二重构图像进行刷新，获得第一重建图像；第三编码模块1003，用于以第一重构图像和/或第一重建图像作为参考图像，对恢复点的对应帧进行编码。 

如图10B所示，图10A所示的编码器还可以包括第一参考缓冲区1004、第一刷新缓冲区1005、第一替换模块1006：其中，第一参考缓冲区1004，用于存储第一重构图像和第二重构图像；第一刷新缓冲区1005，用于存储第一重 构图像和第一重建图像；第一编码模块1000进一步用于在获得第一重构图像后，将第一重构图像存入第一参考缓冲区1004和第一刷新缓冲区1005；第二编码模块1001进一步用于在获得第二重构图像后，将第二重构图像存入第一参考缓冲区1004；第一刷新模块1002进一步用于在获得第一重建图像后，将第一重建图像存入第一刷新缓冲区1005；第一替换模块1006，用于将第一参考缓冲区1004中的图像替换为第一刷新缓冲区1005中的图像；第三编码模块1003进一步用于以第一参考缓冲区1004中的图像作为参考图像，对恢复点的对应帧进行编码。 

基于同一发明构思，本发明实施例还提供一种解码器，刷新时涉及的缓冲区管理如图11所示，即在解码端，增加了刷新处理和刷新缓冲区。解码图像在放入参考缓冲区之前，需要进行刷新处理。仅对参考图像(I，P)的解码图像进行刷新处理后生成的重建图像，才会放到刷新缓冲区中。当指定恢复点到达时，以刷新缓冲区的内容替换参考缓冲区，然后进行恢复点图像及其后续图像的解码。 

一个实施例中，解码器的结构如图12A所示，包括：第一解码模块1200、第二解码模块1201、第二刷新模块1202、第三解码模块1203；其中，第一解码模块1200，用于以I帧作为随机访问切入点，对I帧进行解码，获得第一解码图像；第二解码模块1201，用于对I帧至恢复点之间的参考图像进行解码，获得第二解码图像；第二刷新模块1202，用于对第二解码图像进行刷新，获得第二重建图像；第三解码模块1203，用于以第一解码图像和/或第二重建图像作为参考图像，对恢复点的对应帧进行解码。 

如图12B所示，图12A所示的编码器还可以包括第二参考缓冲区1204、第二刷新缓冲区1205、第二替换模块1206：其中，第二参考缓冲区1204，用于存储第一解码图像和第二解码图像；第二刷新缓冲区1205，用于存储第一解码图像和第二重建图像；第一解码模块1200进一步用于在获得第一解码图像后，将第一解码图像存入第二参考缓冲区1204和第二刷新缓冲区1205；第二 解码模块1201进一步用于在获得第二解码图像后，将第二解码图像存入第二参考缓冲区1204；第二刷新模块1202进一步用于在获得第二重建图像后，将第二重建图像存入第二刷新缓冲区1205；第二替换模块1206，用于将第二参考缓冲区1204中的图像替换为第二刷新缓冲区1205中的图像；第三解码模块1203进一步用于以第二参考缓冲区1204中的图像作为参考图像，对恢复点的对应帧进行解码。 

基于同一发明构思，本发明实施例中还提供一种图像处理系统，该系统的结构如图13所示，包括编码器1300和解码器1301；其中，编码器1300，用于以I帧作为随机访问切入点，对I帧进行编码，获得第一重构图像；对I帧至恢复点之间的参考图像进行编码，获得第二重构图像；对第二重构图像进行刷新，获得第一重建图像；以第一重构图像和/或第一重建图像作为参考图像，对恢复点的对应帧进行编码；解码器1301，用于以I帧作为随机访问切入点，对I帧进行解码，获得第一解码图像；对I帧至恢复点之间的参考图像进行解码，获得第二解码图像；对第二解码图像进行刷新，获得第二重建图像；以第一解码图像和/或第二重建图像作为参考图像，对恢复点的对应帧进行解码。 

本领域普通技术人员可以理解上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。 

本发明实施例中，在编码端，以I帧作为随机访问切入点，对I帧进行编码，获得第一重构图像；对I帧至恢复点之间的参考图像进行编码，获得第二重构图像；对第二重构图像进行刷新，获得第一重建图像；以第一重构图像和第一重建图像作为参考图像，对恢复点的对应帧进行编码；对应的，在解码端，以I帧作为随机访问切入点，对I帧进行解码，获得第一解码图像；对I帧至恢复点之间的参考图像进行解码，获得第二解码图像；对第二解码图像进行刷新，获得第二重建图像；以第一解码图像和第二重建图像作为参考图像，对恢复点的对应帧进行解码，由于在解码过程中，对第二解码图像进行了刷新处理 获得第二重建图像，并以第二重建图像进行显示，这样，即使发生了参考帧丢失，也总是在解码端能得到第二重建图像，因此保证了在多参考图像随机访问时，能够以每一个I帧作为随机访问切入点进行随机访问，大大提高了多参考图像随机访问的灵活性，允许随机访问和编辑发生在GOP边界，而不是序列或IDR边界。即使在多参考图像的情况下，允许随机访问从任何一个I帧切入。可以在压缩码流的每一个I帧处进行随机访问、编辑、拼接、快进快退，而无需去定位所谓的随机访问切入点。 

另外，本发明实施例方法充分利用了多参考图像技术，保持高的编码效率。利用刷新技术，在编码端，无需限制参考图像的数目或预测特性，以获得高的编码效率。基于刷新技术的随机访问方法与现有标准中的随机访问方法相比，具有更高的编码效率。如H.264中采用IDR作为随机访问切入点，AVS中利用序列头作为随机访问切入点，两者都对参考预测特性作出了限制，一定程度上牺牲了编码效率。 

本发明实施例方法还具体良好的抗误码能力，有效阻止误差传递。在多参考图像情况下，即使发生参考图像丢失，可以利用刷新技术恢复完全正确解码。 

本发明实施例中还可以灵活设定恢复点，从而提供在编码效率和恢复正确解码时间之间的灵活折中。 

本发明实施例中还可以改善随机访问切入点附近的图像质量，增强用户主观体验。利用刷新处理技术，重建缺乏参考图像的图像，避免解码器一味地丢弃无法正确解码的图像，重建的图像可以被显示，从而在发生随机访问时增强用户的主观体验。 

本发明实施例方法与现有标准具有好的兼容性。一方面，对于经过刷新处理的码流，即使对于普通解码器，仍然能够解码，只是从恢复点开始到下一个随机访问切入点之间的解码图像质量有所下降，而恢复点之前的解码图图像质量完全与编码端的重构图像一致。另一方面，刷新技术可以作为后处理技术来应用，能够加快解码器恢复正确解码的过程。此时，刷新技术不需要编码端支 持，无须改动现有标准。 

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (18)

1.一种编码方法，其特征在于，该方法包括步骤：

对I帧图像进行编码，获得第一重构图像；

对I帧图像至恢复点之间的参考图像进行编码，获得第二重构图像；

对所述第二重构图像进行刷新，获得第一重建图像，其中，刷新后获得的所述第一重建图像与所述I帧图像之前的图像内容无关；

以所述第一重构图像和/或第一重建图像作为参考图像，对恢复点的对应图像进行编码。

2.如权利要求1所述的方法，其特征在于，将所述第一重构图像和第二重构图像存入第一参考缓冲区，将所述第一重构图像和第一重建图像存入第一刷新缓冲区，在对恢复点的对应图像进行编码时，先用第一刷新缓冲区中的图像替换第一参考缓冲区中的图像，再以第一参考缓冲区中的图像作为参考图像进行编码。

3.如权利要求1所述的方法，其特征在于，所述刷新包括替换、运动矢量缩放、帧内预测补偿、帧间预测补偿其中之一或任意组合。

4.如权利要求1所述的方法，其特征在于，所述恢复点的对应图像为P帧图像或I帧图像。

5.如权利要求1所述的方法，其特征在于，根据编码效率设置所述恢复点的位置。

6.如权利要求1所述的方法，其特征在于，所述恢复点与其对应的随机访问切入点位于同一个图组；或者，所述恢复点与其对应的随机访问切入点位于不同的图组。

7.如权利要求1所述的方法，其特征在于，在环路滤波之前，对所述第二重构图像进行刷新，获得所述第一重建图像。

8.一种解码方法，其特征在于，该方法包括步骤：

对I帧图像进行解码，获得第一解码图像；

对I帧图像至恢复点之间的参考图像进行解码，获得第二解码图像；

对所述第二解码图像进行刷新，获得第二重建图像，其中，刷新后获得的所述第二重建图像与所述I帧图像之前的图像内容无关；

以所述第一解码图像和/或第二重建图像作为参考图像，对恢复点的对应图像进行解码。

9.如权利要求8所述的方法，其特征在于，将所述第一解码图像和第二解码图像存入第二参考缓冲区，将所述第一解码图像和第二重建图像存入第二刷新缓冲区，在对恢复点的对应帧进行解码前，先用第二刷新缓冲区中的图像替换第二参考缓冲区中的图像，恢复点的对应图像以第二参考缓冲区中的图像作为参考图像进行解码。

10.如权利要求8所述的方法，其特征在于，当所述I帧图像为随机切入点时，对该I帧至恢复点之间的各帧进行解码，并对解码获得的图像进行刷新，以刷新后的图像进行显示。

11.如权利要求8所述的方法，其特征在于，所述刷新采用与编码端对应的替换、运动矢量缩放、帧内预测补偿、帧间预测补偿其中之一或任意组合；使得解码端获得的所述第二重建图像与编码端相同。

12.如权利要求8所述的方法，其特征在于，所述恢复点的对应图像为P帧图像或I帧图像。

13.如权利要求8所述的方法，其特征在于，所述恢复点的位置根据编码端与解码端的协议确定，或由编码端通知给解码端。

14.一种编码器，其特征在于，包括：

第一编码模块，用于对I帧图像进行编码，获得第一重构图像；

第二编码模块，用于对I帧图像至恢复点之间的参考图像进行编码，获得第二重构图像；

第一刷新模块，用于对所述第二重构图像进行刷新，获得第一重建图像，其中，刷新后获得的所述第一重建图像与所述I帧图像之前的图像内容无关；

第三编码模块，用于以所述第一重构图像和/或第一重建图像作为参考图像，对恢复点的对应图像进行编码。

15.如权利要求14所述的编码器，其特征在于，所述编码器还包括：

第一参考缓冲区，用于存储所述第一重构图像和第二重构图像；

第一刷新缓冲区，用于存储所述第一重构图像和第一重建图像；

所述第一编码模块进一步用于在获得所述第一重构图像后，将所述第一重构图像存入所述第一参考缓冲区和第一刷新缓冲区；

所述第二编码模块进一步用于在获得所述第二重构图像后，将所述第二重构图像存入所述第一参考缓冲区；

所述第一刷新模块进一步用于在获得所述第一重建图像后，将所述第一重建图像存入所述第一刷新缓冲区；

第一替换模块，用于将所述第一刷新缓冲区中的图像替换所述第一参考缓冲区中的图像；

所述第三编码模块进一步用于以所述第一参考缓冲区中的图像作为参考图像，对恢复点的对应图像进行编码。

16.一种解码器，其特征在于，包括：

第一解码模块，用于对I帧图像进行解码，获得第一解码图像；

第二解码模块，用于对I帧图像至恢复点之间的参考图像进行解码，获得第二解码图像；

第二刷新模块，用于对所述第二解码图像进行刷新，获得第二重建图像，其中，刷新后获得的所述第二重建图像与所述I帧图像之前的图像内容无关；

第三解码模块，用于以所述第一解码图像和/或第二重建图像作为参考图像，对恢复点的对应图像进行解码。

17.如权利要求16所述的解码器，其特征在于，包括：所述解码器还包括：

第二参考缓冲区，用于存储所述第一解码图像和第二解码图像；

第二刷新缓冲区，用于存储所述第一解码图像和第二重建图像；

所述第一解码模块进一步用于在获得所述第一解码图像后，将所述第一解码图像存入所述第二参考缓冲区和第二刷新缓冲区；

所述第二解码模块进一步用于在获得所述第二解码图像后，将所述第二解码图像存入所述第二参考缓冲区；

所述第二刷新模块进一步用于在获得所述第二重建图像后，将所述第二重建图像存入所述第二刷新缓冲区；

第二替换模块，用于将所述第二刷新缓冲区中的图像替换所述第二参考缓冲区中的图像；

所述第三解码模块进一步用于以所述第二参考缓冲区中的图像作为参考图像，对恢复点的对应图像进行解码。

18.一种图像处理系统，其特征在于，包括：

编码器，用于对I帧图像进行编码，获得第一重构图像；对I帧图像至恢复点之间的参考图像进行编码，获得第二重构图像；对所述第二重构图像进行刷新，获得第一重建图像；以所述第一重构图像和/或第一重建图像作为参考图像，对恢复点的对应图像进行编码；

解码器，用于对I帧图像进行解码，获得第一解码图像；对I帧图像至恢复点之间的参考图像进行解码，获得第二解码图像；对所述第二解码图像进行刷新，获得第二重建图像；以所述第一解码图像和/或第二重建图像作为参考图像，对恢复点的对应图像进行解码；

其中，刷新后获得的所述第一重建图像与所述I帧图像之前的图像内容无关，以及，刷新后获得的所述第二重建图像与所述I帧图像之前的图像内容无关。

Images