CN103152576B - 一种适用于组播抗丢包的视频编码及解码装置 - Google Patents

Abstract

本发明提供一种视频编码装置及对应的解码装置，其中编码装置包括：编码控制模块，用于确定视频帧类型，视频帧类型包括I帧、P帧以及增强P帧；帧内编码模块，用于对一个GOP组中的I帧进行编码，然后将该I帧保存为参考I帧；帧间编码模块，用在视频帧类型为P帧时根据参考P帧或者参考I帧对该视频帧进行帧间编码，并相应更新参考P帧；或者用于根据编码控制模块的通知，在视频帧类型为增强P帧时，根据所述参考I帧进行帧间编码以生成增强P帧，并相应更新参考P帧。本发明能够有效地解决现有技术中一个GOP组发生丢包而导致图像无法正确接收解码的问题，在优选的方式中还可以进一步保证I帧的传输。

Description

一种适用于组播抗丢包的视频编码及解码装置

技术领域

本发明涉及监控视频编解码领域，尤其涉及一种适用于组播抗丢包的视频编码及解码装置。

背景技术

随着标准化且易扩展的网络技术和视频编解码技术的不断发展，基于IP网络的智能视频监控技术得到快速发展，视频编解码标准像H.264、MPEG4凭借出色的编码效率而被众多安防厂家采用，同时针对如何在节约网络链路带宽的前提下保证多媒体服务质量的组播技术也得到了广泛的应用。但是与单播协议相比，组播采用UDP的传输方式，没有纠错机制，发生丢包错包后难以弥补，并且不是针对一个接收者，所以无法有针对性地进行数据包的重传。请参考图1，现有的监控视频编码模型中，一个GOP中I帧参与的帧内编码与P帧参与的帧间编码相互平衡，最终得到高压缩比、高质量的视频序列，然而P帧参与的帧间编码以及块匹配运动补偿预测是完全限定于对前一帧的参考，如果前一个P帧在网络传输过程中发生丢包、错包，那么其后的那个P帧将由于没有正确的前向参考P帧而失效，同理可得该GOP中后续的所有P帧都将失效，直到该GOP传输完成，这样会导致视频图像出现卡顿、模糊等图像质量下降的现象，甚至导致关键时刻视频图像的丢失。

发明内容

有鉴于此，本发明提供一种视频编码装置，应用于编码设备上对视频流进行编码，该装置包括编码控制模块、帧内编码模块以及帧间编码模块，其中：

编码控制模块，用于确定当前视频帧的类型，并根据视频帧的类型通知帧内编码模块或帧间编码模块对视频帧进行对应编码处理，所述视频帧的类型包括I帧、P帧以及至少一个位于I帧和P帧之间的增强P帧；

帧内编码模块，用于根据编码控制模块的通知，对一个GOP组中的I帧进行编码，然后将该I帧保存在该GOP组对应第一缓存区域中作为参考I帧；

帧间编码模块，用于根据编码控制模块的通知，在视频帧类型为P帧时根据参考P帧或者参考I帧对该视频帧进行帧间编码，并相应更新GOP组对应的第二缓存区域中参考P帧；或者用于根据编码控制模块的通知，在视频帧类型为增强P帧时，根据所述参考I帧进行帧间编码以生成增强P帧，并相应更新GOP组对应的第二缓存区域中的参考P帧。

本发明还提供一种视频解码装置，应用于解码设备上对视频流进行解码，该装置包括解码控制模块、帧内解码模块以及帧间解码模块，其中：

解码控制模块，用于确定当前视频帧的类型，并根据视频帧的类型通知帧内解码模块或帧间解码模块对视频帧进行对应解码处理，所述视频帧的类型包括I帧、P帧以及至少一个位于I帧和P帧之间的增强P帧；

帧内解码模块，用于根据解码控制模块的通知解码GOP组中的I帧，然后将解码后的I帧保存在该GOP组对应第一缓存区域中作为参考I帧；

帧间解码模块，用于根据解码控制模块的通知，根据参考P帧或者参考I帧解码GOP组中的P帧，并相应更新GOP组对应的第二缓存区域中的参考P帧；或者用于根据解码控制模块的通知，根据参考I帧解码GOP组中的增强P帧，并相应更新GOP组对应的第二缓存区域中的参考P帧。

本发明能够有效地解决现有技术中一个GOP组发生丢包而导致图像无法正确接收解码的问题，在优选的方式中还可以进一步保证I帧的传输。

附图说明

图1是现有帧间编码参考模型图。

图2是视频编码方案框图。

图3是帧间编码参考模型图。

图4是前向纠错技术示意图。

图5是RS编码过程示意图。

图6是分组处理传输示意图。

图7是RS解码过程示意图。

图8是增强P帧运动矢量和残差数据计算示意图。

图9是视频解码方案框图。

具体实施方式

下面将结合附图对本发明进行详细描述。

请参考图2，本发明提供一种适用于组播抗丢包的帧间编码装置，该装置应用在具有编码能力的终端设备上，其主要包括编码控制模块、帧内编码模块、冗余处理模块、QOS模块和帧间编码模块。

编码控制模块可以通过软件技术或者硬件技术来实现，其主要作用是协调不同的处理资源对各个不同类型的视频帧进行不同的编解处理。对于视频帧的类型区分有很多种方法，举例来说，在具体实现过程中，可以设置一个帧计数器用来统计一个GOP的帧数并对每帧进行编号。请参考图3(仅以此图为例说明，实际中可改变增强P帧的间隔位置)所示，在对视频帧进行技术的基础上可以根据预设的帧计数规则来设定帧类型。例如，所述预定帧计数规则可以为：每个GOP中I帧编号为1，第一个P帧编号为2，编号3M+1(M＝1,2,3….)的帧为增强P帧(即附图中的P’帧)，也就是说视频帧的编号可以作为确定视频帧的依据。如前所述，本发明对不同类型的视频帧将进行不同的处理，在本实施方式中，在编码控制模块的控制下，GOP中第一帧图像(也就是I帧)进入帧内编码模块进行编码；而第二帧、第三帧作为P帧，则进入P帧帧间编码模块进行编码；第四帧为进入增强P帧，进入帧间编码模块进行编码，依次类推每隔两个P帧编码一个增强P帧直至一个GOP编码完毕。

在编码处理上，所述帧内编码模块对GOP的第一帧进行编码，并将该I帧保存在buffer中的第一缓存区域中作为参考I帧。所述帧间编码模块在逻辑上可以理解为两个编码模块，一个为P帧帧间编码模块，另一个是增强P帧帧间编码模块；前者用来处理P帧，后者用来处理增强P帧。下面对这两个模块分别进行详细描述，P帧帧间编码模块，根据编码控制模块的通知，根据参考I帧或参考P帧(比如前一个P帧)对当前P帧进行编码，其中当参考P帧不存在的时候，根据参考I帧进行编码，而参考P帧存在则根据参考P帧进行编码，这与现有技术的处理是一致的。在编码完成之后相应更新GOP组对应的第二缓存区域中的参考P帧。参考P帧的更新过程通常包括：先进行运动估计补偿、量化、熵编码等编码流程后再解码出残差数据和前一个参考P帧组合形成新的参考P帧。参考P帧的更新可以使用其他的方法，这取决于开发者的实际需要。增强P帧帧间编码模块，根据编码控制模块的通知，参考I帧进行帧间编码将帧图像编码为增强P帧，并相应更新GOP组对应的第二缓存区域中参考P帧。

由以上的描述可以看出，在本发明中，增强P帧的编码过程是以参考I帧为依据的，但是相应更新的却是参考P帧，也就是说参考I帧是当前增强P帧的参照，但其自身却是后续P帧的参照。这样编码的好处在于如果网络传输过程中一个GOP中P帧发生丢包、错包情况，那么在一个P帧将导致参考P帧无法正确更新，后续P帧的编码受到影响，但其最多导致其后N个P帧失效而不是其后的所有P帧失效。在前述的预设计数规则示例下，N仅为1，因为在进行到编码生成到下一个增强P帧时，之前的P帧丢失对其无影响，因为只要参考I帧还存在，该增强P帧就可以正常编码。而对增强P帧进行编码的过程中，参考P帧会被相应更新，那么后续的P帧编码将有了新的参考依据。本发明这样的处理可以有效地提高应用了组播技术的视频流在网络传输过程中的抗丢包能力。由于在一个GOP组中，P帧的数量最多，因此P帧的丢失概率总和在理论上来说是最高的，本发明则通过插入少量的增强P帧有效地解决了一个P帧丢失而引发了连锁反应。

经过上述处理之后，只要I帧正确传输就不会发生大量P帧无法接收的情况。由于一个GOP中，I帧的数量为1，该帧在传输过程中风险或者出错的风险在理论上远低于P帧。但是在实际信道上传输I帧时，由于信道传输特性不理想及加性噪声等客观因素的影响，少数极端情况下，在解码模块所收到的I帧仍然有可能发生错误或者出现I帧丢失的现象。因此，在本发明优选的方式中，为了保证能正确地恢复视频图像本发明对信息量最大、最为重要的I帧进行保护。在优选的实施方式中，本发明采用对I帧进行冗余保护或者提高I帧的传输优先级的方法提高I帧的抗丢包能力。进一步在整体方案上降低整个GOP中发生大量P帧丢失而无法正确接收的风险。另外，冗余保护以及提高传输优先级这两种方法可以单独使用也可以相结合同时使用。下面对这两种方法的实现步骤进行详细描述。

在优选的方式中，冗余处理模块对于I帧的冗余保护可以采用前向纠错技术(FEC)或超强丢包隐藏(SPLC)的方法，但不局限于这两种方法。对I帧的冗余保护可以保证后续增强P帧失去参考依据的概率极大降低，相应地，后续P帧失去参考依据的概率也随之降低，如此可以从源头极大降低发生链条式错误的概率。

请参考图4所示的前向纠错技术，其实现方式包括以下基本过程：

步骤101，在编码端发送I帧信息之前，冗余处理模块(比如纠错编码器)根据要发送的数据信息计算相应的纠错信息；

步骤102，把纠错信息作为冗余校验和数据信息一起组成纠错码；

步骤103，在解码端收到这些码后，通过纠错编码器发现错误、纠正码字在传输过程中的错误。

请参考图5所示的超强丢包隐藏技术，其实现方式包括以下基本过程：

步骤201，首先将k个I帧源数据包通过RS编码生成h(h>0)个冗余数据包(请参考图5)；

步骤202，将数据包采用分组处理进行传输(请参考图6)；

步骤203，把数据包发送到RS解码端进行解码恢复数据(请参考图7)。

对I帧的冗余保护是建立在信号处理之上的，而提高I帧的传输优先级是在网络传输层面提供高可靠的实现。如前所述编码后的视频码流在信道传输过程对最重要的I帧做优先保护，在网络传输发生延迟阻塞或即将发生的情况下确保I帧的顺利传输，将传输I帧的报文分配到优先级最高的队列从而降低传输I帧时发生丢包的概率。

增强P帧以GOP中开头的I帧为帧间编码参考对象，这样运动补偿过程中像素的差值就会变大，可能使得增强P帧的运动矢量比通常P帧的要大。为了实现码率平滑控制，帧间编码模块在增强P帧的编码上，可以对静态场景和动态场景分别进行编码。

在这里可以定义宏块运动变化量来判断该运动场景是动态场景还是静态场景，如果前后相邻帧之间对应宏块的差值与运动矢量的比较大(这里可以设置两个阈值，一个差值阈值和一个运动矢量阈值，如果都超过这两个阈值的话就认为变化比较大)则说明相邻宏块内容差别较大则认为宏块发生较大变化。如果说一帧视频中有超过50％的宏块发生变化就判定为动态场景，小于50％则判定为静态场景。

在静态场景下，如室内场景，由于运动对象的背景画面变化不大或者基本不变，单独分割出静态场景进行编码可以有效地节约码流，因此可以在帧间编码模块增加一个视频分析模块，视频分析模块通过分析运动对象的运动特征把视频帧分割为静止与运动区域两部分，则帧间编码模块对这两部分进行分别编码，并且可以在对图像质量要求不高的情况下增加增强P帧的压缩比例。这里将增强P帧的宏块和相应I帧宏块的进行对比得到发生了运动变化的宏块，全部运动宏块的集合就是运动区域的交集,而剩下的是静止区域的交集，对于静止区域的交集，帧间编码模块按照正常的运动搜索进行运动补偿；对运动区域的交集，帧间编码加大运动搜索范围以保证得到最佳的运动匹配块，同时对于静止区域的交集降低量化参数进行编码，从而保证运动区域图像质量。

在动态场景下，即运动对象运动变化比较大的情况，如果运动补偿过程中增强P帧的宏块直接以I帧中的宏块为匹配块进行运动估计，则所得的运动矢量及残差的误差会较大，这样就会影响图像的质量。为了保证运动估计的有效性，可以采用复用相邻帧间的运动矢量与残差数据的方法。如附图8所示，其具体计算方法如下：

步骤301，在GOP中第一个增强P帧与I帧的移动矢量为MV_P1＝MV₃₊MV₂₊MV₁,残差为ΔN_p1＝ΔN₃+ΔN₂₊ΔN₁；其中MV₃、MV₂、MV₁分别为相邻帧对应宏块之间的移动矢量，ΔN₃、ΔN₂、ΔN₁分别为相邻帧对应宏块之间的残差；

步骤302，计算GOP中第二个增强P帧与I帧的移动矢量与残差时可复用MV_P1与ΔN_p1，即MV_P2＝MV₆+MV₅+MV₄+MV_P1，ΔN_p2＝ΔN₆+ΔN₅+ΔN₄+ΔN_p1；

步骤303，计算GOP中其他增强P帧的移动矢量与残差数据时同理可计算得到。

这样在对增强P帧进行计算时，只需要计算其与前一个P帧的残差再加上之前已经计算过的残差就可以了，这样做可以保证运动估计的有效性。

请参考图9，本发明还提供一种适用于组播抗丢包的帧间解码装置，该装置应用在具有解码能力的终端设备上，与前述编码装置的处理相对应，其主要包括解码控制模块、帧内解码模块和帧间解码模块。

在解码控制模块可以通过软件技术或者硬件技术来实现，解码控制器的主要作用是协调不同的处理资源下对各个不同类型的图像视频帧进行不同的处理。对于视频帧的类型区分有很多种方法，举例来说如上述编码控制模块部分，在具体实现过程中，设置一个帧计数器对每帧进行编号。在解码控制模块，同样可以根据帧编号或其他规则判定帧类型。例如，根据上述与编码控制模块相同的预定帧计数规则来确定帧类型。

在解码处理上，所述帧内解码模块，根据解码控制模块的通知，对视频帧进行帧内预测解码GOP的第一帧既I帧，并将该解码后的I帧保存在buffer中的第一缓存区域中作为参考I帧。第一个P帧以及后续增强P帧的解码将根据该参考I帧进行解码。所述帧间解码模块在逻辑上可以理解为两个解码模块，一个为P帧帧间解码模块，另一个是增强P帧帧间解码模块；前者用来处理P帧，后者用来处理增强P帧。P帧帧间解码模块，根据解码控制模块的通知，参照参考I帧(如果参考P帧为空)或参考P帧进行帧间解码，然后相应更新GOP组对应的第二缓存区域中的参考P帧；而增强P帧帧间解码模块，则根据解码控制模块的通知，参考I帧进行帧间解码，并相应更新GOP组对应的第二缓存区域中的参考P帧。

此外，由于增强P帧以GOP中开头的I帧为帧间编码参考对象，为了实现码率平滑控制采用了分别对静态场景与动态场景分别进行编码的方法，因此在帧间解码模块解码增强P帧时则需要对静态场景与动态场景分别进行解码。

在静态场景下，帧间解码模块可以根据参考帧I帧分别解码出增强P帧的静止区域和运动区域，然后对静止区域和运动区域视频进行组合得到整个增强P帧的画面。在动态场景下，帧间解码模块根据运动矢量残差解码出增强P帧的运动矢量，再参考帧I则解码出增强P帧，此步和解码普通的P帧方法一致。

以上所述仅为本发明较佳的具体实施方式，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (7)

1.一种视频编码装置，应用于编码设备上对视频流进行编码，该装置包括编码控制模块、帧内编码模块以及帧间编码模块，其特征在于：

编码控制模块，用于确定当前视频帧的类型，并根据视频帧的类型通知帧内编码模块或帧间编码模块对视频帧进行对应编码处理，所述视频帧的类型包括I帧、P帧以及至少一个位于I帧和P帧之间的增强P帧；

帧内编码模块，用于根据编码控制模块的通知，对一个GOP组中的I帧进行编码，然后将该I帧保存在该GOP组对应第一缓存区域中作为参考I帧；

帧间编码模块，用于根据编码控制模块的通知，在视频帧类型为P帧时根据参考P帧或者参考I帧对该视频帧进行帧间编码，并相应更新GOP组对应的第二缓存区域中参考P帧；或者用于根据编码控制模块的通知，在视频帧类型为增强P帧时，根据所述参考I帧进行帧间编码以生成增强P帧，并相应更新GOP组对应的第二缓存区域中的参考P帧；

所述帧间编码模块进一步用于对静态场景和动态场景分别进行编码以对增强P帧进行码率控制；

其中，在所述静态场景下和所述动态场景下对所述增强p帧进行码率控制时采用不同的编码方法；在静态场景下采用对静止与运动区域分别编码的编码方法；在动态场景下采用复用相邻帧间运动矢量和残差数据的编码方法。

2.如权利要求1所述的装置，其特征在于，所述增强P帧在GOP组中的位置符合预设的帧计数规则，所述编码控制模块用于根据该帧计数规则确定当前视频帧的类型。

3.如权利要求2所述的装置，其特征在于，所述帧计数规则为每隔M个P帧产生一个增强P帧，M为大于等于1的自热数。

4.如权利要求1所述的装置，其特征在于，还包括：

冗余处理模块或QOS模块，用于对I帧进行冗余处理以提高I帧解码成功概率。

5.一种视频解码装置，应用于解码设备上对视频流进行解码，该装置包括解码控制模块、帧内解码模块以及帧间解码模块，其特征在于：

解码控制模块，用于确定当前视频帧的类型，并根据视频帧的类型通知帧内解码模块或帧间解码模块对视频帧进行对应解码处理，所述视频帧的类型包括I帧、P帧以及至少一个位于I帧和P帧之间的增强P帧；

帧内解码模块，用于根据解码控制模块的通知解码GOP组中的I帧，然后将解码后的I帧保存在该GOP组对应第一缓存区域中作为参考I帧；

帧间解码模块，用于根据解码控制模块的通知，根据参考P帧或者参考I帧解码GOP组中的P帧，并相应更新GOP组对应的第二缓存区域中的参考P帧；或者用于根据解码控制模块的通知，根据参考I帧解码GOP组中的增强P帧，并相应更新GOP组对应的第二缓存区域中的参考P帧；

所述帧间解码模块进一步用于对静态场景和动态场景分别进行解码以对增强P帧进行码率控制；

其中，在所述静态场景下和所述动态场景下对所述增强p帧进行码率控制时采用不同的解码方法；在静态场景下采用对静止与运动区域分别解码的解码方法；在动态场景下采用复用相邻帧间运动矢量和残差数据的解码方法。

6.如权利要求5所述的装置，其特征在于，所述增强P帧在GOP组中的位置符合预设的帧计数规则，所述解码控制模块用于根据该帧计数规则确定当前视频帧的类型。

7.如权利要求6所述的装置，其特征在于，所述帧计数规则为每隔M个P帧产生一个增强P帧，M为大于等于1的自热数。