CN104363454B - 一种高码率图像的视频编、解码方法及系统 - Google Patents

Abstract

本发明提供一种高码率图像的视频编、解码方法及系统，编码方法的步骤是编码端首先对原始的高码率图像编码得到其重建图像，为基本层的基本图像，然后根据原始的高码率图像和基本图像得到残差层的残差图像，对残差图像编码得到残差图像的重建图像，根据基本图像和残差图像的重建图像得到高码率图像的重建图像；解码方法的步骤是解码端首先根据接收到的码流信息进行解码，生成解码标志位，进而根据解码标志位判断当前码流属于基本层或者残差层，得到高码率图像的重建图像。本发明通过将高码率图像分为不同层次进行传输，有效解决了视频传输过程中某个时刻瞬时码率过高引起的传输延迟或者缓冲器溢出。

Description

一种高码率图像的视频编、解码方法及系统

技术领域

本发明涉及数字视频编解码技术领域，具体涉及一种高码率图像的视频编、解码方法及系统。

背景技术

随着数字媒体的应用日益广泛，视频技术的研究野越来越受到重视。视频技术主要是通过去除视频中的空间冗余、时间冗余和编码冗余实现的。目前主流的视频编码采用的主要有预测、变换、量化和熵编码方式。

预测编码利用信号间的相关性，用前面一个或多个信号作为当前信号的预测值，对当前信号的实际值与预测值的差进行编码，是现代视频编解码中消除视频冗余的重要工具之一。帧内预测和帧间预测是分别用于消除空间冗余和时域冗余的主要技术，其中的帧间预测是是去除视频冗余的重要方法之一，它是利用相邻帧间的信息进行预测编码，其中P帧只使用前向预测，B帧可用于前向和后向进行双向预测，但是，预测方法中参考帧的质量对后续帧的质量影响很大，从而可能影响整个编码性能；在编码性能方面，质量高的参考帧所带来的编码增益高于质量低的参考帧带来的编码增益。如果能够提高某个或某些参考帧的质量，则参考这些帧的图像的编码性能都将得到提升。因此如何提高参考帧的质量成为研究的重点之一。

随着科技的发展，视频传输、存储系统和计算能力的差别，比特流要适应不同用户的需求、网络状况和终端设备等。但是在视频编解码过程中，可能会因某一帧或几帧图像数据量大，导致瞬时码率突然增加，而由于网络状况和终端设备的限制，会造成该图像的不完全传输或者延迟，造成缓冲器上溢或后续图像的延迟，不利于后面的图像进行帧间预测，同时对接收端的影响也很大。本发明中将这样的原始图像定义为高码率图像。如何实现高码率图像的有效传输并保持码率平稳，成为亟待解决的问题。

发明内容

有鉴于此，本发明提供一种高码率图像的视频编、解码方法及系统，旨在既降低高码率图像的瞬时码率，又保证该高码率图像的有效传输。

本发明采用的技术方案具体为：

一种高码率图像的视频编码方法，具体包括如下步骤：

残差图像获取步骤：采用序列编码参数值对原始的高码率图像编码，得到原始的高码率图像的第一重建图像，所述原始的高码率图像的第一重建图像为基本图像；所述原始的高码率图像减去所述基本图像，得到第一残差图像；

高码率图像重建步骤：对所述第一残差图像编码，得到第一残差图像的重建图像，对所述第一残差图像进行编码的编码数值小于所述序列编码参数值；所述第一残差图像的重建图像与所述基本图像求和，得到原始的高码率图像的第二重建图像；

图像分层步骤：所述基本图像和所述原始的高码率图像的第二重建图像形成高码率图像的基本层，所述第一残差图像形成高码率图像的残差层；

编码标志位生成步骤：生成所述基本层的基本图像的标志位，将标识当前图像为所述基本层的基本图像的标志位写入码流；生成所述残差层的第一残差图像的标志位，将标识当前图像为所述残差层的第一残差图像的标志位写入码流。

一种高码率图像的视频编码方法，具体包括如下步骤：

残差图像获取步骤：采用序列编码参数值对原始的高码率图像编码，得到原始的高码率图像的第一重建图像，所述原始的高码率图像的第一重建图像为基本图像；所述原始的高码率图像减去所述基本图像，得到第一残差图像；

高码率图像重建步骤：对所述第一残差图像编码，得到第一残差图像的重建图像，所述第一残差图像的重建图像与所述基本图像求和，得到原始的高码率图像的第二重建图像；所述原始的高码率图像减去所述原始的高码率图像的第二重建图像，得到第二残差图像；对所述第二残差图像编码，得到第二残差图像的重建图像，所述第二残差图像的重建图像与所述原始的高码率图像的第二重建图像求和，得到原始的高码率图像的第三重建图像；以此类推，某一层残差图像为所述原始的高码率图像与原始的高码率图像的本层重建图像之差，本层残差图像的重建图像与原始的高码率图像的本层重建图像求和，得到的原始的高码率图像的下一层重建图像；对各层残差图像进行编码的编码数值小于所述序列编码参数值；随着层数的增加所述编码参数递减，且残差的编码数据量和普通帧帧内编码的数据量在同一数量级；

图像分层步骤：原始的高码率图像的每一层重建图像形成高码率图像的基本层，每一层残差图像形成高码率图像的残差层；

编码标志位生成步骤：生成所述基本层的基本图像的标志位，将标识当前图像为所述基本层的基本图像的标志位写入码流；生成所述残差层的每一层残差图像的标志位，将标识当前图像为所述残差层的某一层残差图像的编码标志位写入码流。

一种高码率图像的视频解码方法，具体包括如下步骤：

解码标志位生成步骤：解码编码标志位的码流，形成解码标志位，通过解码标志位得出当前码流为基本层的基本图像的码流或者残差层的第一残差图像的码流；

基本图像重建步骤：若当前码流为基本层的基本图像的码流，则根据基本层的基本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；

高码率图像重建步骤：若当前码流为残差层的第一残差图像的码流，则根据残差层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；所述基本图像与第一残差图像的重建图像求和，得到原始的高码率图像的第二重建图像。

一种高码率图像的视频解码方法，具体包括如下步骤：

解码标志位生成步骤：解码编码标志位的码流，形成解码标志位，通过解码标志位得出当前码流为基本层的基本图像的码流或者残差层的某一层残差图像的码流；

基本图像重建步骤：若当前码流为基本层的基本图像的码流，则根据基本层的基本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；

高码率图像重建步骤：若当前码流为残差层的第一残差图像的码流，则根据残差层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；若当前码流为残差层的第二残差图像的码流，则根据残差层的第二残差图像的解码标志位对当前码流解码，得到第二残差图像的重建图像；在当前码流为残差层的第二层残差图像的码流的情况下，进一步对基本层的基本图像的码流和残差层中的第一残差图像的码流解码，得到基本层的基本图像和残差层的第一残差图像，所述基本图像与所述第一残差图像的重建图像求和，得到原始的高码率图像的第二重建图像，所述原始的高码率图像的第二重建图像与解码得到的所述第二残差图像的重建图像求和，得到高码率图像的第三层重建图像；以此类推，若当前图像为某一层残差图像的码流，先对其进行解码得到某一层残差图像的重建图像，进一步对基本层的基本图像的码流以及残差层的本层之前的每一层残差图像的码流依次解码，依次按照“解码得到的某一层残差图像的重建图像与基本层中的高码率图像的本层重建图像求和得到高码率图像的下一层重建图像”的规律，直至得到高码率图像的该某一层的下一层重建图像。

在上述高码率图像的视频编码方法中，在一个码流中完成多层码流的分层传输。

一种高码率图像的视频编码系统，具体包括如下模块：

残差图像获取模块：用于采用序列编码参数值对原始的高码率图像编码，得到原始的高码率图像的第一重建图像，所述原始的高码率图像的第一重建图像为基本图像；所述原始的高码率图像减去所述基本图像，得到第一残差图像；

高码率图像重建模块：用于对所述第一残差图像编码，得到第一残差图像的重建图像，对所述第一残差图像进行编码的编码数值小于所述序列编码参数值；所述第一残差图像的重建图像与所述基本图像求和，得到原始的高码率图像的第二重建图像；

图像分层模块：用于形成高码率图像的基本层和残差层，其中所述基本图像和所述原始的高码率图像的第二重建图像形成高码率图像的基本层，所述第一残差图像形成高码率图像的残差层；

编码标志位生成模块：用于生成所述基本层的基本图像的标志位，将标识当前图像为所述基本层的基本图像的标志位写入码流；以及生成所述残差层的第一残差图像的标志位，将标识当前图像为所述残差层的第一残差图像的标志位写入码流。

一种高码率图像的视频编码系统，具体包括如下模块：

残差图像获取模块：用于采用序列编码参数值对原始的高码率图像编码，得到原始的高码率图像的第一重建图像，所述原始的高码率图像的第一重建图像为基本图像；所述原始的高码率图像减去所述基本图像，得到第一残差图像；

高码率图像重建模块：用于对所述第一残差图像编码，得到第一残差图像的重建图像，所述第一残差图像的重建图像与所述基本图像求和，得到原始的高码率图像的第二重建图像；所述原始的高码率图像减去所述原始的高码率图像的第二重建图像，得到第二残差图像；以及对所述第二残差图像编码，得到第二残差图像的重建图像，所述第二残差图像的重建图像与所述原始的高码率图像的第二重建图像求和，得到原始的高码率图像的第三重建图像；以此类推，某一层残差图像为所述原始的高码率图像与原始的高码率图像的本层重建图像之差，本层残差图像的重建图像与原始的高码率图像的本层重建图像求和，得到的原始的高码率图像的下一层重建图像；对各层残差图像进行编码的编码数值小于所述序列编码参数值；随着层数的增加所述编码参数递减，且残差的编码数据量和普通帧帧内编码的数据量在同一数量级；

图像分层模块：用于形成高码率图像的基本层和残差层；其中原始的高码率图像的每一层重建图像形成高码率图像的基本层，每一层残差图像形成高码率图像的残差层；

编码标志位生成模块：用于生成所述基本层的基本图像的标志位，将标识当前图像为所述基本层的基本图像的标志位写入码流；以及生成所述残差层的每一层残差图像的标志位，将标识当前图像为所述残差层的某一层残差图像的编码标志位写入码流。

一种高码率图像的视频解码系统，具体包括如下模块：

解码标志位生成模块：用于解码编码标志位的码流，形成解码标志位，通过解码标志位得出当前码流为基本层的基本图像的码流或者残差层的第一残差图像的码流；

基本图像重建模块：若当前码流为基本层的基本图像的码流，用于根据基本层的基本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；

高码率图像重建步骤：若当前码流为残差层的第一残差图像的码流，用于根据残差层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；所述基本图像与第一残差图像的重建图像求和，得到原始的高码率图像的第二重建图像；将解码得到的所述第一残差图像的重建图像与所述基本图像求和，得到高码率图像的第二重建图像。

一种高码率图像的视频解码系统，具体包括如下模块：

解码标志位生成模块：用于解码编码标志位的码流，形成解码标志位，通过解码标志位得出当前码流为基本层的基本图像的码流或者残差层的某一层残差图像的码流；

基本图像重建模块：若当前码流为基本层的基本图像的码流，用于根据基本层的基本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；

高码率图像重建模块：若当前码流为残差层的第一残差图像的码流，用于根据残差层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；若当前码流为残差层的第二残差图像的码流，则根据残差层的第二残差图像的解码标志位对当前码流解码，得到第二残差图像的重建图像；在当前码流为残差层的第二层残差图像的码流的情况下，进一步对基本层的基本图像的码流和残差层中的第一残差图像的码流解码，得到基本层的基本图像和残差层的第一残差图像，所述基本图像与所述第一残差图像的重建图像求和，得到原始的高码率图像的第二重建图像，所述原始的高码率图像的第二重建图像与解码得到的所述第二残差图像的重建图像求和，得到高码率图像的第三层重建图像；以此类推，若当前图像为某一层残差图像的码流，先对其进行解码得到某一层残差图像的重建图像，进一步对基本层的基本图像的码流以及残差层的本层之前的每一层残差图像的码流依次解码，依次按照“解码得到的某一层残差图像的重建图像与基本层中的高码率图像的本层重建图像求和得到高码率图像的下一层重建图像”的规律，直至得到高码率图像的该某一层的下一层重建图像。

本发明产生的有益效果是：

本发明的高码率图像的视频编、解码方法及系统，通过将高码率图像分为不同层次进行传输，通过在编码端将图像分为基本层与残差层，且残差层的不同层采用不同参数的编码方法，而且高码率图像的重建图像随着层数增加越来越好；然后在解码端根据得到的基本层图像与残差层图像重建出不同质量的高码率图像，既可以降低瞬时码率，又保证了高码率图像的传输质量。

附图说明

当结合附图考虑时，能够更完整更好地理解本发明。此处所说明的附图用来提供对本发明的进一步理解，实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

图1为本发明一种高码率图像的视频编码方法的流程图；

图2为本发明一种高码率图像的视频解码方法的流程图；

图3为本发明的一种实施例的基于背景帧质量分层编码的步骤框图；

图4为本发明的一种实施例的测试序列图。

具体实施方式

下面结合附图及实施例对本发明的技术方案作进一步详细的说明。

如图1所示的一种高码率图像的视频编码方法，在基本层和残差层均含有一层图像的情况下，具体包括如下步骤：

残差图像获取步骤：采用序列编码参数值对原始的高码率图像编码，得到原始的高码率图像的第一重建图像，原始的高码率图像的第一重建图像为基本图像；原始的高码率图像减去基本图像，得到第一残差图像；

高码率图像重建步骤：对第一残差图像编码，得到第一残差图像的重建图像，对第一残差图像进行编码的编码数值小于序列编码参数值；第一残差图像的重建图像与基本图像求和，得到原始的高码率图像的第二重建图像；

图像分层步骤：基本图像和原始的高码率图像的第二重建图像形成高码率图像的基本层，第一残差图像形成高码率图像的残差层；

编码标志位生成步骤：生成基本层的基本图像的标志位，将标识当前图像为基本层的基本图像的标志位写入码流；生成残差层的第一残差图像的标志位，将标识当前图像为残差层的第一残差图像的标志位写入码流。

一种高码率图像的视频编码方法，在基本层和残差层均含有多层图像的情况下，具体包括如下步骤：

残差图像获取步骤：采用序列编码参数值对原始的高码率图像编码，得到原始的高码率图像的第一重建图像，原始的高码率图像的第一重建图像为基本图像；原始的高码率图像减去基本图像，得到第一残差图像；

高码率图像重建步骤：对第一残差图像编码，得到第一残差图像的重建图像，第一残差图像的重建图像与基本图像求和，得到原始的高码率图像的第二重建图像；原始的高码率图像减去原始的高码率图像的第二重建图像，得到第二残差图像；对第二残差图像编码，得到第二残差图像的重建图像，第二残差图像的重建图像与原始的高码率图像的第二重建图像求和，得到原始的高码率图像的第三重建图像；以此类推，某一层残差图像为原始的高码率图像与原始的高码率图像的本层重建图像之差，本层残差图像的重建图像与原始的高码率图像的本层重建图像求和，得到的原始的高码率图像的下一层重建图像；对各层残差图像进行编码的编码数值小于序列编码参数值；随着层数的增加编码参数递减，且残差的编码数据量和普通帧帧内编码的数据量在同一数量级；

图像分层步骤：原始的高码率图像的每一层重建图像形成高码率图像的基本层，每一层残差图像形成高码率图像的残差层；

编码标志位生成步骤：生成基本层的基本图像的标志位，将标识当前图像为基本层的基本图像的标志位写入码流；生成残差层的每一层残差图像的标志位，将标识当前图像为残差层的某一层残差图像的编码标志位写入码流。

如图2所示的一种高码率图像的视频解码方法，在基本层和残差层均含有一层图像的情况下，具体包括如下步骤：

解码标志位生成步骤：解码编码标志位的码流，形成解码标志位，通过解码标志位得出当前码流为基本层的基本图像的码流或者残差层的第一残差图像的码流；

基本图像重建步骤：若当前码流为基本层的基本图像的码流，则根据基本层的基本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；

高码率图像重建步骤：若当前码流为残差层的第一残差图像的码流，则根据残差层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；基本图像与第一残差图像的重建图像求和，得到原始的高码率图像的第二重建图像。

一种高码率图像的视频解码方法，在基本层和残差层均含有多层图像的情况下，具体包括如下步骤：

解码标志位生成步骤：解码编码标志位的码流，形成解码标志位，通过解码标志位得出当前码流为基本层的基本图像的码流或者残差层的某一层残差图像的码流；

基本图像重建步骤：若当前码流为基本层的基本图像的码流，则根据基本层的基本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；

高码率图像重建步骤：若当前码流为残差层的第一残差图像的码流，则根据残差层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；若当前码流为残差层的第二残差图像的码流，则根据残差层的第二残差图像的解码标志位对当前码流解码，得到第二残差图像的重建图像；在当前码流为残差层的第二层残差图像的码流的情况下，进一步对基本层的基本图像的码流和残差层中的第一残差图像的码流解码，得到基本层的基本图像和残差层的第一残差图像，基本图像与第一残差图像的重建图像求和，得到原始的高码率图像的第二重建图像，原始的高码率图像的第二重建图像与解码得到的第二残差图像的重建图像求和，得到高码率图像的第三层重建图像；以此类推，若当前图像为某一层残差图像的码流，先对其进行解码得到某一层残差图像的重建图像，进一步对基本层的基本图像的码流以及残差层的本层之前的每一层残差图像的码流依次解码，依次按照“解码得到的某一层残差图像的重建图像与基本层中的高码率图像的本层重建图像求和得到高码率图像的下一层重建图像”的规律，直至得到高码率图像的该某一层的下一层重建图像。

在上述高码率图像的视频编码方法中，在一个码流中完成多层码流的分层传输。

一种高码率图像的视频编码系统，在基本层和残差层均含有一层图像的情况下，具体包括如下模块：

残差图像获取模块：用于采用序列编码参数值对原始的高码率图像编码，得到原始的高码率图像的第一重建图像，原始的高码率图像的第一重建图像为基本图像；原始的高码率图像减去基本图像，得到第一残差图像；

高码率图像重建模块：用于对第一残差图像编码，得到第一残差图像的重建图像，对第一残差图像进行编码的编码数值小于序列编码参数值；第一残差图像的重建图像与基本图像求和，得到原始的高码率图像的第二重建图像；

图像分层模块：用于形成高码率图像的基本层和残差层，其中基本图像和原始的高码率图像的第二重建图像形成高码率图像的基本层，第一残差图像形成高码率图像的残差层；

编码标志位生成模块：用于生成基本层的基本图像的标志位，将标识当前图像为基本层的基本图像的标志位写入码流；以及生成残差层的第一残差图像的标志位，将标识当前图像为残差层的第一残差图像的标志位写入码流。

一种高码率图像的视频编码系统，在基本层和残差层均含有多层图像的情况下，具体包括如下模块：

残差图像获取模块：用于采用序列编码参数值对原始的高码率图像编码，得到原始的高码率图像的第一重建图像，原始的高码率图像的第一重建图像为基本图像；原始的高码率图像减去基本图像，得到第一残差图像；

高码率图像重建模块：用于对第一残差图像编码，得到第一残差图像的重建图像，第一残差图像的重建图像与基本图像求和，得到原始的高码率图像的第二重建图像；原始的高码率图像减去原始的高码率图像的第二重建图像，得到第二残差图像；以及对第二残差图像编码，得到第二残差图像的重建图像，第二残差图像的重建图像与原始的高码率图像的第二重建图像求和，得到原始的高码率图像的第三重建图像；以此类推，某一层残差图像为原始的高码率图像与原始的高码率图像的本层重建图像之差，本层残差图像的重建图像与原始的高码率图像的本层重建图像求和，得到的原始的高码率图像的下一层重建图像；对各层残差图像进行编码的编码数值小于序列编码参数值；随着层数的增加编码参数递减，且残差的编码数据量和普通帧帧内编码的数据量在同一数量级；

图像分层模块：用于形成高码率图像的基本层和残差层；其中原始的高码率图像的每一层重建图像形成高码率图像的基本层，每一层残差图像形成高码率图像的残差层；

编码标志位生成模块：用于生成基本层的基本图像的标志位，将标识当前图像为基本层的基本图像的标志位写入码流；以及生成残差层的每一层残差图像的标志位，将标识当前图像为残差层的某一层残差图像的编码标志位写入码流。

一种高码率图像的视频解码系统，在基本层和残差层均含有一层图像的情况下，具体包括如下模块：

解码标志位生成模块：用于解码编码标志位的码流，形成解码标志位，通过解码标志位得出当前码流为基本层的基本图像的码流或者残差层的第一残差图像的码流；

基本图像重建模块：若当前码流为基本层的基本图像的码流，用于根据基本层的基本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；

高码率图像重建步骤：若当前码流为残差层的第一残差图像的码流，用于根据残差层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；基本图像与第一残差图像的重建图像求和，得到原始的高码率图像的第二重建图像；将解码得到的第一残差图像的重建图像与基本图像求和，得到高码率图像的第二重建图像。

一种高码率图像的视频解码系统，在基本层和残差层均含有多层图像的情况下，具体包括如下模块：

解码标志位生成模块：用于解码编码标志位的码流，形成解码标志位，通过解码标志位得出当前码流为基本层的基本图像的码流或者残差层的某一层残差图像的码流；

基本图像重建模块：若当前码流为基本层的基本图像的码流，用于根据基本层的基本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；

高码率图像重建模块：若当前码流为残差层的第一残差图像的码流，用于根据残差层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；若当前码流为残差层的第二残差图像的码流，则根据残差层的第二残差图像的解码标志位对当前码流解码，得到第二残差图像的重建图像；在当前码流为残差层的第二层残差图像的码流的情况下，进一步对基本层的基本图像的码流和残差层中的第一残差图像的码流解码，得到基本层的基本图像和残差层的第一残差图像，基本图像与第一残差图像的重建图像求和，得到原始的高码率图像的第二重建图像，原始的高码率图像的第二重建图像与解码得到的第二残差图像的重建图像求和，得到高码率图像的第三层重建图像；以此类推，若当前图像为某一层残差图像的码流，先对其进行解码得到某一层残差图像的重建图像，进一步对基本层的基本图像的码流以及残差层的本层之前的每一层残差图像的码流依次解码，依次按照“解码得到的某一层残差图像的重建图像与基本层中的高码率图像的本层重建图像求和得到高码率图像的下一层重建图像”的规律，直至得到高码率图像的该某一层的下一层重建图像。

一般来讲，在保证残差编码数据量和普通帧内编码图像数据量在同一数量级的情况下，层数越多，高码率图像重建图像质量越好；也就是说，最后一层的高码率图像的重建图像与其它层高码率图像的重建图像相比，质量更好。通过本发明的编、解码方法可有效解决视频传输过程中某个时刻瞬时码率过高而引起的传输延迟或缓冲器溢出的问题。

下面通过一个实例来说明本发明可能的实现方式。基于HEVC编解码参考软件，有学者提出针对监控视频的方法(HEVS-S)。该方法中有背景建模的部分，当处理一定帧数的视频序列后，会建模得到背景帧。得到的背景帧可以大大提高编码效率。但当背景帧作为参考需要传输时，由于背景帧的数据量过大，会引起码率突增，在应用中导致传输延迟或者背景帧数据丢失，因此可以利用本发明的技术方案将背景帧分层处理并在同一码流中传输。基于HEVC的监控平台，共编码1020帧图像，若设置前120帧为训练集，120帧之后可得到一个背景帧，该背景帧数据量过大引起码率突增。分别对5个监控序列进行测试，同时每个序列要以四个不同量化参数处理背景帧，分别为22,27,32,37。本实验的残差分为三层，另外对残差编码时第一层的量化参数设为序列量化参数减5，第二层的量化参数设为序列量化参数减9，第三层的量化参数设为序列量化参数减11，分别对每层残差进行编码，于是，对于图4中的测试序列，我们可以采用如图3所示的方式来实现分层传输。

其中的编码步骤为：

S1：首先背景帧就是对应摘要中的高码率图像，通过建模得到原始背景帧BG_org。每个高码率图像的分层数取决于编码端，一般情况下，层数越多，背景帧质量越好，则编码性能越好。该背景帧可以分为基本层和残差层。基本层为背景帧的重建图像，而残差层为背景帧与背景帧的重建图像的残差图像。而且，基本层和残差层可有多层图像。

S2：序列的量化参数(QP)分别是22，27，32，37。用序列的量化参数将背景帧编码可得到背景的重建帧BG_rec1，将BG_org与BG_rec1的残差使用QP-5进行编码并传输；经过10帧后得到残差的重建帧，与BG_rec1相加可以得到背景帧的重建图像BG_rec2，将BG_org与BG_rec2的残差使用QP-9进行编码并传输；经过10帧后得到重建的残差，再与上层的重建图像相加得到最新的背景帧的重建图像BG_rec3，将BG_org与BG_rec3的残差使用QP-11进行编码并传输；经过10帧后得到重建的残差，再与上层的重建图像相加得到最新的背景帧的重建图像BG_rec4。经过三层编码，背景帧质量越来越高，参考越来越好。

S3：在步骤S2中，对背景帧或残差进行编码都会得到重建图像，残差图像与上层背景帧的重建图像相加即可得到当前层重建图像。

S4:编码标志位的设置，是有利于判别当前图像是基本层图像还是残差层图像，该标志非常有利于解码。

在本实施例中，有四个背景帧的重建图像。在120帧时，BG_rec1作为背景帧的重建图像，并为后面10帧图像作参考；130帧时，得到BG_rec2作为当前背景帧的重建图像，并为后面10帧图像作参考；140帧时，作为当前背景帧的重建图像，并为后面10帧图像做参考；150帧时，得到当前背景帧的重建图像，背景帧的重建图像质量越来越好，并为后面所有编码图像作参考。

采用如图4所示的测试序列，由以上实验步骤可以得到的结果如表1所示：

表1本发明中残差数据量的最大值和帧内编码图像数据量的比较

表2两种方法性能增益的比较

使用此方法得到的详细实验结果如表2所示。可以看出，本方法的效果比监控方法的效果好，同时本方法得到的码流不会引起码率突增，因此更适应网络和硬件的需求。

同样地，基于HEVC的编码参考软件，在低延时的配置下，仅第一帧编码是帧内编码图像，数据量大，会造成传输延迟或者缓冲器溢出，于是会影响后面多数帧的编码。因此，也可以采用本发明中的方法。将该帧内编码的图像看作高码率图像，按照编码步骤将高码率图像分层传输。同样地，在解码端按照解码步骤得到重建的高码率图像的重建图像，以利于后续帧的解码。因此，帧内编码的图像的高码率问题可以使用本发明中的方法解决。

如上所述，对本发明的实施例进行了详细地说明，显然，只要实质上没有脱离本发明的发明点及效果、对本领域的技术人员来说是显而易见的变形，也均包含在本发明的保护范围之内。

Claims (4)

1.一种高码率图像的视频编码方法，其特征在于，具体包括如下步骤：

残差图像获取步骤：采用序列编码参数值对原始的高码率图像编码，得到原始的高码率图像的第一重建图像，所述原始的高码率图像的第一重建图像为基本图像；所述原始的高码率图像减去所述基本图像，得到第一残差图像；

高码率图像重建步骤：对所述第一残差图像编码，得到第一残差图像的重建图像，所述第一残差图像的重建图像与所述基本图像求和，得到原始的高码率图像的第二重建图像；所述原始的高码率图像减去所述原始的高码率图像的第二重建图像，得到第二残差图像；对所述第二残差图像编码，得到第二残差图像的重建图像，所述第二残差图像的重建图像与所述原始的高码率图像的第二重建图像求和，得到原始的高码率图像的第三重建图像；以此类推，某一层残差图像为所述原始的高码率图像与原始的高码率图像的本层重建图像之差，本层残差图像的重建图像与原始的高码率图像的本层重建图像求和，得到的原始的高码率图像的下一层重建图像；对各层残差图像进行编码的编码数值小于所述序列编码参数值；随着层数的增加所述编码参数递减，且残差的编码数据量和普通帧帧内编码的数据量在同一数量级；

图像分层步骤：原始的高码率图像的每一层重建图像形成高码率图像的基本层，每一层残差图像形成高码率图像的残差层；

编码标志位生成步骤：生成所述基本层的基本图像的标志位，将标识当前图像为所述基本层的基本图像的标志位写入码流；生成所述残差层的每一层残差图像的标志位，将标识当前图像为所述残差层的某一层残差图像的编码标志位写入码流。

2.一种高码率图像的视频解码方法，其特征在于，具体包括如下步骤：

解码标志位生成步骤：解码编码标志位的码流，形成解码标志位，通过解码标志位得出当前码流为基本层的基本图像的码流或者残差层的某一层残差图像的码流；

基本图像重建步骤：若当前码流为基本层的基本图像的码流，则根据基本层的基本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；

高码率图像重建步骤：若当前码流为残差层的第一残差图像的码流，则根据残差层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；若当前码流为残差层的第二残差图像的码流，则根据残差层的第二残差图像的解码标志位对当前码流解码，得到第二残差图像的重建图像；在当前码流为残差层的第二层残差图像的码流的情况下，进一步对基本层的基本图像的码流和残差层中的第一残差图像的码流解码，得到基本层的基本图像和残差层的第一残差图像，所述基本图像与所述第一残差图像的重建图像求和，得到原始的高码率图像的第二重建图像，所述原始的高码率图像的第二重建图像与解码得到的所述第二残差图像的重建图像求和，得到高码率图像的第三层重建图像；以此类推，若当前图像为某一层残差图像的码流，先对其进行解码得到某一层残差图像的重建图像，进一步对基本层的基本图像的码流以及残差层的本层之前的每一层残差图像的码流依次解码，依次按照“解码得到的某一层残差图像的重建图像与基本层中的高码率图像的本层重建图像求和得到高码率图像的下一层重建图像”的规律，直至得到高码率图像的该某一层的下一层重建图像。

3.一种高码率图像的视频编码系统，其特征在于，具体包括如下模块：

残差图像获取模块：用于采用序列编码参数值对原始的高码率图像编码，得到原始的高码率图像的第一重建图像，所述原始的高码率图像的第一重建图像为基本图像；所述原始的高码率图像减去所述基本图像，得到第一残差图像；

高码率图像重建模块：用于对所述第一残差图像编码，得到第一残差图像的重建图像，所述第一残差图像的重建图像与所述基本图像求和，得到原始的高码率图像的第二重建图像；所述原始的高码率图像减去所述原始的高码率图像的第二重建图像，得到第二残差图像；以及对所述第二残差图像编码，得到第二残差图像的重建图像，所述第二残差图像的重建图像与所述原始的高码率图像的第二重建图像求和，得到原始的高码率图像的第三重建图像；以此类推，某一层残差图像为所述原始的高码率图像与原始的高码率图像的本层重建图像之差，本层残差图像的重建图像与原始的高码率图像的本层重建图像求和，得到的原始的高码率图像的下一层重建图像；对各层残差图像进行编码的编码数值小于所述序列编码参数值；随着层数的增加所述编码参数递减，且残差的编码数据量和普通帧帧内编码的数据量在同一数量级；

图像分层模块：用于形成高码率图像的基本层和残差层；其中原始的高码率图像的每一层重建图像形成高码率图像的基本层，每一层残差图像形成高码率图像的残差层；

编码标志位生成模块：用于生成所述基本层的基本图像的标志位，将标识当前图像为所述基本层的基本图像的标志位写入码流；以及生成所述残差层的每一层残差图像的标志位，将标识当前图像为所述残差层的某一层残差图像的编码标志位写入码流。

4.一种高码率图像的视频解码系统，其特征在于，具体包括如下模块：

解码标志位生成模块：用于解码编码标志位的码流，形成解码标志位，通过解码标志位得出当前码流为基本层的基本图像的码流或者残差层的某一层残差图像的码流；

基本图像重建模块：若当前码流为基本层的基本图像的码流，用于根据基本层的基本图像的解码标志位对当前码流解码，直接得到基本层的基本图像；

高码率图像重建模块：若当前码流为残差层的第一残差图像的码流，用于根据残差层的第一残差图像的解码标志位对当前码流解码，得到第一残差图像的重建图像；若当前码流为残差层的第二残差图像的码流，则根据残差层的第二残差图像的解码标志位对当前码流解码，得到第二残差图像的重建图像；在当前码流为残差层的第二层残差图像的码流的情况下，进一步对基本层的基本图像的码流和残差层中的第一残差图像的码流解码，得到基本层的基本图像和残差层的第一残差图像，所述基本图像与所述第一残差图像的重建图像求和，得到原始的高码率图像的第二重建图像，所述原始的高码率图像的第二重建图像与解码得到的所述第二残差图像的重建图像求和，得到高码率图像的第三层重建图像；以此类推，若当前图像为某一层残差图像的码流，先对其进行解码得到某一层残差图像的重建图像，进一步对基本层的基本图像的码流以及残差层的本层之前的每一层残差图像的码流依次解码，依次按照“解码得到的某一层残差图像的重建图像与基本层中的高码率图像的本层重建图像求和得到高码率图像的下一层重建图像”的规律，直至得到高码率图像的该某一层的下一层重建图像。