CN106534870B - 一种基于rgb源视频的率失真优化编码方法 - Google Patents

Abstract

本发明公开了一种基于RGB源视频的率失真优化编码方法，其特征在于，包括如下步骤：步骤1、输入RGB源视频；步骤2、将RGB源视频转换为YUV视频；步骤3、对转换得到的YUV视频进行预测编码；步骤4、进行率失真优化：在预测编码过程中，针对各编码模式计算编码比特数，且将该编码模式下解码后的重构视频转换成RGB空间的重构视频，并计算RGB重构视频与RGB源视频之间的失真；步骤5、根据步骤4计算的编码比特数和RGB失真，计算各编码模式对应的率失真代价；步骤6、选择率失真代价最小的编码模式进行编码。提高RGB视频的编码效率和编码质量，提高用户显示体验。

Description

一种基于RGB源视频的率失真优化编码方法

技术领域

本发明涉及一种基于RGB源视频的率失真优化编码方法。

背景技术

伴随着多媒体和通信技术的发展和成熟，人们日常生活中涌现了大量的视频应用，一方面视频应用呈现出多样化的特点，如视频监控、视频会议、视频电话、电视广播等；另一方面视频内容呈现出了数字化、高清化和超高清化等特点，尤其是关于高清视频的各种应用受到了用户的欢迎和青睐。然而，较高分辨率使得高清视频的数据量倍增，对目前的视频编解码算法(如H.264/AVC等)的压缩性能要求更高。因此近年来，国内外各大科研机构一直致力于研究更加有效的视频编码优化技术。

率失真优化方法是视频编码过程中一个极其重要的模块，即通过计算编码比特率和编码失真的代价和，根据代价的大小来选取更加有效的编码模式。目前常用的MPEG、H.264/AVC等编码技术主要针对YUV(YUV是被欧洲电视系统所采用的一种颜色编码方法)视频的编码，包括近期发布的新一代视频编码标准HEVC。这些方法中，输入的是YUV源视频，即视频分为一个亮度分量(Y)和两个色度分量(U和V)，其中的率失真优化编码则是分别计算Y、U、V三个通道的失真以及编码码率，最后通过码率和YUV失真代价的大小选择最优的编码模式。由于受视者对色度空间敏感性较低，采用YUV分量对视频图像进行编码，可以通过降低色度分量分辨率来提高编码压缩效率。如YUV420则是对亮度分量Y的分辨率保持不变，对U、V色度分量进行水平和垂直方向的1/2下采样，这种对U、V分量的下采样可以提高编码压缩效率。

然而，目前广泛采用的显示设备均采用的RGB(红、绿、蓝)三原色原理对视频图片进行显示，视频内容的采集过程中也通常直接采集的是RGB源视频。因此，如何提高RGB颜色分量的编码效率和编码质量是一项至关重要的课题。

发明内容

针对上述问题，本发明提供一种基于RGB源视频的率失真优化编码方法，提高RGB视频的编码效率和编码质量，提高用户显示体验。

名词解释：

重构视频：对视频进行解、编码，解、编码之后得到新的视频，即重构视频。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种基于RGB源视频的率失真优化编码方法，其特征在于，包括如下步骤：

步骤1、输入RGB源视频；

步骤2、将RGB源视频转换为YUV视频；

步骤3、对转换得到的YUV视频进行预测编码；

步骤4、进行率失真优化：一方面，在预测编码过程中，针对各编码模式计算编码比特数；另一方面，把步骤3中YUV视频转换成RGB空间的重构视频，并计算RGB重构视频与RGB源视频之间的失真；步骤5、根据步骤4计算的编码比特数和失真，计算编码比特数和编码失真的加权求和，，得到各编码模式对应的率失真代价；

步骤6、选择率失真代价最小的编码模式进行编码。

优选，步骤3中，预测编码包括变换、量化，即将空间或时间上相邻的像素作为当前图像块预测值，源像素与预测像素作差得到预测残差。对预测残差进行DCT变换可以实现能量的聚集，并得到变换系数，通过对变换系数先后进行量化和熵编码实现压缩。

优选，步骤4中，率失真优化为：

min{J},J＝D_rgb+λ_rgb·rate

式中，J为率失真代价，rate为实际编码比特数，D_rgb表示输出图像与源图像的RGB平方误差和，λ_rgb为相应的乘子参数。

优选，式中，其中CU_rgb和分别为RGB源视频块和对应的RGB重构视频块，SSD即为平方误差和。

优选，步骤2中，采用BT709标准将RGB源视频转换为YUV视频，即：

优选，λ_rgb取值为λ的4倍，λ为拉格朗日乘子。

本发明的有益效果是：

基于RGB源视频输入，提出RGB率失真优化算法，并基于RGB-YUV颜色空间转换矩阵，调整乘子参数。相比于YUV视频编码方法，在相同的编码码率前提下极大地提升了RGB视频的编码质量。具有编码质量高、用户显示体验佳等特点。

附图说明

图1是传统YUV源视频率失真代价计算示意图；

图2是本发明RGB源视频的率失真代价计算示意图；

图3是本发明一种基于RGB源视频的率失真优化编码方法的流程图。

具体实施方式

下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

传统YUV源视频编码方法都是通过计算YUV颜色空间的率失真代价来选取最优编码模式，比如，常用的编码标准如H.264/AVC、HEVC等都是在YUV颜色空间上进行编码，输入的是YUV视频源文件，经过压缩编码之后，输出的也是YUV文件。如图1所示，其中的率失真优化编码是分别计算Y、U、V三个通道的失真以及编码码率，最后通过YUV率失真代价选取最优的编码模式。由于受视者对色度分量敏感性较低，这种方法可以通过降低色度空间分辨率来提高编码压缩效率。如对U、V色度分量进行水平和垂直方向的1/2下采样后再编码，从而提高编码压缩效率。

YUV视频编码方法的率失真优化过程是：

在给定码率条件下，使得YUV分量的PSNR(峰值信噪比)越大越好，即

max{PSNR_yuv},s.t.rate≤R_c (1)

其中，PSNR_yuv表示解码视频图像的编码质量，rate和R_c分别表示编码比特数和带宽大小。针对该带约束问题，引入一个拉格朗日乘子λ，即将问题转化为求率失真代价最小化问题：

min(J),J＝D_yuv+λ·rate (2)

其中，J为率失真代价，失真D_yuv为解码图像与源图像的YUV分量的平方误差和，rate为编码比特数，λ为拉格朗日乘子，起到平衡失真和码率的的作用。

然而，通常的图像显示设备是基于RGB颜色空间来显示，同时视频采集设备也是基于RGB颜色空间的，那么直接在RGB颜色空间上对图像质量(PSNR)进行评估，可以获得更好的编码性能和更优的用户显示体验。

图2和图3显示了本发明率失真优化编码方法的示意图，首先对视频采集设备获取的RGB源视频进行转换，生成YUV视频；然后再对该YUV视频进行压缩编码，编码之后生成YUV的重构视频；最后对重构视频进行反向转换，生成RGB的重构视频。也就是说，一方面与传统的YUV视频编码方法不同，本发明输入的是RGB源视频，考虑的是降低RGB颜色空间的失真。另一方面，为保留色度分量下采样的良好压缩性能，该方法仍然将RGB视频转换成YUV视频进行编码，预测编码等操作都是针对转换得到的YUV视频。然而更重要的是，本发明在率失真优化过程中考虑的是RGB分量的失真，即率失真代价为YUV转换视频的编码比特数和RGB失真代价之和，通过该率失真代价选择最优编码模式，下面进行详细介绍：

一种基于RGB源视频的率失真优化编码方法，包括如下步骤：

步骤1、输入RGB源视频；

步骤2、将RGB源视频转换为YUV视频；

输入的是RGB源视频，缓存输入RGB源视频，并在编码过程中转换为YUV视频，缓存RGB源视频是为了后面计算RGB失真，将其转换为YUV视频，是为了完成YUV420的色度通道下采样编码。

步骤3、对转换得到的YUV视频进行预测编码：对转换得到的YUV视频色度通道分别进行水平、垂直方向的1/2下采样，并开始逐块进行预测编码，该过程包括变换、量化等操作，即预测编码将空间或时间上相邻的像素作为当前图像块预测值，源像素与预测像素作差得到预测残差。对预测残差进行DCT变换(离散余弦变换)可以实现能量的聚集，并得到变换系数，通过对变换系数先后进行量化和熵编码实现压缩。

步骤4、进行率失真优化：一方面，在预测编码过程中，针对各编码模式计算编码比特数；另一方面，需要把已编码的信息进行解码，解码之后得到新的视频，即重构视频，重构视频与源视频相比包含了编码失真。即把步骤3中YUV视频转换成RGB空间的重构视频，并计算RGB重构视频与RGB源视频之间的失真。在预测编码过程中，针对各编码模式计算预测残差和编码模式等信息的编码比特数，且将该编码模式下重构视频转换成RGB空间的重构视频，并计算RGB重构视频与RGB源视频之间的失真；

步骤5、根据步骤4计算的编码比特数和RGB失真，计算编码比特数和编码失真的加权求和(即率失真代价)，利用λ_rgb计算各编码模式对应的率失真代价；

步骤6、选择率失真代价最小的编码模式进行编码：比较各模式的率失真代价大小，选择其中代价较小的模式为最优模式。判断编码模式是否执行完成，否则继续预测其他模式。

本发明提出的率失真优化方法可采用公式描述如下：

min{J},J＝D_rgb+λ_rgb·rate (3)

式中，J为率失真代价，rate为实际编码比特数，D_rgb表示输出图像与源图像的RGB平方误差和，λ_rgb为相应的乘子参数。也就是说，本发明与传统YUV视频编码率失真计算不同，后者计算的是YUV空间的失真，即YUV源视频与YUV重构视频之间的失真。本发明的率失真优化方法计算的是RGB颜色空间的失真，即RGB源视频与RGB重构视频之间的失真，即

其中，CU_rgb和分别为RGB源视频块和对应的RGB重构视频块，SSD即为平方误差和。

其中，采用BT709标准将RGB源视频转换为YUV视频，由于RGB到YUV的转换，采用BT709标准：

那么：

其中，ΔR、ΔG、ΔB分别为R、G、B各颜色通道的失真，ΔY、ΔU、ΔV分别为对应的Y、U、V各颜色通道上的编码失真。不考虑后面的交叉项，RGB失真是YUV失真的约4倍。由于D_rgb和D_yuv的取值范围不同，拉格朗日乘子的取值也要进行调整。因此，我们将λ_rgb调整为λ的4倍。

本发明提出了一种针对RGB源视频的新型率失真优化编码方法，与传统的YUV视频编码方法不同，本发明主要针对RGB源视频输入。为保留色度分量下采样的良好压缩性能，该方法仍然将RGB视频转换成YUV视频进行编码。然而，在率失真优化过程中，本方法分别计算RGB分量的失真和编码码率大小，选取RGB率失真代价最小的对应模式为最优编码模式，从而提高RGB视频的编码效率和编码质量，真正做到提高用户显示体验。本发明结合YUV420编码的色度下采样的优点，以RGB率失真优化编码提高编码质量为核心，对提高视频的用户显示体验具有重要的实际意义。具有编码质量高、用户显示体验佳等特点。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换，或者直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (2)

1.一种基于RGB源视频的率失真优化编码方法，其特征在于，包括如下步骤：

步骤1、输入RGB源视频；

步骤2、将RGB源视频转换为YUV视频；

步骤3、对转换得到的YUV视频进行预测编码；

步骤4、进行率失真优化：一方面，在预测编码过程中，针对各编码模式计算编码比特数；另一方面，把步骤3中YUV视频转换成RGB空间的重构视频，并计算RGB重构视频与RGB源视频之间的失真；

步骤5、根据步骤4计算的编码比特数和失真，计算编码比特数和编码失真的加权求和，得到各编码模式对应的率失真代价；

步骤6、选择率失真代价最小的编码模式进行编码；

步骤3中，针对RGB源视频转换而来的YUV视频，预测编码先将空间或时间上相邻的像素作为当前图像块预测值，源像素与预测像素作差得到预测残差，对预测残差进行DCT变换实现能量的聚集，并得到变换系数，通过对变换系数先后进行量化和熵编码实现压缩；

步骤4中，率失真优化为：

min{J},J＝D_rgb+λ_rgb·rate

式中，J为率失真代价，rate为实际编码比特数，D_rgb表示输出图像与源图像的RGB平方误差和，λ_rgb为相应的乘子参数；

式中，其中CU_rgb和分别为RGB源视频块和对应的RGB重构视频块，SSD即为平方误差和；

步骤2中，采用BT709标准将RGB源视频转换为YUV视频，即：

。

2.根据权利要求1所述的一种基于RGB源视频的率失真优化编码方法，其特征在于，λ_rgb取值为λ的4倍，λ为拉格朗日乘子。