CN102281446A - 一种分布式视频编码中基于视觉感知特性的量化方法 - Google Patents

Abstract

本发明公开了一种分布式视频编码中基于视觉感知特性的量化方法，将分布式视频编码特性与视觉感知特性相结合，通过编码前初始化感知量化矩阵和编码过程中动态调整量化步长的两步感知量化策略。充分利用了人眼视觉感知特性，根据人眼对图像内容敏感度的不同实现有选择性的编解码，避免对原始图像与边信息中人眼观察不到的误差进行编解码，在不影响编码图像主观质量的前提下，有效降低了分布式视频编码码率。本发明方法可兼容现有提高分布式视频编码性能的研究成果，并在其基础上进一步改善分布式视频的编码性能，实现一种更为高效的分布式视频编码策略。本发明可适用于单视点、立体及多视点等多种基于分布式视频编码理论的编码框架，具有很好的通用性。

Description

一种分布式视频编码中基于视觉感知特性的量化方法

技术领域：

本发明属于视频编码和处理领域，具体涉及分布式视频编码过程中感知量化算法的研究。

背景技术：

传统视频编码技术在编码过程中通过运动补偿算法实现高效的视频压缩，但这使得编码端的复杂度远远高于解码端，且由于运动预测的使用，视频流的传输鲁棒性减低。因此，传统的视频编码技术多用于服务器-客户端结构的数字视频广播、视频点播等服务。然而随着通信技术的发展，新的视频应用与视频服务也随之产生。如通过移动视频设备或无线视频传感器网络进行现场视频采集编码，将编码后的视频流传输到中心节点用于视频分析或处理。对于这些新的视频需求而言，编码端在运算、功耗、存储同类和带宽等多方面都受到了限制；而解码端则拥有较多的资源进行复杂运算——这恰与传统的视频编码方案相矛盾。因此，需要一种新的视频编码技术以满足新的应用需求。

Slepian和Wolf于1973年提出了分布式无损编码(DistributedLossless Coding)理论，证明在无损编码条件下，对于两个具有统计相关性的独立同分布随机序列X和Y，分别进行独立编码再联合解码，此时所需的总码率仍然可以达到X和Y的联合信息熵。其后Wyner和Ziv将该理论推广到了有损压缩编码领域。在SW和WZ理论基础上，产生了一种新的视频编码方案——分布式视频编码。分布式视频编码的优势在于它通过独立编码，联合解码的策略，有效的将编码端的计算复杂度转移至解码端，很好的满足了编码资源有限、解码资源丰富的视频应用环境的需求；同时，分布式理论具有天生的传输鲁棒性，与传统的视频编码技术相比，生成的视频流可以更好的适应恶劣的视频传输环境。因此，分布式视频编码技术具有很好的实际应用前景。

但是分布式视频编码的不足之处在于：虽然SW理论证明了独立编码再联合解码的新编码策略，可以到达与联合编码时相同的编码性能。但是在实际应用中，由于难于准确的估计各独立编码信源间的统计相关性，分布式视频编码的性能仍低于传统的视频编码技术，这就限制了分布式视频编码技术的广泛应用。因此，对分布式视频编码性能的研究，具有很好的研究意义与实用价值

从已有的研究成果来看，围绕分布式视频编码性能已经取得了很多研究成果，这些研究成果有效地促进了分布式视频技术的发展。根据分布式视频编码理论可知，解码端生成的边信息可以看作是原始图像的一个错误版本，而对原始图像的编解码过程可以看作是对边信息图像的纠错过程。从这个角度来分析，可以将现有提高分布式视频编码性能的研究成果分为两类：1)减低边信息与原始图像间的误差；2)改善解码器的纠错性能。

然而，现有的研究成果均是以图像的客观质量为依据来改善分布式视频编码的性能，而忽略了图像主观质量与客观质量的差异。根据人类视觉系统(Human Visual System，HVS)的研究发现，HVS能够感知视频场景中存在的亮度、颜色、纹理、方向、空间频率和运动等初级视觉信息；它对视频场景的感知是有选择性的，不同的区域或者对象具有不同的视觉敏感程度。因此，可将分布式视频编码特性与视觉感知特性相结合，实现一种新的提高分布式编码性能的方法：在分布式编解码过程中仅编解码人眼可感知的原始图像与边信息间的误差，避免对人眼观察不到的误差进行编解码，从而降低分布式视频的编码码率。该方法可在现有分布式视频编码的研究成果基础上，进一步改善分布式视频的编码性能，具有很好的研究价值和应用意义。

发明内容

鉴于现有技术的以上不足，本发明的目的是提出一种分布式视频编码中基于视觉感知特性的量化方法，使之能充分利用人眼对不同图像内容编码失真敏感度不同的特性，根据人眼感知特征调整量化步长避免对人眼观察不到的边信息失真进行编解码，从而在不影响编码图像主观质量的情况下，有效降低编码码率，提高分布式视频编码性能。

采用本发明的基于视觉感知特性的量化方法，通过编码前初始化感知量化矩阵和编码过程中动态调整量化步长的两步感知量化策略，充分利用了人眼视觉感知特性，可避免对原始图像与边信息中人眼观察不到的误差进行编解码，在不影响编码图像主观质量的前提下，有效降低了分布式视频编码码率。同时本发明方法将分布式视频编码特性与视觉感知特性相结合，根据人眼对图像内容敏感度的不同，实现有选择性的编解码，因此该方法可兼容现有提高分布式视频编码性能的研究成果，并在其基础上进一步改善分布式视频的编码性能，从而实现一种更为高效的分布式视频编码策略。本发明可适用于单视点、立体及多视点等多种基于分布式视频编码理论的编码框架，具有很好的通用性。

附图说明：

图1为本发明分布式视频编码中基于视觉感知量化方法流程图。

图2为本发明方法的分布式视频编码示意图。

图3为本发明方法的分布式视频解码示意图。

具体实施方式

下面结合附图和实施例对本发明作详细说明。

图1所示是本发明提出的分布式视频编码中基于视觉感知量化方法实现的流程图。方法包括两个步骤：1)图像编码前，通过视频训练集，结合空间对比度感知特性，计算8×8DCT变换各系数的最佳量化级数，建立初始化感知量化矩阵；2)视频编解码过程中，进一步结合背景亮度、空间位置等视觉感知特性，动态修正AC系数的量化步长。

图2所示是采用本发明提出的基于视觉感知量化方法的分布式视频编码示意图。根据分布式视频编码理论，待编码图像分为关键帧和非关键。关键帧采用标准的帧内编码方式独立编码，如H.264/AVC帧内编码；非关键帧采用本发明提出的基于视觉感知量化方法的分布式编码方法编码，编码过程包括5个步骤：1)对待编码的非关键帧进行8×8DCT变换；2)根据各个变换块的位置和DCT系数，计算每个变换块的视觉感知阈值；3)根据初始化量化矩阵计算初始化量化步长，并根据视觉感知阈值动态修正量化步长；4)使用修正后的量化步长对变换块各AC系数进行量化；5)将量化后的DCT系数送入信道编码器编码以获取最终的视频流。

图3所示是采用本发明提出的基于视觉感知量化方法的分布式视频解码示意图。根据分布式视频编码理论，待编码图像分为关键帧和非关键。关键帧采用标准的帧内解码方式解码，如H.264/AVC帧内解码；非关键帧采用本发明提出的基于视觉感知量化方法的分布式视频解码方式解码，解码过程包括7个步骤：1)使用前一关键帧解码图像为参考，生成当前解码图像的边信息；2)使用信道解码器解码当前非关键帧图像；3)重建非关键帧变换块的DC系数；4)根据变换块的位置和DC系数，计算变换块的视觉感知阈值；5)计算变换块的初始化量化步长，并根据变换块的视觉感知阈值，动态修正量化步长；6)使用修正后的量化步长，重建变换块的AC系数；7)反8×8DCT变换获取非关键帧解码图像。

实施例

依据图1所示，分布式视频编码理论中基于视觉感知的量化方法，其步骤依次是：

A.图像编码前，建立初始化的感知量化矩阵

A.1基于空间对比度的视觉感知阈值计算

根据待编码视频图像的大小、最佳观看距离v，计算8×8DCT变换块中各个频率系数基于空间对比度的视觉感知阈值T_b(i，j)，即：

T_b(i，j)＝exp(c·ω(i，j))/(a+b·ω(i，j))

$\mathrm{\ω}(i,j)=\frac{1}{2N}\sqrt{{(i/{\mathrm{\θ}}_x)}^2+{(j/{\mathrm{\θ}}_y)}^2}$

${\mathrm{\θ}}_h=2\·\arctan \left(\frac{{\mathrm{\Λ}}_h}{2\·v}\right),(h=x,y)$

其中，T_b(i，j)代表8×8DCT变换块中(i，j)频域系数基于空间对比度的视觉感知阈值，ω(i，j)表示8×8DCT变换块中(i，j)频域系数的空间频率，θ_h分别表示水平和垂直方向上的视角大小。常数a，b，c可根据实际测量的感知阈值拟合，本实施例以704×576大小的图像为例，观看距离取图像高度的3倍，拟合的参数值为a＝1.44，b＝0.24，c＝0.11.

A.2统计采用不同量化级数时图像的编码失真及编码码率

选取一组视频序列用于统计编码失真与码率。该视频序列集可包含不同图像内容、视频特性的序列，由此获取的初始化感知量化矩阵具有通用性；视频序列集也可针对特定应用场景，由此获取的初始化感知量化矩阵仅对特定视频场景有效。本实施例选取10个包含不同图像内容及视频特性的序列组成视频序列集，每个视频序列包含300帧图像。

首先，依次对每个视频序列的每帧视频图像进行8×8DCT变换。

然后，依次提取每个视频序列每帧图像8×8变换系数中相同位置的系数，组成系数矩阵M(i，j)。

最后，根据分布式编码时像素精度的取值确定可能的量化级数，本实施例取像素精度为8，可能的量化级数为{0，2，4，8，16，32，64，128，256}。从最小量化级数0开始对系数矩阵M(i，j)中每个系数进行编解码，并记录编码失真D(q，i，j)与码率R(q，i，j)，直到遍历完系数矩阵的所有系数及其可能的量化级数。其中，D(q，i，j)表示系数的主观感知编码失真，由A.1步骤计算得到的空间对比感知阈值T_b(i，j)、原始系数值和重建系数值确定的

D(q，i，j)＝E[d(n，f，b，q，i，j)]

$e(n,f,b,q,i,j)=c(n,f,b,i,j)-\hat{c}(n,f,b,q,i,j)$

$d(n,f,b,q,i,j)=\left\{\begin{array}{cc}0,& e(n,f,b,q,i,j)\≤T(i,j)\\ {\left[\frac{e(n,f,b,q,i,j)}{T(i,j)}\right]}^2,& e(n,f,b,q,i,j)>T(i,j)\end{array}\right.$

其中，c(n，f，b，i，j)表示第n个序列第f帧第b个8×8块中(i，j)位置上的变换系数，

是系数c(n，f，b，i，j)的重建

值，d(n，f，b，q，i，j)表示系数c(n，f，b，i，j)的主观感知失真。

A.3确定初始化感知量化矩阵

根据A.2步骤计算得到的客观编码失真D(q，i，j)与编码码率R(q，i，j)，计算系数矩阵中各系数在不同量化级数下的率失真代价值J(q，i，j)

J(q，i，j)＝D(q，i，j)+λ·R(q，i，j)

其中，λ是根据主观感知特性确定的拉格朗日参数。取率失真代价最小的量化级数作为当前系数的最佳量化级数，各系数的最佳量化级数组成初始化的感知量化矩阵。

B.编解码过程中，动态的修正感知量化步长

B.1基于背景亮度、空间位置等视觉感知阈值计算

根据当前编码的8×8DCT变换块的在图像中的位置计算当前8×8DCT变换块AC系数基于空间位置的视觉感知阈值a_fov(b)

$e(v,x)={\tan }^{-1}\left(\frac{d\left(x\right)}{\mathrm{Nv}}\right)$

$d\left(x\right)=\sqrt{x_b^2+y_b^2}$

$a_{\mathrm{fov}}\left(b\right)={\left(\frac{f_c\left(0\right)}{f_c\left(e\left(b\right)\right)}\right)}^{\mathrm{\γ}}={(\frac{e\left(b\right)}{e_2}+1)}^{\mathrm{\γ}}$

其中，v表示最佳观看距离，d(x)表示当前8×8DCT变换块的中心到图像中心点的距离，e(v，x)表示该变换块的离心度，γ是感知阈值的控制参数，本实施例中γ＝0.3。

根据当前编码的8×8DCT变换块的DC系数确定的背景亮度，计算当前8×8DCT变换块AC系数基于背景亮度的视觉感知阈值a_lum(b)。

$a_{\mathrm{lum}}\left(b\right)\left\{\begin{array}{cc}{k}_1{(1-\frac{2c(b,\mathrm{0,0})}{\mathrm{GN}})}^{{\mathrm{\λ}}_1}+1,& \mathrm{if\; c}(b,\mathrm{0,0})\≤\frac{\mathrm{GN}}{2}\\ k_2{(\frac{2c(b,\mathrm{0,0})}{\mathrm{GN}}-1)}^{{\mathrm{\λ}}_2}+1,& \mathrm{otherwise}\end{array}\right.$

其中c(b，0，0)表示当前编码的8×8DCT变换块b的DC系数，G是最大的灰度级数，N是DCT变换的维数，k₁、k₂、λ₁和λ₂是常数。本实施例中G＝256，N＝8，k₁＝2，k₂＝0.8，λ₁＝3，λ₂＝2.

B.2感知量化步长修正

根据待编码图像中当前8×8DCT变换块的视觉感知阈值a_fov(b)和a_lum(b)，对变换块中各AC系数的量化步长进行动态修正。

编码过程中：

首先，由A步骤的初始化量化矩阵，计算当前AC系数的初始化量化步长

q(i，j)＝2|C_i，j|_max/(Q(i，j)-1)

其中，q(i，j)表示AC系数的量化步长，|C_i，j|_max表示AC系数的最大值，本实施例中AC系数的最大值为2048，Q(i，j)表示初始化量化矩阵。

然后，根据B.1步骤得到的视觉感知阈值a_fov(b)和a_lum(b)，计算当前AC系数量化步长的修正值

q′(b，i，j)＝q(i，j)+f(a_lum(b)·a_fov(b))

其中，q′(b，i，j)表示待编码图像中第b个8×8DCT变换块第(i，j)系数修正后的量化步长，f(a_lum(b)·a_fov(b))表示量化步长修正值的计算函数。

最后，使用修正后的量化步长对AC系数进行量化

c_q(b，i，j)＝c(b，i，j)/q′(b，i，j)

其中，c(b，i，j)表示原始AC系数，c_q(b，i，j)表示量化后的系数值。

解码过程中：

首先，由A步骤的初始化量化矩阵，计算当前AC系数的初始化量化步长

q(i，j)＝2|C_i，j|_max/(Q(i，j)-1)

其中，q(i，j)表示AC系数的量化步长，|C_i，j|_max表示AC系数的最大值，本实施例中AC系数的最大值为2048，Q(i，j)表示初始化量化矩阵。

然后，重建当前图像中各8×8DCT变换块的DC系数

$c(b,0,0)=\left\{\begin{array}{cc}u,& c_y(b,0,0)>u\\ c_y(b,0,0),& l\&le;c_y(b,0,0)\&le;u\\ l,& c_y(b,0,0)<l\end{array}\right.$

其中，c(b，0，0)表示当前8×8DCT变换块的DC系数，c_y(b，0，0)表示边信息的DC系数，u和l分别表示由量化步长获取的重建边界值。并根据B.1步骤得到的视觉感知阈值a_fov(b)和a_lum(b)，计算当前AC系数量化步长的修正值

q′(b，i，j)＝q(i，j)+f(a_lum(b)·a_fov(b))

其中，q′(b，i，j)表示待编码图像中第b个8×8DCT变换块第(i，j)系数修正后的量化步长，f(a_lum(b)·a_fov(b))表示量化步长修正值的计算函数。

最后，使用修正后的量化步长重建AC系数

$c(b,i,j)=\left\{\begin{array}{cc}u,& c_y(b,i,j)>u\\ c_y(b,i,j),& l\&le;c_y(b,i,j)\&le;u\\ l,& c_y(b,i,j)<l\end{array}\right.$

其中，c(b，i，j)表示当前8×8DCT变换块的AC系数，c_y(b，i，j)表示边信息的AC系数，u和l分别表示由修正值后的量化步长获取的重建边界值。

下面结合附图2、3对本发明在分布式视频编解码器中的具体实施方法作进一步的详细说明。

图2所示是采用本发明基于视觉感知量化方法的分布式视频编码示意图；图3所示是采用本发明基于视觉感知量化方法的分布式视频解码示意图。本发明可适用于单视点、立体及多视点等多种视频编码框架。本实施例以单视点视频序列为例，且假定GOP为2，即偶数帧为关键帧，使用基于H.264/AVC的帧内编解码方法；基数帧为非关键帧，使用基于视觉感知量化的分布式编解码方法。其具体编解码步骤依次是：

第0帧图像编码

第0帧图像为关键帧，使用标准的H.264/AVC帧内编码方式编码，输出视频流。

第0帧图像解码

第0帧图像为关键帧，使用标准的H.264/AVC帧内解码方式解码，获取关键帧的解码图像。

第1帧图像编码

第1帧图像为非关键帧，使用基于视觉感知量化的分布式编码方式编码

1)DCT变换：将待编码图像划分为8×8大小的块，对每个8×8编码块进行DCT变换；

2)视觉感知阈值计算：DCT变换后，根据待编码图像中各个8×8DCT变换块的位置及其DC系数值，分别计算其视觉感知阈值a_fov(b)和a_lum(b)；

3)量化步长修正：首先根据初始化量化矩阵获取8×8DCT变换块中各个AC系数的量化步长；然后遍历待编码图像中各个8×8DCT变换块，根据其视觉感知阈值a_fov(b)和a_lum(b)对其各个AC系数的量化步长进行动态修正；

4)量化：使用修正后的量化步长对待编码图像中各个8×8DCT变换块进行量化；

5)信道编码：使用标准的信道编码器对量化后的DCT系数进行编码，编码后的视频流存于帧存中，根据解码器的码流请求依次发送给解码端。

第1帧图像解码

1)边信息生成：以前一关键帧的解码图像为参考，使用分布式视频编码中标准的边信息生成方法合成当前待解码图像的边信息；

2)信道解码：使用标准的信道解码器对编码端发送的视频流进行解码，获取量化后的DCT系数；

3)DC系数重建：使用分布式视频编码中标准的重建算法，重建当前图像中各个8×8DCT变换块的DC系数；

4)视觉感知阈值计算：DC系数解码后，根据待编码图像中各个8×8DCT变换块的位置及其DC系数值，分别计算其视觉感知阈值a_fov(b)和a_lum(b)；

5)反量化步长修正：首先根据初始化量化矩阵获取8×8DCT变换块中各个AC系数的量化步长；然后遍历待解码图像中各个8×8DCT变换块，根据其视觉感知阈值a_fov(b)和a_lum(b)对其各个AC系数的反量化步长进行动态修正；

6)AC系数重建：使用分布式视频编码中标准的重建算法，重建当前图像中各个8×8DCT变换块的AC系数；

7)IDCT变换：对重建后的DCT系数进行反变换，获取非关键帧的解码图像。

偶数帧图像编解码方式与第0帧图像编解码方式相同。

基数帧图像编解码方式与第1帧图像编解码方式相同。

Claims (2)

1.一种分布式视频编码中基于视觉感知特性的量化方法，根据人眼感知特征调整量化步长，避免对原始图像与边信息中人眼观察不到的误差进行编解码，包含如下步骤：

A.图像编码前，通过视频训练集，建立初始化的感知量化矩阵

A.1基于空间对比度的视觉感知阈值计算：根据待编码视频图像的大小、最佳观看距离v，计算8×8DCT变换块中各个频率系数基于空间对比度的视觉感知阈值T_b(i，j)；

A.2统计采用不同量化级数时图像的编码失真及编码码率：选取视频图像训练集中每个视频用于统计编码失真与码率；首先，依次对每个视频序列的每帧图像进行8×8DCT变换；然后，依次提取每个视频序列每帧图像8×8变换系数中相同位置的系数，组成系数矩阵M(i，j)；最后根据分布式编码时像素精度的取值确定可能的量化级数，从最小量化级数开始对系数矩阵中每个系数进行编解码，并记录编码失真D(q，i，j)与码率R(q，i，j)，直到遍历完系数矩阵的所有系数及其可能的量化级数；其中，D(q，i，j)表示主观感知编码失真，它是根据A.1步骤计算得到的空间对比感知阈值T_b(i，j)、原始系数值与重建系数值确定的；

A.3确定初始化感知量化矩阵：根据A.2步骤计算得到的客观编码失真D(q，i，j)与编码码率R(q，i，j)，计算8×8系数矩阵中各系数在不同量化级数下的率失真代价值J(q，i，j)；取率失真代价最小的量化级数作为当前系数的最佳量化级数，各系数的最佳量化级数组成初始化的8×8感知量化矩阵Q(i，j)；

注：步骤A.2中的视频序列集可包含不同图像内容、视频特性的序列，由此获取的初始化感知量化矩阵具有通用性；视频序列集也可针对特定应用场景选取，由此获取的初始化感知量化矩阵仅对特定视频场景有效；

B.视频编解码过程中，动态地修正感知量化步长

B.1基于空间位置和背景亮度的视觉感知阈值计算：根据待编码图像中当前8×8DCT变换块的位置，计算基于空间位置的视觉感知阈值a_fov(b)；同时根据该变换块的DC系数，计算基于背景亮度的视觉感知阈值a_lum(b)；

B.2感知量化步长修正：根据待编码图像中当前8×8DCT变换块的视觉感知阈值a_fov(b)和a_lum(b)，对变换块中各AC系数的量化步长进行动态修正；

编码过程中：首先，由A步骤的初始化量化矩阵，计算AC系数的初始化量化步长；然后，根据B.1步骤得到的视觉感知阈值a_fov(b)和a_lum(b)，计算AC系数量化步长的修正值；最后，使用修正后的量化步长对AC系数进行量化；

解码过程中：首先，由A步骤的初始化量化矩阵，计算AC系数的初始化量化步长；然后，重建当前图像中各8×8DCT变换块的DC系数，根据B.1步骤得到的视觉感知阈值a_fov(b)和a_lum(b)，计算AC系数量化步长的修正值；最后，使用修正后的量化步长重建AC系数。

2.根据权利要求1所述之一种分布式视频编码中基于视觉感知特性的量化方法，其特征在于，所述步骤A.2中的视频序列集可包含不同图像内容、视频特性的序列。

Images