CN103501441B - 一种基于人类视觉系统的多描述视频编码方法 - Google Patents

Abstract

本发明提供了一种基于人类视觉系统的多描述视频编码方法，其过程包括：首先读入一视频序列，对其进行奇偶帧分离，得到主信息奇数帧子序列X₁和偶数帧子序列X₂；根据JND错误预测机制分别得到重建出来的偶数帧序列和奇数帧序列经过编码模式选择模块处理后得到奇数帧一路的冗余信息Y₂和偶数帧一路的冗余信息Y₁；将主信息X₁，X₂和冗余信息Y₁，Y₂分别通过标准编码器和冗余信息编码器进行编码；编码后，X₁和Y₂形成描述1，X₂和Y₁形成描述2，通过不同信道传输到解码端进行解码。

Description

一种基于人类视觉系统的多描述视频编码方法

技术领域

本发明涉及数字视频处理技术领域，具体涉及一种基于人类视觉系统的多描述视频编码方法。

背景技术

近年来随着因特网的爆炸式发展，视频传输应用越来越广泛。然而，网络拥塞、随机比特错误和数据包丢失将导致视频压缩数据质量严重下降，这就给视频传输带来了极大挑战。因此，需要开发一种视频编解码方案，它不仅要有高压缩效率还要保证视频传输的鲁棒性。

多描述编码作为一种能在易错信道上提高传输鲁棒性的技术，吸引了越来越多的学者研究。可以假设在信源和信宿之间存在着很多信道，不可能所有信道同时在一个视频帧出错，多描述编码是在这个假设的基础上提出来的。在编码端信源产生多个比特流（称之为描述），每个比特流具有同样的优先级，在多个相互独立的信道上进行传输。在解码端，每一个描述都能被独立解码，重建用户可接受质量的视频序列；随着接收到描述数量的增加，重建视频序列质量也随之提高。

多描述视频编码的基本思想是如何利用描述的冗余信息来提高传输的鲁棒性。因此，在多描述视频编码中需要一些必要的冗余，尽管这样会降低压缩效率。在过去几年里，设计一个多描述编解码方法的主要目标是在传输比特率和重建质量之间折衷。经典多描述编码方法是利用变换和量化。根据多描述标量量化原则，设计了不同的多描述视频编码方法。多描述相关性变换被用来设计运动补偿多描述视频编码。有文献提出了X树非平衡保护多描述编码方法。尽管上述方法取得了较好的实验结果，但是这些方法不能兼容广泛应用的标准编解码器，如H.26x和MPEG系列。为了解决这个问题，国外文献中多描述视频编码通过应用H.264/AVC标准中先进的视频编码工具来引入描述间的冗余信息。此外，很多方法都是针对于某一种确定的标准编解码器而提出的，如H.264/AVC。为了提高性能，针对H.264/AVC采用了片级和宏块级的多描述视频编码方法。根据多描述采样原则，有文献提出了基于交织抽取与分块压缩感知策略的图像多描述编码方法，但是压缩效率不是很高。有文献提出了一种适用于丢包信道的小波编码图像传输方法，利用分层多描述编码来提高信源编码的容错性能，但它依赖于信源编码的结构。还有文献提出的方法只针对特定图像。上述方法都取得很好的效果，但是都没有考虑到人类视觉系统的特性，忽略了无论图像还是视频，最终的接收者都是人类视觉系统。

发明内容

本发明的目的在于针对上述技术中存在的问题，提供一种基于人类视觉系统的多描述视频编码方法。为每个描述分配必要的冗余信息，避免可能产生的视觉失真，设计了不同的编码模式来生成冗余信息并用JND（Just Noticeable Distortion）调整残差信息，实现丢失视频帧的高质量恢复。

为了实现上述目的，本发明采用的技术方案为：

一种基于人类视觉系统的多描述视频编码方法，其过程包括：

（1）首先读入一视频序列，对其进行奇偶帧分离，得到主信息奇数帧子序列X₁和偶数帧子序列X₂；

（2）根据JND错误预测机制分别得到重建出来的偶数帧序列和奇数帧序列

（3）经过编码模式选择模块处理后得到奇数帧一路的冗余信息Y₂和偶数帧一路的冗余信息Y₁；

（4）将主信息X₁，X₂和冗余信息Y₁，Y₂分别通过标准编码器和冗余信息编码器进行编码；

（5）编码后，X₁和Y₂形成描述1，X₂和Y₁形成描述2，通过不同信道传输到解码端进行解码。

其中，所述JND错误预测机制的重建过程为：

在编码端，对于奇数帧构成的视频子序列，首先用奇数帧视频序列通过帧内插方式重建出偶数帧视频序列，如图2所示，然后对重建出来的偶数帧进行分块，取块大小为a×b，结合真实的偶数帧和JND信息，求出每一块中变化范围超过JND值的像素所占的比例T；

对于偶数帧视频子序列，用偶数帧序列通过帧内插方式重建出奇数帧序列，然后对重建出来的奇数帧进行分块，取块大小为a×b，结合真实的奇数帧和JND信息，求出每一块中变化范围超过JND值的像素所占的比例T。

JND(Just Noticeable Distortion）即刚能觉察到的失真，对于视频图像来说，它表示人眼不能觉察到的最大的图像失真。JND揭示了人眼对图像中某个点的像素值改变的容忍度阈值。心理学实验表明，由于HVS（Human Vision System）对时间和空间频率的敏感性和掩藏特性，人眼很难感觉到低于JND阈值的变化。这里的JND指的是时空域的JND。

其中，所述JND信息包括空域JND信息和时空域JND信息，JND信息的获取过程也包括这两方面信息的获取。

空域JND的获取

空域JND主要由两部分决定，即背景亮度自适应和纹理掩藏效应。HVS对亮度对比度的敏感性远高于对绝对亮度值的敏感性。由于纹理区域的非均一性，导致了纹理区域比平坦区域可以隐藏更多信号失真。在任何视频序列当中，这两种特性都是共同作用的。

JND_s(x,y)＝T_l(x,y)+T_t(x,y)-C_lt×min{T_l(x,y),T_t(x,y)}

其中，T_l(x,y)和T_t(x,y)分别表示背景亮度自适应和纹理掩藏的效果；C_lt用来调整两个因素之间的叠加程度，0＜C_lt＜1，在本发明中取C_lt=0.3。

其中，是像素点(x,y)处的局部平局亮度值。它由(x,y)周围5×5邻域内像素值的加权得到，如下所示：

$\stackrel{\‾}{I}(x,y)=\frac{1}{32}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}I(x-3+i,y-3+j)\·B(i,j)$

式中I(x,y)是像素点(x,y)位置处的像素值，B(i,j)是如图3(a)所示的加权低通滤波器。

T_t(x,y)＝η·G(x,y)·W_e(x,y)

其中，η是控制参数，在本发明中取η=0.117，G(x,y)是(x,y)处像素在如图3(b)(c)(d)(e)高通滤波器所示的四个方向上的最大梯度值，W_e(x,y)是与边缘相关的像素加权值。

$G(x,y)=\underset{k=\mathrm{1,2,3,4}}{\max }\left\{\right|{\mathrm{grad}}_k(x,y)\left|\right\}$

式中grad_k(x,y)是(x,y)处像素在某一个方向上的梯度值。

${\mathrm{grad}}_k(x,y)=\frac{1}{16}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}I(x-3+i,y-3+j)\·g_k(i,j)$

其中，g_k(i,j)是如图3(b)(c)(d)(e)所示的高通滤波器。

W_e＝L*h

式中L是原始视频帧的边缘信息，h是一个k×k的高斯低通滤波器，在本发明中k＝7且σ＝0.8。

时空域JND的获取

时域效果可以作为空域JND幅值的伸缩因子。一般来说，帧间差异越大，其时域隐藏效果也越强，因此时空域的JND模型可以表示为

JND(x,y,t)＝f(ild(x,y,t))·JND_s(x,y)

式中ild(x,y,t)代表了第t帧和第t-1帧之间的像素值差异，

$\mathrm{ild}(x,y,t)=\frac{1}{2}(I(x,y,t)-I(x,y,t-1)+\stackrel{\‾}{I}(x,y,t)-\stackrel{\‾}{I}(x,y,t-1))$

函数f(x)为一个经验函数，如图4所示。

其中，所述编码模式选择包括：

下面以奇数帧一路为例来阐述编码模式的选择。根据JND错误预测机制重建的模块中所得比例T，设置阈值T₁，如果重建块中像素变化超过JND值的像素所占的比例T＜T₁，该模式定义为Mode1;如果重建块中像素变化超过JND值的像素所占的比例T≥T₁，该模式定义为Mode2，此时需要对重建块进行补偿；如果重建块在经过Mode2中的补偿之后其像素变化超过JND值的像素所占的比例还是T≥T₁，该模式定义为Mode3，如图5所示。

（1）Mode1时，重建块中像素变化超过JND值的像素所占的比例T＜T₁，说明不需要任何冗余信息只依靠主信息的重建质量就能达到满意效果，采用灵活的Skip模式，降低了码率；

（2）Mode2时，重建块中像素变化超过JND值的像素所占的比例T≥T₁，说明重建块需要一部分冗余信息来提高块的重建质量，把运动矢量MV作为冗余信息传送到解码端，过程如下：用I(t)的当前块通过运动估计在I(t-1)中寻找差异最小块，记录其运动矢量MV,如图6所示;

（3）Mode3时，经过Mode2中运动矢量的补偿后重建块中像素变化超过JND值的像素所占的比例T≥T₁，说明块的重建质量很差，需要传送Mode2中的运动矢量MV，还需要传送残差信息，运动矢量MV的获取过程同Mode2，找到运动矢量MV后，用当前块减去I(t-1)中差异最小块得到另一部分冗余信息，即残差数据。

由于运动矢量要无失真地传输到解码端，所以直接对运动矢量信息进行算术编码，而对于残差数据，首先用JND信息进行调整，即残差大于对应的JND值时保持不变，小于对应的JND值时直接置0，这样残差的熵就变小了，然后再进行DCT变换，量化取整，而后进行算术编码，传送到解码端进行解码。

其中，所述编码模式中的参数T₁的选择：

由于阈值T₁的选择直接和冗余信息多少相关，T₁大致和冗余信息多少呈反比关系，即T₁取值太小，冗余信息就会很多；T₁取值太大，冗余信息就会很少，对视频序列的重建质量提高不明显。所以可以根据信道带宽的大小或者用户要求的视频的主观重建质量确定冗余多少，进而确定阈值T₁。

其中，本发明的多描述编码方法采用PSPNR(Peak Signal Perceptual NoiseRatio,PSPNR)作为评价标准，由于PSPNR只考虑失

$\mathrm{PSPNR}\left(t\right)=10{\log }_{10}\frac{255\×\stackrel{\·\·\·\·\·}{255}}{\frac{1}{\mathrm{MN}}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{\left(\right|I(x,y,t)-\hat{I}(x,y,t)|-\mathrm{JND}(x,y,t))}^2\mathrm{\δ}(x,y,t)}$

真超过JND阈值的情况，它能更好的的反应人眼对重建视频的评价：

其中，I(x,y,t)和分别代表原始视频序列第t帧和重建视频序列第t帧

有益效果

本发明的多描述视频编码方法的主要优点：

在编码端通过预测单路解码，为每个描述分配必要的冗余信息，避免可能产生的视觉失真；

考虑到视频编码压缩效率问题，进一步设计了不同的编码模式来生成冗余信息并用JND（Just Noticeable Distortion）调整残差信息；

在解码端可以充分利用冗余信息，从而实现丢失视频帧的高质量恢复。

附图说明

图1为本发明的多描述视频编码方法示意框图；

图2为用奇数帧视频序列通过帧内插方式重建出偶数帧视频序列的具体过程的示意图；

图3为本发明的编码方法中获取空域JND所用的低通和高通滤波器，图3(a)为加权低通滤波器，图3(b)(c)(d)(e)为高通滤波器；

图4为本发明的编码方法中获取时空域JND所用经验函数f(x)

图5为本发明的编码方法中编码模式的选择过程的示意框图；

$\mathrm{PSPNR}\left(t\right)=10{\log }_{10}\frac{255\×\stackrel{\·\·\·\·\·}{255}}{\frac{1}{\mathrm{MN}}\underset{x=1}{\overset{M}{\mathrm{\Σ}}}\underset{y=1}{\overset{N}{\mathrm{\Σ}}}{\left(\right|I(x,y,t)-\hat{I}(x,y,t)|-\mathrm{JND}(x,y,t))}^2\mathrm{\δ}(x,y,t)}$

图6为重建块中获取运动矢量和残差的过程示意图；

图7为各视频序列在收到一个描述和两个描述且丢包率为0时本发明方法和传统方法比较的示意图；

图8为Soccer序列在不同丢包率的情况下本发明方法和传统方法比较的示意图；

图9为4个视频序列在丢包率为0，QP=25的情况下本发明方法对各视频序列的主观重建质量的示意图。

具体实施方式

下面结合附图对本发明进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

为了验证本发明方法的有效性和先进性，我们采用如表1所示4个具有不同格式空间分辨率的标准视频序列来测试本系统的性能。将本发明方法和文献提出的方法（传统方法）在不同条件下视频主观的重建质量（Y分量的PSPNR平均值）进行了比较。为了比较公平起见，在处理过程中，两种方法均选取各视频序列的前100帧，块大小都取为16×16，冗余信息取主信息码率的10%左右。其中，主信息均通过HEVC（HM-8.2，GOPsize设置为4，MaxCUWidth和MaxCUHeight设置为64，IntraPeriod设置为-1，TransformSkip和TransformSkipFast设置为0）进行编码，冗余信息用采用算术编码（Arith06）方法进行编码。表2以接收到两个描述为例给出了本发明方法和传统方法在不同丢包率下的情况下重建视频质量的比较，为了保证取值的准确性，每个数据均测试10次，然后求其平均值。

表1输入的视频序列

序列名称	序列格式	序列分辨率	输入帧数和帧率
				News	QCIF	176×144	100@30fps
Paris	CIF	352×288	100@30fps
				Soccer	4CIF	704×576	100@30fps
City	720P	1280×720	100@60fps

表2不同丢包率下两种方法的比较

表2列出了本发明方法和传统方法在相同码率不同丢包率下视频序列的重建情况。从表中可以看出随着丢包率的增加本发明方法相比于传统方法的增益逐渐减小，这是因为随着丢包率的增加主信息会遭到越来越严重的破坏，补偿所起的作用会越来越小，因此重建视频质量将会随之下降。但是soccer序列在丢包率为10%，比特率为450kpbs时仍然有0.2dB以上的提高，说明了本发明方法在比较高的丢包率情况下有很好的鲁棒性。

如图7(a)和(b)所示，在丢包率为0的情况下，对于小分辨率视频序列如qcif和cif格式，在低码率情况下，传统方法比本发明方法有0.5dB的增益。但是,在高码率情况下,本发明方法比传统方法有1-2dB以上的提高。另外，如图7(c)和(d)所示，对于大分辨率视频序列，在4cif格式下平均可以提高1.3-2dB，在720p格式下，本发明方法一个描述比传统方法两个描述的重建质量还要好，在高码率下甚至有6dB左右的提高，其原因主要是由于高码率情况下本发明方法的冗余分配能够起到更好的作用。由图8可以看出，即使存在丢包的情况下本发明方法依然优于传统方法。图9给出了各视频序列的主观重建质量，从图中可以看出，News、Paris和City只需要一个完整的描述就可以保证重建质量，Soccer序列在一个描述时重建质量很差，其原因是视频序列中的运动过于剧烈。从而验证了本发明方法的有效性和先进性。

本申请中，所用soccer、city等英文为视频编码领域的通用标准测试序列，一般也都以英文出现。

最后应说明的是：显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。

Claims (3)

1.一种基于人类视觉系统的多描述视频编码方法，其特征在于，过程包括：

(1)首先读入一视频序列，对其进行奇偶帧分离，得到主信息奇数帧子序列X₁和偶数帧子序列X₂；

(2)根据JND错误预测机制分别得到重建出来的偶数帧序列和奇数帧序列

(3)经过基于JND值的编码模式选择模块处理后得到奇数帧一路的冗余信息Y₂和偶数帧一路的冗余信息Y₁；

(4)将主信息X₁，X₂和冗余信息Y₁，Y₂分别通过标准编码器和冗余信息编码器进行编码；

(5)编码后，X₁和Y₂形成描述1，X₂和Y₁形成描述2，通过不同信道传输到解码端进行解码；

所述JND错误预测机制的重建过程为：

在编码端，对于奇数帧构成的视频子序列，首先用奇数帧视频序列通过帧内插方式重建出偶数帧视频序列，然后对重建出来的偶数帧进行分块，取块大小为a×b，结合真实的偶数帧和JND信息，求出每一块中变化范围超过JND值的像素所占的比例T；

对于偶数帧视频子序列，用偶数帧序列通过帧内插方式重建出奇数帧序列，然后对重建出来的奇数帧进行分块，取块大小为a×b，结合真实的奇数帧和JND信息，求出每一块中变化范围超过JND值的像素所占的比例T。

2.如权利要求1所述的多描述视频编码方法，其特征在于：所述JND信息包括空域JND信息和时空域JND信息，JND信息的获取过程也包括这两方面信息的获取。

3.如权利要求2所述的多描述视频编码方法，其特征在于：空域JND主要由两部分决定，即背景亮度自适应和纹理掩藏效应，HVS对亮度对比度的敏感性远高于对绝对亮度值的敏感性，由于纹理区域的非均一性，导致了纹理区域比平坦区域可以隐藏更多信号失真，在任何视频序列当中，这两种特性都是共同作用的；

JND_s(x,y)＝T_l(x,y)+T_t(x,y)-C_lt×min{T_l(x,y),T_t(x,y)}

其中，T_l(x,y)和T_t(x,y)分别表示背景亮度自适应和纹理掩藏的效果；C_lt用来调整两个因素之间的叠加程度，0＜C_lt＜1；

其中，是像素点(x,y)处的局部平局亮度值，它由(x,y)周围5×5邻域内像素值的加权得到，即

$\stackrel{\‾}{I}(x,y)=\frac{1}{32}\underset{i=1}{\overset{5}{\Σ}}\underset{j=1}{\overset{5}{\Σ}}I(x-3+i,y-3+j)\·B(i,j)$

式中I(x,y)是像素点(x,y)位置处的像素值，B(i,j)是加权低通滤波器，

T_t(x,y)＝η·G(x,y)·W_e(x,y)

其中，η是控制参数，取η＝0.117，G(x,y)是(x,y)处像素在高通滤波器所示的四个方向上的最大梯度值，W_e(x,y)是与边缘相关的像素加权值，

$G(x,y)=\underset{k=1,2,3,4}{max}\left\{\right|{\mathrm{grad}}_k(x,y)\left|\right\}$

式中grad_k(x,y)是(x,y)处像素在某一个方向上的梯度值，

${\mathrm{grad}}_k(x,y)=\frac{1}{16}\underset{i=1}{\overset{5}{\Σ}}\underset{j=1}{\overset{5}{\Σ}}I(x-3+i,y-3+j)\·g_k(i,j)$

其中，g_k(i,j)是高通滤波器，

W_e＝L*h

式中L是原始视频帧的边缘信息，h是一个n×n的高斯低通滤波器，n＝7且σ＝0.8。