CN104469386A - 一种基于dof的恰可察觉误差模型的感知立体视频编码方法 - Google Patents

Abstract

本发明属于视频处理技术领域，具体公开了一种基于DOF的恰可察觉误差模型的感知立体视频编码方法，其实现步骤为：(1)计算基于DOF和视差的亮度JND模型；(2)计算基于视差的纹理JND模型；(3)根据非线性加和模型取得本发明所提出的基于DOF的JND模型DJND(x,y)；(4)将基于DOF的JND模型通过重置量化参数用于立体编码。本发明可有效的消除时间、空间以及视间冗余，并且成功地提高了S3D视频图像质量和视觉舒适，使纹理和边缘区域都保持着十分舒适的视觉效果。本发明能在改善和保持立体视觉感知质量的前提下，大幅度的降低了立体视频码率。

Description

一种基于DOF的恰可察觉误差模型的感知立体视频编码方法

技术领域

本发明属于视频处理技术领域，具体涉及一种感知立体视频编码方法，特别是一种基于DOF的恰可察觉误差模型的感知立体视频编码方法。

背景技术

随着3D立体视频媒体技术的飞速发展，人们对逼真的视觉体验需求也在逐渐增强。由立体摄像机捕获的S3D视频可以给用户提供更加生动的体验。不幸的是，与现实场景相比，S3D显示器经常会在3D效果上产生一些失真，这些失真会对人类双视视觉造成刺激，引起不适和视觉疲劳。它们通常是由不恰当的屏幕视差，巨大视差差异以及不自然的模糊和锐化造成的。因此，对于立体视频感知编码，在保证存储空间和传输带宽的前提下，有效的提高视觉舒适度和视频质量是非常有必要的。为了实现这一点，基于人类视觉深度感知的立体视频编码是非常有研究价值的。

由于最终接收视频信号的通常是人类视觉系统(HVS)，所以将人类视觉感知因子融合到视频编码结构将能够更好地保持视频的感知质量。立体视频编码就是要在消除视频序列的空间、时间冗余的同时，重点考虑了视间冗余信息的压缩，在不损失视频质量的前提下降低码率。目前，大量的感知视频编码方法被提出。有基于显著度的方法、基于ROI的方法、基于分析和合成的方法等，其中结合人类视觉系统掩蔽机能的恰可察觉误差模型(JND)的编码方法起到了重要作用。JND模型通过模拟人类视觉感知冗余得到一个灵敏度阈值，当编码失真低于这个阈值时是不能被肉眼所感知的。该失真阈值是客观存在于每个编码信号上的并且可用于重新分配码率从而达到编码的目的。

现有的恰可察觉误差模型，通常包括DCT域JND模型和像素域JND模型。DCT域JND模型考虑了通道间的交互作用，空间对比度敏感效应和时间对比度敏感效应，并结合了人类视觉频率效应。它利用每个频率段敏感度的对比灵敏度函数(CSF)把人眼的视觉特性融入了模型中，但是算法相对像素域较为复杂。

2013年Dongdong Zhang和Lijing Gao等在IEEE InternationalConference on Signal and Image Processing Applications(ICSIPA)上名为“A DCT-Domain JND Model Based on Visual Attention for Image”的论文中提出了一种DCT域的基于ROI的JND模型。它结合了调制函数的建立，在频率域JND阈值上基于图像显著度和纹理特征，同时考虑了视觉注意效应和视觉掩蔽效应，提出了一种新颖的DCT域JND模型。可有效用于图像、视频编码，但是变换域的计算量较大。

与DCT域相比像素域JND模型算法简单，计算量较小。空间域JND模型、时域权重JND模型、中央凹JND模型以及基于深度图的JND模型。空间域JND模型有效的体现了亮度、纹理掩蔽效应，而时域权重JND模型考虑了时域掩蔽效应。中央凹JND模型表现了双目中央凹掩蔽效应，它是集成了人类视网膜中央凹特征和传统的视觉敏感度特征得到的。但是由于这些模型没有考虑视间冗余的特性，所以并不能准确的用于双目立体视频编码。

2011年Lei Zhang和Qing Peng等在IEEE Transactions onBroadcasting上一篇名为“Stereoscopic Perceptual Video Coding Basedon Just-Noticeable-Distortion Profile”的论文中提出了一种基于立体显示器的中央凹权重恰可觉察失真模型。其根据观察者距显示器的距离和人类视觉的关注点间的角度信息得到每个像素的中央凹权重恰可觉察失真阈值。并利用块自适应残差预处理器调整残差帧，用于视频编码，达到了较好的立体视频编码效果。但是该方法对立体显示器的依赖性较高，可扩展性不强，使得编码软件的编码效率降低。

2013年在名为“一种基于双目恰可察觉失真的立体视频码率控制方案”的NO.CN103414889A专利中提出了一种基于亮度JND模型的双目恰可察觉失真模型。该方法通过对目标码率的计算来实现码率控，分别针对的是视点层，图像组层，帧层，片组层和宏块层，通过在左视点每个像素位置上偏移一个视差矢量，得到的像素亮度对比度来计算该JND模型，它会过分依赖于左视点，将基于左视得到的阈值用于右视图，并不能充分体现双目视差冗余信息。

发明内容

本发明的目的在于解决上述现有技术的不足，提出了一种基于DOF的恰可察觉误差模型的感知立体视频编码方法。

实现本发明目的的技术方案是：一种基于DOF的恰可察觉误差模型的

感知立体视频编码方法，包括如下步骤：

(1)计算基于DOF和视差的亮度JND模型：

1a)计算原始亮度JND模型LJND(x,y)；

1b)根据视差信息求得高斯低通滤波强度ε(x,y)；

1c)对每个块进行高斯低通滤波，得到滤波的JND模型FLJND(x,y)：

$\mathrm{FLJND}(x,y)=\frac{1}{G}\·\left\{\underset{n\∈B}{\mathrm{\Σ}}{e}^{[(-\frac{{\left|\right|l-n\left|\right|}^2}{2\·\mathrm{\ϵ}{(x,y)}^2})\·\mathrm{LJND}(x,y)]}\right\},$

$G=\underset{n\∈B}{\mathrm{\Σ}}{e}^{-\frac{{\left|\right|l-n\left|\right|}^2}{2\·\mathrm{\ϵ}{(x,y)}^2}},$

其中,B是以像素l为中心的5*5的块，||·||是欧氏距离，ε(x,y)是滤波强度；

1d)将块平均深度值融合到滤波后的亮度JND模型FLJND(x,y)，得到基于DOF和视差的亮度JND模型DLJND(x,y)：

$\mathrm{DLJND}=e^{-2\·\stackrel{\‾}{\mathrm{Dep}(x,y)}}\·\mathrm{FLJND}(x,y)+\∂,$

其中，

(2)计算基于视差的纹理JND模型：

2a)计算原始纹理JND模型TJND(x,y)；

2b)利用块平均深度值处理纹理JND模型TJND(x,y)来区分前景和背景，得到基于视差的纹理JND模型；

$\mathrm{DTJND}=e^{-2\·\stackrel{\‾}{\mathrm{Dep}(x,y)}}\·\mathrm{TJND}(x,y),$

(3)根据非线性加和模型取得基于DOF的JND模型DJND(x,y)：

DJND＝DLJND+DTJND-φ·min{DLJND,DTJND}，

其中，DLJND是基于视差和DOF的亮度JND模型，DTJND是基于视差的纹理JND模型，φ＝0.3；

(4)将基于DOF的JND模型通过重置量化参数用于立体编码：

4a)根据所提出的基于DOF的JND阈值DJND(x,y)得到用于调整量化参数的调节参数ν：

$v=\sqrt{\mathrm{\α}+\mathrm{\β}\·{(1+e^{-\mathrm{\μ}\·\frac{{\mathrm{DJND}}_i-\stackrel{\‾}{\mathrm{DJND}}}{\stackrel{\‾}{\mathrm{DJND}}}})}^{-1}},$

其中，DJND_i是第i个宏块的平均JND阈值，是每一帧的平均JNG阈值，α＝0.2，β＝1.8，μ＝4；

4b)用调节参数ν调整每个宏块的量化参数：

QP_i＝ν·QP_o，

4c)根据率失真最优化原理和重置后的量化参数QP_i，计算出优化参数λ，它用于平衡码率和失真之间的关系：

min(J)＝min(D+λ·R)，

$\frac{\∂J}{\∂R}=\frac{\∂D}{\∂R}+\mathrm{\λ}=0,$

$\mathrm{\λ}=0.85\·2^{({\mathrm{QP}}_i-12)/3}.$

其中，D表示失真信息，R表示码率，λ是拉格朗日乘子，J是编码损耗。

上述步骤1a)中计算原始亮度JND模型LJND(x,y)，按如下步骤进行：

1a1)求出每个块的平均背景亮度值

$\stackrel{\‾}{P(x,y)}=\frac{1}{32}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}P(x-3+i,y-3+j)\·B(i,j),$

其中，B(i,j)是如下所示的矩阵,我们利用该矩阵对图像进行低通滤波，

$\left[\begin{array}{ccccc}1& 1& 1& 1& 1\\ 1& 2& 2& 2& 1\\ 1& 2& 0& 2& 1\\ 1& 2& 2& 2& 1\\ 1& 1& 1& 1& 1\end{array}\right];$

1a2)由亮度掩蔽效应得到原始亮度JND模型LJND(x,y)：

$\mathrm{LJND}(x,y)=\left\{\begin{array}{c}17(1-\sqrt{\frac{\stackrel{\‾}{P(x,y)}}{12}})+3,\mathrm{if}\stackrel{\‾}{P(x,y)}\≤127\\ \frac{3}{128}(\stackrel{\‾}{P(x,y)}-127)+3,\mathrm{otherwise}\end{array}\right..$

上述步骤1b)中根据视差信息求得高斯低通滤波强度ε(x,y)，按如下步骤进行：

1b1)根据视差信息得到每个块的平均深度值

$\stackrel{\‾}{\mathrm{Dep}(x,y)}=\frac{1}{25}\underset{i=-2}{\overset{2}{\mathrm{\Σ}}}\underset{j=-2}{\overset{2}{\mathrm{\Σ}}}D(x+i,y+j),$

其中，D(x,y)是像素(x,y)的视差信息；

1b2)计算滤波强度ε(x,y)：

$\mathrm{\ϵ}(x,y)={[\mathrm{\ψ}+e^{[-\mathrm{\σ}\·\stackrel{\‾}{\mathrm{Dep}(x,y)}-\mathrm{\τ}]}]}^2,$

其中，σ＝10，τ＝0.6，ψ＝1。

上述步骤2a)中所述的计算原始纹理JND模型TJND(x,y)，按如下步骤进行：

2a1)计算像素点(x,y)周围四个方向的梯度：

${\mathrm{grad}}_m(x,y)=\frac{1}{16}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}P(x-3+i,y-3+j)\·g_m(i,j),$

求得它的最大的加权平均梯度：

$G_r(x,y)=\underset{m=\mathrm{1,2,3,4}}{\max }\left\{\right|{\mathrm{grad}}_m(x,y)\left|\right\},$

其中，g_m(i,j)是如下所示的四个矩阵，它们分别用来对纹理区域的四个方向进行高通滤波；这四个方向分别是：0°，45°，90°和135°，依次对应如下四个矩阵：

$\left[\begin{array}{ccccc}0& 1& 0& -1& 0\\ 0& 3& 0& -3& 0\\ 0& 8& 0& -8& 0\\ 0& 3& 0& -8& 0\\ 0& 1& 0& -1& 0\end{array}\right]\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 0& 3& 8& 0\\ -1& -3& 0& 3& 1\\ 0& -8& -3& 0& 0\\ 0& 0& -1& 0& 0\end{array}\right]$

$\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 1& 3& 8& 3& 1\\ 0& 0& 0& 0& 0\\ -1& -3& -8& -3& -1\\ 0& 0& 0& 0& 0\end{array}\right]\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 8& 3& 0& 0\\ 1& 3& 0& -3& -1\\ 0& 0& -3& -8& 0\\ 0& 0& -1& 0& 0\end{array}\right]$

2a2)由canny边缘检测得到原始纹理JND模型TJND：

TJND＝ξ·G_r(x,y)·W_e(x,y)

其中，G_r(x,y)是像素(x,y)周围梯度的平均权重，W_e(x,y)表示一个边缘相关的权重模型，ξ＝0.117。

本发明的有益效果：本发明根据左、右视点的视差信息得到每个块的平均深度值，在计算JND模型时用于区分前景和背景，并在亮度JND模型中采用的选择低通滤波器中用来确定滤波强度，可对不同区域带来不同程度的模糊，更适合人类视觉特性，改善视觉舒适度，能有效的消除双视立体视频的视间感知冗余，并且提高立体感知质量，与现有技术相比，具体有以下优点：

1.本发明通过利用视差信息得到块平均深度值，并用于改善现有的亮度和纹理JND模型，分别对前景和背景估计出不同的阈值，不仅有效的消除了空间冗余，还很好的消除了不必要的视差感知冗余，解决现有JND模型过估计前景区域和弱估计背景区域的问题，能更好的维持前景区域的立体感知质量，提高该区域的质量会使得所图像质量整体更为完善，从而带来更好的视觉感知体验；

2.本发明将深度模糊理论应用于亮度JND模型的改善，用块平均深度值信息求得高斯低通滤波器强度，似的前景滤波弱，而背景滤波强度体高使该区域适当模糊化，适应了人类双视感知特性，提高了视觉舒适度；

3.本发明所提出的JND模型用于MVC编码结构，是通过重置量化参数来实现的，由深度值信息得到的调整参数可以使前景区域量化弱，背景区域量化强，从而将背景区域的码率分给前景，提高前景的感知质量，而背景的适当模糊是与人类双视立体感知特性相符的，完美的结合了人类视觉系统的掩蔽机制，在降低码率的同时提高视觉舒适度。

仿真实验结果表明，本发明结合视差信息得到块平均深度值来区分前景和背景，能更好的维持前景区域的立体质量，并且将其用于原始空间域JND模型不仅可有效的消除空间冗余，还可以有效的消除不必要的视差感知冗余，使得编码效果明显的提升了，并且在亮度JND模型上加入了DOF效应，使背景区域适当模糊化，适应了人类双视感知特性，提高了视觉舒适度，是一种性能良好的感知立体视频编码方法。

附图说明

图1是将本发明融入JMVC的框架图；

图2分别是原始亮度、纹理、空间域JND模型与本发明的对比图；

图3是调节参数ν的图像示例；

图4是用于本发明仿真实验的图像；

图5是利用JMVC的方法和本发明方法重建帧图像的细节对比图示例。

图6是利用JMVC的方法和本发明方法重建帧图像的细节对比图示例。

图7是利用JMVC的方法和本发明方法重建帧图像的细节对比图示例。

具体实施方式

如图1所示，本发明的实现步骤如下：

步骤1、计算基于DOF和视差的亮度JND模型

1a)计算原始亮度JND模型LJND(x,y)；

(1a1)求出每个块的平均背景亮度值

$\stackrel{\‾}{P(x,y)}=\frac{1}{32}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}P(x-3+i,y-3+j)\·B(i,j),$

其中，B(i,j)是如下所示的矩阵，我们利用该矩阵对图像进行低通滤波，

$\left[\begin{array}{ccccc}1& 1& 1& 1& 1\\ 1& 2& 2& 2& 1\\ 1& 2& 0& 2& 1\\ 1& 2& 2& 2& 1\\ 1& 1& 1& 1& 1\end{array}\right]$

(1a2)由亮度掩蔽效应得到原始亮度JND模型LJND(x,y)：

$\mathrm{LJND}(x,y)=\left\{\begin{array}{c}17(1-\sqrt{\frac{\stackrel{\‾}{P(x,y)}}{12}})+3,\mathrm{if}\stackrel{\‾}{P(x,y)}\≤127\\ \frac{3}{128}(\stackrel{\‾}{P(x,y)}-127)+3,\mathrm{otherwise}\end{array}\right.,$

1b)根据视差信息求得高斯低通滤波强度ε(x,y)：

(1b1)根据视差信息得到每个块的平均深度值

$\stackrel{\‾}{\mathrm{Dep}(x,y)}=\frac{1}{25}\underset{i=-2}{\overset{2}{\mathrm{\Σ}}}\underset{j=-2}{\overset{2}{\mathrm{\Σ}}}D(x+i,y+j),$

其中，D(x,y)是像素(x,y)的视差信息；

(1b2)计算滤波强度ε(x,y)：

$\mathrm{\ϵ}(x,y)={[\mathrm{\ψ}+e^{[-\mathrm{\σ}\·\stackrel{\‾}{\mathrm{Dep}(x,y)}-\mathrm{\τ}]}]}^2,$

其中，σ＝10，τ＝0.6，ψ＝1；

1c)对每个块进行高斯低通滤波，得到滤波的JND模型FLJND(x,y)：

$\mathrm{FLJND}(x,y)=\frac{1}{G}\·\left\{\underset{n\∈B}{\mathrm{\Σ}}{e}^{[(-\frac{{\left|\right|l-n\left|\right|}^2}{2\·\mathrm{\ϵ}{(x,y)}^2})\·\mathrm{LJND}(x,y)]}\right\},$

$G=\underset{n\∈B}{\mathrm{\Σ}}{e}^{-\frac{{\left|\right|l-n\left|\right|}^2}{2\·\mathrm{\ϵ}{(x,y)}^2}},$

其中，B是以像素l为中心的5*5的块，||·||是欧氏距离，ε(x,y)是滤波强度。

1d)将块平均深度值融合到滤波后的亮度JND模型FLJND(x,y)，得到基于DOF和视差的亮度JND模型DLJND(x,y)：

$\mathrm{DLJND}=e^{-2\·\stackrel{\‾}{\mathrm{Dep}(x,y)}}\·\mathrm{FLJND}(x,y)+\∂,$

其中，

步骤2、计算基于视差的纹理JND模型

2a)计算原始纹理JND模型TJND(x,y)：

(2a1)计算像素点(x,y)周围四个方向的梯度：

${\mathrm{grad}}_m(x,y)=\frac{1}{16}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}P(x-3+i,y-3+j)\·g_m(i,j),$

求得它的最大的加权平均梯度：

其中，g_m(i,j)是如下所示的四个矩阵，它们分别用来对纹理区域的四个方向进行高通滤波，这四个方向分别为：0°，45°，90°和135°；

$\left[\begin{array}{ccccc}0& 1& 0& -1& 0\\ 0& 3& 0& -3& 0\\ 0& 8& 0& -8& 0\\ 0& 3& 0& -8& 0\\ 0& 1& 0& -1& 0\end{array}\right]\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 0& 3& 8& 0\\ -1& -3& 0& 3& 1\\ 0& -8& -3& 0& 0\\ 0& 0& -1& 0& 0\end{array}\right]$

$\left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 1& 3& 8& 3& 1\\ 0& 0& 0& 0& 0\\ -1& -3& -8& -3& -1\\ 0& 0& 0& 0& 0\end{array}\right]\left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 8& 3& 0& 0\\ 1& 3& 0& -3& -1\\ 0& 0& -3& -8& 0\\ 0& 0& -1& 0& 0\end{array}\right]$

(2a2)由canny边缘检测得到原始纹理JND模型TJND：

TJND＝ξ·G_r(x,y)·W_e(x,y)，

其中，G_r(x,y)是像素(x,y)周围梯度的平均权重，W_e(x,y)表示一个边缘相关的权重模型，ξ＝0.117。

2b)利用块平均深度值处理纹理JND模型TJND(x,y)来区分前景和背景，得到基于视差的纹理JND模型；

$\mathrm{DTJND}=e^{-2\·\stackrel{\‾}{\mathrm{Dep}(x,y)}}\·\mathrm{TJND}(x,y).$

步骤3、根据非线性加和模型取得本发明所提出的基于DOF的JND模型DJND(x,y)

DJND＝DLJND+DTJND-φ·min{DLJND,DTJND}，

其中，DLJND是基于视差和DOF的亮度JND模型，DTJND是基于视差的纹理JND模型，φ＝0.3。

步骤4、将基于DOF的JND模型通过重置量化参数用于立体编码：

4a)根据所提出的基于DOF的JND阈值DJND(x,y)得到用于调整量化参数的调节参数ν：

$v=\sqrt{\mathrm{\α}+\mathrm{\β}\·{(1+e^{-\mathrm{\μ}\·\frac{{\mathrm{DJND}}_i-\stackrel{\‾}{\mathrm{DJND}}}{\stackrel{\‾}{\mathrm{DJND}}}})}^{-1}},$

其中，DJND_i是第i个宏块的平均JND阈值，是每一帧的平均JNG阈值，α＝0.2，β＝1.8，μ＝4。

4b)用调节参数ν调整每个宏块的量化参数：

QP_i＝ν·QP_o，

4c)根据率失真最优化(RDO)原理和重置后的量化参数QP_i，计算出优化参数λ，它用于平衡码率和失真之间的关系：

min(J)＝min(D+λ·R)，

$\frac{\∂J}{\∂R}=\frac{\∂D}{\∂R}+\mathrm{\λ}=0,$

$\mathrm{\λ}=0.85\·2^{({\mathrm{QP}}_i-12)/3}.$

其中，D表示失真信息，R表示码率，λ是拉格朗日乘子，J是编码损耗。

本发明的效果可以通过以下仿真实验进一步说明：

1.仿真条件：

在CPU为Intel(R)Core^TM2核处理器T6670：主频2.2GHZ，内存2G，操作系统：WINDOWS 7，仿真平台：JMVC。

仿真选择测试立体图像如图4所示的Image01-Image09，其中,他们的分辨率是1920×1072。JMVC设置量化参数QP是35，GOP大小是15，参考帧数目是2。

2.仿真内容：

仿真实验中，利用本发明方法与现有的多视点视频编码(MVC)方法分别在测试视频序列Image01-Image09上进行立体视频编码仿真。

仿真1，利用本发明方法和MVC方法分别对上述九个测试立体视频图像进行编码，得到的平均码率和SSIM指标如表1所示；

表1利用JMVC的方法和本发明方法得到的码率和SSIM的指标对比

表1是利用JMVC的方法和本发明方法得到的码率和SSIM的指标对比，如表1所示，本发明的方法大幅度的降低了立体视频码率，在Image01中，当QP＝35时，码率最大可减少54.3％，并且SSIM基本没有什么变化，虽然有轻微的减少，但是并没有影响视频的立体感知质量，本发明将背景区域的码率分给了前景区域，只消除了人类视觉不敏感区域的立体感知冗余，所以感知质量并不受影响，如图5所示。

仿真2，利用本发明JND模型和原始JND模型对Puppy序列的图进行阈值估计，得到两种方法的亮度、纹理、空间域JND图如图2所示，其中：

图2(a)为使用原始亮度JND模型估计的阈值图；

图2(b)为使用本发明提出的基于DOF和视差的亮度JND模型的阈值图；

图2(c)为使用原始纹理JND模型估计的阈值图；

图2(d)为使用本发明提出的基于视差的纹理JND模型的阈值图；

图2(e)为使用原始空域JND模型估计的阈值图；

图2(f)为使用本发明提出的基于DOF的空域JND模型的阈值图。

图中颜色越暗的区域JND值越小，颜色越亮的区域JND值越大，由图2对比可见，图2(a)和图2(c)中小熊和背景的盒子、花的亮度处于相同的水平级，然而众所周知，小熊更能吸引直觉注意，所以该区域的JND阈值应该比盒子和花的值小，本发明的方法很好的解决了这个问题，如图2(b)和图2(d)所示，而空域JND模型中颜色越黑的区域JND值越小，但是图2(e)中熊和背景几乎处于同一灰度级，而图2(f)能将人眼注意区域的阈值调整到合适的大小，如小熊。所以，由图2对比可见，本发明方法可以更准确的估计出图像的JND阈值。

仿真3，量化参数调整参数仿真图，其中：

图3(a)为Puppy的调整参数图；

图3(b)为Image01的调整参数图。

由图可见，由深度值得到的针对宏块的量化参数的调整参数对前景区域和背景区域的区分非常的精确，颜色越黑的前景区域调整参数越小，由图可知，容易引起视觉注意的区域量化参数将被相应的调整到较小的值，这为立体视频编码码率的重新分配起到了重要作用。

仿真4，利用本发明方法和MVC方法分别对图4所示的Image01和Image03进行编码，得到两个测试视频图像的重建帧细节如图5和图6所示，其中：

图5(a)和图6(a)为原始图像；

图5(b)和图6(b)为相应的调整参数仿真图像；

图5(c)和图6(c)为原始图像的部分区域细节图；

图5(d)和图6(d)为使用JMVC方法处理的重建帧部分区域细节图；

图5(e)和图6(e)为使用本发明方法处理的重建帧部分区域细节图。

由图对比可见，经本发明方法编码后所得到的视频重建帧图像质量有了明显的提升，相对于JMVC的处理结果，本发明的方法更接近于原始图像，保持着十分自然的视觉效果，并且有效的降低了码率，由表1可知。

仿真5，利用本发明方法和MVC方法对附加测试图像Image10进行编码，得到测试视频图像的重建帧细节如图7所示，其中：

图7(a)为原始图像；

图7(b)为相应的调整参数仿真图像；

图7(c)为原始图像的部分区域细节图；

图7(d)为使用JMVC方法处理的重建帧部分区域细节图；

图7(e)为使用本发明方法处理的重建帧部分区域细节图。

由该图对比可见，本发明方法得到重建帧图像视觉感知质量得到了大幅度的改善，振铃效应明显减少，在沙发的边界等区域视觉效果更清晰，明显减少了噪声，对视觉的刺激更加柔和，所以本发明不仅明显降低了立体视频码率，还改善了视频的感知质量。

综上，本发明根据左、右视点的视差信息得到每个块的平均深度值，在计算JND模型时用于区分前景和背景，并在亮度JND模型中采用的选择低通滤波器中用来确定滤波强度，可对不同区域带来不同程度的模糊，更适合人类视觉特性，改善视觉舒适度，能有效的消除双视立体视频的视间感知冗余，并且提高立体感知质量，与现有技术相比，具体有以下优点：

1.本发明通过利用视差信息得到块平均深度值，并用于改善现有的亮度和纹理JND模型，分别对前景和背景估计出不同的阈值，不仅有效的消除了空间冗余，还很好的消除了不必要的视差感知冗余，解决现有JND模型过估计前景区域和弱估计背景区域的问题，能更好的维持前景区域的立体感知质量，提高该区域的质量会使得所图像质量整体更为完善，从而带来更好的视觉感知体验；

2.本发明将深度模糊理论应用于亮度JND模型的改善，用块平均深度值信息求得高斯低通滤波器强度，似的前景滤波弱，而背景滤波强度体高使该区域适当模糊化，适应了人类双视感知特性，提高了视觉舒适度；

3.本发明所提出的JND模型用于MVC编码结构，是通过重置量化参数来实现的，由深度值信息得到的调整参数可以使前景区域量化弱，背景区域量化强，从而将背景区域的码率分给前景，提高前景的感知质量，而背景的适当模糊是与人类双视立体感知特性相符的，完美的结合了人类视觉系统的掩蔽机制，在降低码率的同时提高视觉舒适度。

仿真实验结果表明，本发明结合视差信息得到块平均深度值来区分前景和背景，能更好的维持前景区域的立体质量，并且将其用于原始空间域JND模型不仅可有效的消除空间冗余，还可以有效的消除不必要的视差感知冗余，使得编码效果明显的提升了，并且在亮度JND模型上加入了DOF效应，使背景区域适当模糊化，适应了人类双视感知特性，提高了视觉舒适度，是一种性能良好的感知立体视频编码方法。

本实施方式中没有详细叙述的部分属本行业的公知的常用手段，这里不一一叙述。以上例举仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (4)

1.一种基于DOF的恰可察觉误差模型的感知立体视频编码方法，其特征在于：包括如下步骤：

(1)计算基于DOF和视差的亮度JND模型：

1a)计算原始亮度JND模型LJND(x,y)；

1b)根据视差信息求得高斯低通滤波强度ε(x,y)；

1c)对每个块进行高斯低通滤波，得到滤波的JND模型FLJND(x,y)：

$\mathrm{FLJND}(x,y)=\frac{1}{G}\·\left\{\underset{n\∈B}{\mathrm{\Σ}}{e}^{[(-\frac{{\left|\right|l-n\left|\right|}^2}{2\·\mathrm{\ϵ}{(x,y)}^2})\·\mathrm{LJND}(x,y)]}\right\},$

$G=\underset{n\∈B}{\mathrm{\Σ}}{e}^{-\frac{{\left|\right|l-n\left|\right|}^2}{2\·\mathrm{\ϵ}{(x,y)}^2}},$

其中,B是以像素l为中心的5*5的块，||·||是欧氏距离，ε(x,y)是滤波强度；

1d)将块平均深度值融合到滤波后的亮度JND模型FLJND(x,y)，得到基于DOF和视差的亮度JND模型DLJND(x,y)：

$\mathrm{DLJMD}=e^{-2\·\stackrel{\‾}{\mathrm{Dep}(x,y)}}\·\mathrm{FLJND}(x,y)+\∂$

其中，

(2)计算基于视差的纹理JND模型：

2a)计算原始纹理JND模型TJND(x,y)；

2b)利用块平均深度值处理纹理JND模型TJND(x,y)来区分前景和背景，得到基于视差的纹理JND模型；

$\mathrm{DTJND}=e^{-2\·\stackrel{\‾}{\mathrm{Dep}(x,y)}}\·\mathrm{TJND}(x,y),$

3)根据非线性加和模型取得基于DOF的JND模型DJND(x,y)：

DJND＝DLJND+DTJND-φ·min{DLJND,DTJND}，

其中，DLJND是基于视差和DOF的亮度JND模型，DTJND是基于视差的纹理JND模型，φ＝0.3；

(4)将基于DOF的JND模型通过重置量化参数用于立体编码：

4a)根据所提出的基于DOF的JND阈值DJND(x,y)得到用于调整量化参数的调节参数ν：

$v=\sqrt{\mathrm{\α}+\mathrm{\β}\·{(1+e^{-\mathrm{\μ}\·\frac{\mathrm{DJN}{D}_i-\stackrel{\‾}{\mathrm{DJND}}}{\stackrel{\‾}{\mathrm{DJND}}}})}^{-1}},$

其中，DJND_i是第i个宏块的平均JND阈值，是每一帧的平均JNG阈值，α＝0.2，β＝1.8，μ＝4；

4b)用调节参数ν调整每个宏块的量化参数：

QP_i＝ν·QP_o，

4c)根据率失真最优化原理和重置后的量化参数QP_i，计算出优化参数λ，它用于平衡码率和失真之间的关系：

min(J)＝min(D+λ·R)，

$\frac{\∂J}{\∂R}=\frac{\∂D}{\∂R}+\mathrm{\λ}=0,$

$\mathrm{\λ}=0.85\·2^{({\mathrm{QP}}_i-12)/3}.$

其中，D表示失真信息，R表示码率，λ是拉格朗日乘子，J是编码损耗。

2.根据权利要求1所述的一种基于DOF的恰可察觉误差模型的感知立体视频编码方法，其特征在于：所述步骤1a)中计算原始亮度JND模型LJND(x,y)，按如下步骤进行：

1a1)求出每个块的平均背景亮度值

$\stackrel{\‾}{P(x,y)}=\frac{1}{32}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}P(x-3+i,y-3+j)\·B(i,j),$

其中，B(i,j)是如下所示的矩阵,我们利用该矩阵对图像进行低通滤波，

$\left[\begin{array}{ccccc}1& 1& 1& 1& 1\\ 1& 2& 2& 2& 1\\ 1& 2& 0& 2& 1\\ 1& 2& 2& 2& 1\\ 1& 1& 1& 1& 1\end{array}\right];$

1a2)由亮度掩蔽效应得到原始亮度JND模型LJND(x,y)：

$\mathrm{LJND}(x,y)=\left\{\begin{array}{c}17(1-\sqrt{\frac{\stackrel{\‾}{P(x,y)}}{127}})+3,\mathrm{if}\stackrel{\‾}{P(x,y)}\≤127\\ \frac{3}{128}(\stackrel{\‾}{P(x,y)}-127)+3,\mathrm{otherwise}\end{array}\right..$

3.根据权利要求1所述的一种基于DOF的恰可察觉误差模型的感知立体视频编码方法，其特征在于：所述步骤1b)中根据视差信息求得高斯低通滤波强度ε(x,y)，按如下步骤进行：

1b1)根据视差信息得到每个块的平均深度值

$\stackrel{\‾}{\mathrm{Dep}(x,y)}=\frac{1}{25}\underset{i=-2}{\overset{2}{\mathrm{\Σ}}}\underset{j=-2}{\overset{2}{\mathrm{\Σ}}}D(x+i,y+j),$

其中，D(x,y)是像素(x,y)的视差信息；

1b2)计算滤波强度ε(x,y)：

$\mathrm{\ϵ}(x,y)=[\mathrm{\ψ}+e^{[-\mathrm{\σ}\·\stackrel{\‾}{\mathrm{Dep}(x,y)}-\mathrm{\τ}]}{]}^2,$

其中，σ＝10，τ＝0.6，ψ＝1。

4.根据权利要求1所述的一种基于DOF的恰可察觉误差模型的感知立体视频编码方法，其特征在于：所述步骤2a)中所述的计算原始纹理JND模型TJND(x,y)，按如下步骤进行：

2a1)计算像素点(x,y)周围四个方向的梯度：

${\mathrm{grad}}_m(x,y)=\frac{1}{16}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}P(x-3+i,y-3+j)\·g_m(i,j),$

求得它的最大的加权平均梯度：

$G_r(x,y)=\underset{m=\mathrm{1,2,3,4}}{\max }\left\{\right|{\mathrm{grad}}_m(x,y)\left|\right\},$

其中，g_m(i,j)是如下所示的四个矩阵，它们分别用来对纹理区域的四个方向进行高通滤波；这四个方向分别是：0°，45°，90°和135°，依次对应如下四个矩阵：

$\begin{array}{cc}\left[\begin{array}{ccccc}0& 1& 0& -1& 0\\ 0& 3& 0& -3& 0\\ 0& 8& 0& -8& 0\\ 0& 3& 0& -8& 0\\ 0& 1& 0& -1& 0\end{array}\right]& \left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 0& 3& 8& 0\\ -1& -3& 0& 3& 1\\ 0& -8& -3& 0& 0\\ 0& 0& -1& 0& 0\end{array}\right]\\ \left[\begin{array}{ccccc}0& 0& 0& 0& 0\\ 1& 3& 8& 3& 1\\ 0& 0& 0& 0& 0\\ -1& -3& -8& -3& -1\\ 0& 0& 0& 0& 0\end{array}\right]& \left[\begin{array}{ccccc}0& 0& 1& 0& 0\\ 0& 8& 3& 0& 0\\ 1& 3& 0& -3& -1\\ 0& 0& -3& -8& 0\\ 0& 0& -1& 0& 0\end{array}\right]\end{array},$

2a2)由canny边缘检测得到原始纹理JND模型TJND：

TJND＝ξ·G_r(x,y)·W_e(x,y)

其中，G_r(x,y)是像素(x,y)周围梯度的平均权重，W_e(x,y)表示一个边缘相关的权重模型，ξ＝0.117。