CN101710995A - 基于视觉特性的视频编码系统 - Google Patents

Abstract

本发明涉及视频编解码技术领域，尤其涉及一种基于视觉特性的视频编码系统。本发明包括变换域的基于关注度的最小可察觉失真阈值计算模块、编码模块，其中，基于关注度的最小可察觉失真阈值计算模块包括关注点提取子模块、关注度调制因子计算字模块、最小可察觉失真阈值计算子模块、基于关注度的最小可察觉失真阈值计算子模块，编码模块包括空间/时间预测编码子模块、变换子模块、变换域滤波子模块、量化子模块、熵编码子模块、率失真优化子模块，本发明通过建立DCT域的Foveated JND模型，并将其运用到视频编码框架中DCT域的滤波和率失真优化模块，力求在主观质量保持不变的情况下，大幅降低了编码码率。

Description

基于视觉特性的视频编码系统

技术领域

本发明涉及视频编解码技术领域，尤其涉及一种基于视觉特性的视频编码系统。

背景技术

目前典型的视频编码方法是以数字信号处理理论和香农信息论为基础的基于变换/预测的混合编码框架。但是，该技术框架发展到现在遇到巨大瓶颈，其编码效率的提高主要依赖于复杂度的大幅增加，如果继续延续这一思路很难有大的提升空间。

视频编码的根本目的是在降低码率的同时能够提供高质量的视觉效果，编码和传输人类视觉不能察觉到或者不感兴趣的信息对于网络带宽和终端设备来说是一种浪费。最小可察觉失真(Just-noticeable difference，JND)是指人眼所不能感知到的图像最大失真，其在一定程度上定量描述了人眼感受图像的特性，利用JND指导视频压缩，在保持图像主观感知效果基本不变的条件下尽可能的降低码率，成为进一步提升压缩效率的可行途径。

图像JND模型一般考虑人眼的对比敏感度，亮度掩蔽效应，纹理掩蔽效应等因素。文献1-2中分别提出了考虑空间域对比敏感度(contrast sensitivity function，CSF)函数，局部背景的亮度掩蔽效应和纹理掩蔽效应的DCT域JND模型；针对视频序列，时间域的CSF函数也被纳入JND模型中；在时空域CSF函数的模型之上，文献3中考虑了本地背景亮度和对比度掩蔽效应等其他因素，提出了面向视频信号的JND模型。文献4在文献3的基础之上考虑了JND模型中运动因素的方向性，进一步提升了时域JND模型的准确性；文献5-6利用JND模型分别在像素域和DCT域对预测残差信号做了滤波，大幅降低了编码码率。

以上的JND模型假设人眼对整幅图像的视觉分辨率保持恒定，但事实并非如此。视网膜的感光细胞并不是均匀分布的，视网膜的中心凹的感光细胞密度最高，离中心凹的距离越远，视网膜的感光细胞密度越低。当一个视觉激励投射到中心凹上时，其具有最高的视觉敏感度。投影离中心凹的距离越远，其视觉敏感度低。因此视觉敏感度是空域变化的，而JND模型应该是光源投影到视网膜上位置的函数。

本发明专利申请首次提出DCT域的Foveated JND模型，并将其运用到视频编码框架中DCT域的滤波和率失真优化模块，力求在主观质量保持不变的情况下，大幅降低了编码码率。

文献1：X.Zhang，W.S.Lin，and P.Xue，“Improved estimation for just-noticeable visualdistortion，”Signal Processing，vol.85，pp.795-808，2005.

文献2：Zhenyu Wei and King N.Ngan，“Spatial Just Noticeable Distortion Profile for Imagein DCT Domain，”IEEE Int.Conf.，Multimedia and Expo.2008.

文献3：Y.Jia，W.Lin，and A.A.Kassim，“Estimating just noticeable distortion for video，”IEEE Transactions on Circuits and Systems for Video Technology，vol.16，no.7，pp.820-829，July2006.

文献4：Zhenyu Wei，King N.Ngan，”A TEMPORAL JUST-NOTICEABLE DISTORTIONPROFILE FOR VIDEO IN DCT DOMAIN”，15th IEEE International Conference on ImageProcessing，pp：1336-1339Oct.2008.

文献5：Xiaokang Yang，Weisi Lin，Zhongkhang Lu，EePing Ong，and Susu Yao，”Motion-Compensated Residue Preprocessing in Video Coding Based on Just-Noticeable-DistortionProfile”，IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY，VOL.15，NO.6，JUNE 2005.

文献6：Chun-Man Mak，and King Ngi Ngan，”ENHANCING COMPRESSION RATE BYJUSTNOTICEABLE DISTORTION MODEL FOR H.264/AVC”，ISCAS，2009.

发明内容

本发明的目的是提供一种基于视觉特性的视频编码系统，以在传输带宽或者存储容量一定的情况下，利用视觉编码的方法提升压缩效率。

为达到上述目的，本发明采用如下的技术方案：

一种基于视觉特性的视频编码系统，包括：

-变换域的基于关注度的最小可察觉失真阈值计算模块，该模块进一步包括：

关注点提取子模块；

关注度调制因子计算字模块，用于通过计算图像的分块和距离此分块最近的关注点所在分块之间的偏心率，计算出关注度调制因子；

最小可察觉失真阈值计算子模块，用于通过考虑空间域对比敏感度函数，局部背景的亮度掩蔽效应和纹理掩蔽效应，计算出变换域的最小可察觉失真阈值；

基于关注度的最小可察觉失真阈值计算子模块，用于将图像分块的最小可察觉失真阈值和关注度调制因子的乘积作为图像分块的基于关注度的最小可察觉失真阈值；

-编码模块，该模块进一步包括：

空间/时间预测编码子模块用于对视频图像执行空间/时间预测编码；

变换子模块，用于对通过空间/时间预测编码部分的信号进行预定的变换；

变换域滤波子模块，用于利用变换域的基于关注度的最小可察觉失真阈值，对通过变换部分的信号进行滤波，小于阈值的变换域系数被置为零；

量化子模块，用于对通过变换域滤波部分的信号进行预定的量化；

熵编码子模块，用于对于量化后的信息进行熵编码；

率失真优化子模块，用于比较各种编码模式下的代价函数，选择最优的编码模式。

所述关注点提取子模块进一步包括关注点提取子模块、关注度调制因子计算子模块、最小可察觉失真阈值计算子模块、基于关注度的最小可察觉失真阈值计算子模块。

所述最小可察觉失真阈值计算子模块进一步包括空域对比敏感度阈值计算子模块、时域对比敏感度因子计算子模块、亮度掩蔽因子计算子模块、纹理掩蔽因子计算子模块。

本发明具有以下优点和积极效果：

1)在传输带宽和存储空间有限的情况下，通过建立DCT域的Foveated JND模型，并将其运用到视频编码框架中DCT域的滤波和率失真优化模块，对于H.264JM代码能将降低30.5％的码率开销；

2)重建图像的主观质量保持不变，本发明采用对比法进行主观测试，即主观上打出差别分。当主观分数接近0时，说明两种方法的主观质量越接近。本发明的主观分数为0.25，因此说明本发明的主观质量与同量化系数下H.264JM参考代码相当；

3)和现有视频编码标准兼容，本发明属于编码端的优化方法，不涉及修改码流结构，因此可以与现有视频编码标准兼容；

4)复杂度不大，本发明没有增加任何高复杂度的编码模块，不会带来复杂度上的提高，复杂度与传统编码方式相当。

附图说明

图1是本发明提供的基于视觉特性的视频编码系统的结构图。

图2是本发明的基于最小可察觉失真阈值的计算框图。

图3是本发明基于Foveated JND视频编码框图。

其中，

1-变换域的基于关注度的最小可察觉失真阈值计算模块，2-编码模块，11-关注点提取子模块，12-关注度调制因子计算字模块，13-最小可察觉失真阈值计算子模块，14-基于关注度的最小可察觉失真阈值计算子模块，21-空间/时间预测编码子模块，22-变换子模块，23-变换域滤波子模块，24-量化子模块，25-熵编码子模块，26-率失真优化子模块，3-原始序列，4-视频流。

具体实施方式

下面以具体实施例结合附图对本发明作进一步说明：

本发明提供的基于视觉特性的视频编码系统，具体采用如下技术方案，参见图1，包括以下组成部分：

①变换域的基于关注度的最小可察觉失真阈值计算模块1，该模块进一步包括关注点提取子模块11、关注度调制因子计算字模块12、最小可察觉失真阈值计算子模块13、以及基于关注度的最小可察觉失真阈值计算子模块14；

其中，关注度调制因子计算字模块12，用于通过计算图像的分块和距离此分块最近的关注点所在分块之间的偏心率，计算出关注度调制因子；

最小可察觉失真阈值计算子模块13，用于通过考虑空间域对比敏感度函数，局部背景的亮度掩蔽效应和纹理掩蔽效应，计算出变换域的最小可察觉失真阈值；

基于关注度的最小可察觉失真阈值计算子模块14，用于将图像分块的最小可察觉失真阈值和关注度调制因子的乘积作为图像分块的基于关注度的最小可察觉失真阈值；

②编码模块2，该模块用于通过变换域的基于关注度的最小可察觉失真阈值，对视频图像进行视觉优化编码，该模块进一步包括空间/时间预测编码子模块21、变换子模块22、变换域滤波子模块23、量化子模块24、熵编码子模块25、率失真优化子模块26；

其中，空间/时间预测编码子模块21用于对视频图像执行空间/时间预测编码；

变换子模块22，用于对通过空间/时间预测编码部分的信号进行预定的变换；

变换域滤波子模块23，用于利用变换域的基于关注度的最小可察觉失真阈值，对通过变换部分的信号进行滤波，小于阈值的变换域系数被置为零；

量化子模块24，用于对通过变换域滤波部分的信号进行预定的量化；

熵编码子模块25，用于对于量化后的信息进行熵编码；

率失真优化子模块26，用于比较各种编码模式下的代价函数，选择最优的编码模式；利用变换域的基于关注度的最小可察觉失真阈值，修改代价函数中的失真部分；首先，将失真信号进行变换；然后，对变换后的失真信号进行滤波，小于阈值的失真信号被置为零；最后，对滤波后的失真信号进行反变换，得到新的失真信号，并参与率失真优化；

本系统输入端输入原始序列3，输入端输出编码后的视频流4。

下面进一步详细描述本发明所示系统的子模块的实施过程：

1、关注点提取子模块

对于视频信号，人们往往关注图像中的变化信息。为了降低计算复杂度，本发明将这些变化信息定义为运动信息和对比度信息。本方法将图像分成4x4块，根据其运动特征和图像内容，将显著运动的4x4块或者边缘4x4块设定成关注块，块的几何中心设置成关注点。

为了度量块的运动特性，本方法利用块的运动强度和时空域运动的一致性判断宏块的运动情况。

首先，计算当前块的运动强度。将当前块和前一帧图像做运动估计，得到当前块的运动矢量，并进行归一化得运动矢量强度I(i，j)。

$I(i,j)=\frac{\sqrt{{\mathrm{dx}}_{i,j}^2+{\mathrm{dy}}_{i,j}^2}}{\mathrm{MaxI}}$

其中，dx_i，jdy_i，j分别为当前块水平和垂直方向上的运动矢量，MaxI为本帧运动矢量强度最大值

其次，计算时空域的运动一致性。通过统计当前块时空域相邻块的运动矢量的方向，利用信息熵度量当前块与相邻块运动的一致性，提升判定宏块运动的准确性。空域运动一致性的度量如下：

$\mathrm{Cs}(i,j)=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{p}_s\left(t\right)\mathrm{Log}\left(p_s\left(t\right)\right)$

$\mathrm{Ct}(i,j)=-\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{p}_t\left(t\right)\mathrm{Log}\left(p_t\left(t\right)\right)$

其中，Cs(i，j)代表空域运动方向分布的一致性，p_s(t)表示空域运动方向的分布概率，Ct(i，j)代表空域运动方向分布的一致性，p_t(t)表示空域运动方向的分布概率

最终，宏块的运动显著度图定义如下：

B(i，j)＝I(i，j)×Ct(i，j)×(1-I(i，j)×Cs(i，j))

为了度量块的对比度信息，我们利用当前块与其周围块的最大亮度对比度强度、最大红绿对比度强度和最大蓝黄对比度强度来度量对比度强度。

${\mathrm{CI}}_{i,j}=\underset{q\∈\mathrm{\θ}}{\max }|I\left(p_{i,j}\right)-I\left(q\right)|$

${\mathrm{CRG}}_{i,j}=\underset{q\∈\mathrm{\θ}}{\max }|\mathrm{RG}\left(p_{i,j}\right)-\mathrm{RG}\left(q\right)|$

${\mathrm{CBY}}_{i,j}=\underset{q\∈\mathrm{\θ}}{\max }|\mathrm{BY}\left(p_{i,j}\right)-\mathrm{BY}\left(q\right)|$ 其中，CI_i，j为亮度对比度显著度图，CRG_i，j为红绿对比度显著度图，CBY_i，j为蓝黄对比度显著度图，p_i，j指当前块，q指其相邻块，I(.)指分块的亮度分量的平均值，RG(.)指分块的红绿分量的平均值，BY(.)指分块蓝黄分量的平均值。

最终将运动显著度图和对比度显著度归一化后，进行线性融合，得到最终的显著度图：

S_i，j＝(N(B_i，j)+N(CI_i，j)+N(CRG_i，j)+N(CBY_i，j))/4

其中，N(.)是归一化运算操作符

由此得到关注块：

$\mathrm{Blocktype}=\left\{\begin{array}{cc}\mathrm{foveatedblock}& S_{i,j}>\max \left\{S_{i,j}\right\}\×0.4\\ \mathrm{non}-\mathrm{foveatedblock}& \mathrm{others}\end{array}\right.$

2、关注度调制因子计算子模块

在得到关注块的基础上，计算图像中每个分块的偏心率，其计算公式如下：

$\text{e=arctan}\left(\frac{\sqrt{{(x-x_f)}^2+{(y-y_f)}^2}}{V}\right)$

其中，x，y为当前块的坐标，x_f，y_f为离当前块最近的关注块的坐标，V为观测距离。根据所的偏心率，计算各个分块的视觉敏感度频率：

$f_{c,e}\left(e\right)=\frac{e_2\mathrm{In}(1/{\mathrm{CT}}_0)}{\mathrm{\α}(e+e_2)}$

其中，CT₀、e₂、α均为常数。

由于大于视觉敏感度频率的视频信息无法感知，最终可得关注度调制因子：

$F(i,j,v,e)=\left\{\begin{array}{cc}\∞& w_{\mathrm{ij}}>f_{c,e}\left(e\right)\\ \exp (0.0461\×w_{\mathrm{ij}}\×e(i,j))& \mathrm{others}\end{array}\right.$

3、最小可察觉失真阈值计算子模块

如图2所示，JND阈值分为空域对比敏感度阈值计算子模块、时域对比敏感度因子计算子模块、亮度掩蔽因子计算子模块，以及纹理掩蔽因子计算子模块。

1)空域对比敏感度阈值计算子模块

空域对比敏感度阈值T_Basic(n，i，j)由T(n，i，j)和叠加因子s的乘积得到，其中s为常数，取0.25.

T_Basic(n，i，j)＝s×T(n，i，j)

T(n，i，j)由下式计算得到：

其中，w_ij为DCT系数向量所代表的频率的长度，

为DCT系数向量所代表的频率的角度，其余参数为常数，r为0.6，a为1.33，b为0.11，c为0.18，φ_i为DCT系数归一化因子。

${\mathrm{\φ}}_m=\left\{\begin{array}{cc}\sqrt{1/N}& m=0\\ \sqrt{2/N}& m>0\end{array}\right.$

而w_ij的计算方式如下：

$w_{\mathrm{ij}}=\frac{1}{2N}\sqrt{{(i/{\mathrm{\θ}}_x)}^2+{(j/{\mathrm{\θ}}_y)}^2}$

${\mathrm{\θ}}_x={\mathrm{\θ}}_y=2\·\arctan \left(\frac{1}{2\×R\×\mathrm{Pich}}\right)$

其中，R一般为3，Pich为图像高度。

另外，在得到w_ij基础上，

的计算方式如下：

2)亮度掩蔽因子计算子模块

$F_{\mathrm{lum}}=\left\{\begin{array}{cc}(60-\stackrel{\&OverBar;}{I})/150+1& \stackrel{\&OverBar;}{I}\&le;60\\ 1& 60<\stackrel{\&OverBar;}{I}<170\\ (\stackrel{\&OverBar;}{I}-170)/425+1& \stackrel{}{\stackrel{\&OverBar;}{I}}\&GreaterEqual;170\end{array}\right.$

其中，I是当前块的平均亮度。

3)纹理掩蔽因子计算子模块

利用已经得到的边缘像素个数占块内总像素的比率ρ_edgel，并按照ρ_edgel将图像划分成平坦块，纹理块和边缘块，根据不同的块类型设置不同的掩蔽因子

$\mathrm{Blocktype}=\left\{\begin{array}{cc}\mathrm{Plane}& {\mathrm{\&rho;}}_{\mathrm{edgel}}\&le;0.1\\ \mathrm{Edge}& 0.1<{\mathrm{\&rho;}}_{\mathrm{edgel}}\&le;0.2\\ \mathrm{Texture}& {\mathrm{\&rho;}}_{\mathrm{edgel}}>0.2\end{array}\right.$

根据BlockType，得到3种块类型的加权因子ψ

$\mathrm{\&psi;}=\left\{\begin{array}{cc}1& \mathrm{forPlaneand\; Edgeblock}\\ 2.25& \mathrm{for}(i^2+j^2)\&le;16\mathrm{inTextureblock}\\ 1.25& \mathrm{for}(i^2+j^2)>16\mathrm{inTextureblock}\end{array}\right.$

最后，对于高频分量的加权因子做细微调整，得到纹理掩蔽因子

$F_{\mathrm{contrast}}=\left\{\begin{array}{cc}\mathrm{\&psi;}& \mathrm{for}(i^2+j^2)\&le;16\mathrm{inPlaneandEdgeblock}\\ \mathrm{\&psi;}\&CenterDot;\min (4,\max (1,{\left(\frac{C(n,i,j)}{T_{\mathrm{Basic}}(n,i,j)\&times;F_{\mathrm{lum}}\left(n\right)}\right)}^{0.36}))& \mathrm{others}\end{array}\right.$

其中，C(n，i，j)为DCT系数。

4)时域对比敏感度因子计算子模块

时域对比敏感度因子的计算方法如下：

其中时间频率f_t＝f_sxv_x+f_syv_y，f_sx、f_sy空间频率的水平和垂直分量，v_x，v_y为物体运动速度

f_sx、f_sy计算方法为：

$f_{\mathrm{sx}}=\frac{i}{2{\mathrm{N\&theta;}}_x},$ $f_{\mathrm{sy}}=\frac{i}{2N{\mathrm{\&theta;}}_y},$ θ的计算方法同上。

v_x，v_y的计算方法如下：

v_h＝v_Ih-v_Eh(h＝x，y)

其中，v_Eh＝min[g_spem×v_Ih+v_Min，v_Max]，v_Ih＝f_tr×MV_h×θ_h(h＝x，y)

g_spem为0.98，v_Max为80，v_Min0.15，f_tr为帧率，MV_h为每个块的运动矢量，可由运动估计得到。

最终得到时空域JND：

JND(n，i，j)＝T_Basic(n，i，j)×F_lum(n)×F_contrast(n，i，j)×F_T

4、基于关注度的最小可察觉失真阈值计算子模块

在得到关注度调制因子和JND阈值之后，可得Foveated JND阈值。

FJND(x，y，t，v，e)＝JND(x，y，t)×F(x，y，v，e)

其中FJND(x，y，t，v，e)、JND(x，y，t)、F(x，y，v，e)分别对应着Foveated JND阈值，JND阈值，关注度调制因子，v是观测距离，e是距关注点的偏心率。

5、基于Foveated JND的视频编码

如图3所示，本发明将Foveated JND运用到DCT域的滤波和率失真优化中。首先，如果DCT域残差系数小于Foveated JND，则其可以被丢弃，以此达到节省码率的目的。其次，如果，DCT域信号失真小于Foveated JND，则其可以被置零，用主观失真代替客观失真，优化率失真性能，达到节省码率的目的。本发明在H.264上进行了代码验证，首先得到运动补偿或者帧内预测后的DCT域残差信号Y，对Y进行滤波得：

$Y_j(u,v)=\left\{\begin{array}{cc}Y(u,v)& \mathrm{if}\left|Y(u,v)\right|>\mathrm{FJND}(u,v)\\ 0& \mathrm{others}\end{array}\right.$

本文定义新的率失真模型：

RD_cost＝R+λD_jnd

本文将失真信号D进行DCT变换，得到E，并对E进行滤波后反变换，得到D_jnd。其滤波过程为：

$E_j(u,v)=\left\{\begin{array}{cc}E(u,v)& \mathrm{if}\left|E(u,v)\right|>\mathrm{FJND}(u,v)\\ 0& \mathrm{others}\end{array}\right.$

本发明通过建立DCT域的Foveated JND模型，并将其运用到视频编码框架中DCT域的滤波和率失真优化模块，力求在主观质量保持不变的情况下，大幅降低了编码码率，如下表所示显示了本发明的实验结果：

Claims (3)

1.一种基于视觉特性的视频编码系统，其特征在于，包括：

-变换域的基于关注度的最小可察觉失真阈值计算模块(1)，该模块进一步包括：

关注点提取子模块(11)；

关注度调制因子计算字模块(12)，用于通过计算图像的分块和距离此分块最近的关注点所在分块之间的偏心率，计算出关注度调制因子；

最小可察觉失真阈值计算子模块(13)，用于通过考虑空间域对比敏感度函数，局部背景的亮度掩蔽效应和纹理掩蔽效应，计算出变换域的最小可察觉失真阈值；

基于关注度的最小可察觉失真阈值计算子模块(14)，用于将图像分块的最小可察觉失真阈值和关注度调制因子的乘积作为图像分块的基于关注度的最小可察觉失真阈值；

-编码模块(2)，该模块进一步包括：

空间/时间预测编码子模块(21)用于对视频图像执行空间/时间预测编码；

变换子模块(22)，用于对通过空间/时间预测编码部分的信号进行预定的变换；

变换域滤波子模块(23)，用于利用变换域的基于关注度的最小可察觉失真阈值，对通过变换部分的信号进行滤波，小于阈值的变换域系数被置为零；

量化子模块(24)，用于对通过变换域滤波部分的信号进行预定的量化；

熵编码子模块(25)，用于对于量化后的信息进行熵编码；

率失真优化子模块(26)，用于比较各种编码模式下的代价函数，选择最优的编码模式。

2.根据权利要求1所述的基于视觉特性的视频编码系统，其特征在于：

所述关注点提取子模块(11)进一步包括关注点提取子模块、关注度调制因子计算子模块、最小可察觉失真阈值计算子模块、基于关注度的最小可察觉失真阈值计算子模块。

3.根据权利要求2所述的基于视觉特性的视频编码系统，其特征在于：

所述最小可察觉失真阈值计算子模块进一步包括空域对比敏感度阈值计算子模块、时域对比敏感度因子计算子模块、亮度掩蔽因子计算子模块、纹理掩蔽因子计算子模块。

Images