CN102420988A - 一种利用视觉特性的多视点视频编码系统 - Google Patents

Abstract

本发明涉及多视点视频编解码技术领域，尤其涉及一种利用视觉特性的多视点视频编码系统。本发明包括DCT域的最小可察觉失真阈值计算模块、多视点视频编码模块，其中，DCT域的最小可察觉失真阈值计算模块包括空间对比灵敏度函数子模块、背景亮度掩盖效应子模块、纹理掩盖效应子模块、时间对比灵敏度函数子模块，多视点视频编码模块包括预测编码子模块、DCT编码子模块、DCT域滤波子模块、量化和熵编码子模块、视频序列重建子模块、率失真优化子模块，本发明通过建立DCT域的JND模型，并将其运用到多视点视频编码中的DCT域滤波和率失真优化模块。本发明能够在主观质量不变的情况下，降低多视点视频编码码率，提高多视点视频编码效率。

Description

一种利用视觉特性的多视点视频编码系统

技术领域

本发明涉及多视点视频编解码技术领域，尤其涉及一种利用视觉特性的多视点视频编码系统。

背景技术

多视点视频由多个摄像机从不同角度对物体进行拍摄而得，与单视点视频相比，多视点视频的数据量随着视点数目的增加而急剧增加，因此如何对多视点视频进行高效的压缩已成为多视点视频应用的一项关键技术。现有的多视点视频编码仍是以数字信号处理理论和香农信息论为基础的基于预测和变换的混合编码，但是，基于预测和变换的混合编码要进一步提高编码效率，则需要以较大的复杂度为代价，难有大的提升空间。

视频处理多数情况下，人眼是最终的接受体，但是，目前的视频编码方法中存在大量的视觉冗余数据被编码，是一种浪费。最小可察觉失真（Just Noticeable Distortion，JND），也可称为恰可察觉失真，最小可察觉失真是指人类视觉系统（Human Visual System, HVS）存在的各种视觉屏蔽效应，人眼只能察觉到超过某一阈值，该阈值即为最小可察觉失真阈值，它能表征视频图像中的人类视觉冗余。利用最小可察觉失真阈值进行多视点视频编码，能在视频图像主观质量不变情况下降低码率，提高多视点视频编码效率。

目前的JND模型主要是利用人眼的亮度自适应性特性、视觉掩盖效应、对比灵敏度函数（Contrast Sensitivity Function, CSF）以及平滑跟踪眼球移动效应（Smooth Pursuit Eye Movement，SPEM）等视觉特性。例如，文献[1][2]提出了根据背景亮度掩盖效应，纹理掩盖效应和空间对比灵敏度函数建立的离散余弦变换（Discrete Cosine Transform，DCT）域的JND模型，由于该JND模型没有考虑时间特性，因此只适合应用于静态图像。文献[3]是针对文献[1]提出的一种改进的JND模型，该JND模型对文献[1][2]提出的JND模型增加了时间对比灵敏度函数和物体的运动信息，但是，该模型仅仅是把物体运动的幅值考虑到最终的JND阈值中，却没有考虑物体运动的方向，物体运动是个矢量，两个有着相同幅值的矢量，他们的方向却可能是不同的，在二维空间频率上就会导致不同的时间效应，从而会产生不同的JND阈值，因此，JND模型不考虑物体运动的方向是不完整的。文献[4]是针对文献[3]提出的一种改进的JND模型，该JND模型引入物体运动的方向，同时在考虑纹理掩盖效应时采用了块分类的方法，但是，文献[4]只是单纯的给出了JND模型的理论计算方法，并没有将JND模型应用于视频编码和多视点视频编码的实际应用领域。

多视点视频是一种新兴的多媒体技术，但是其庞大的数据量给多视点视频的处理、传输和存储带来很多不便，以至于多视点视频一直无法普及。因此，在保持多视点视频主观质量不变的情况下，降低多视点视频编码码率，提高多视点视频的编码效率是多视点视频编码领域一个急需解决的问题。

本发明专利申请首次提出将JND模型应用到多视点视频编码中的DCT域滤波和率失真优化模块，在保证多视点视频编码系统重建视频图像主观质量不变的情况下，降低多视点视频编码码率，提高多视点视频的编码效率。

            文献[1]:  X. Zhang, W. S. Lin, and P. Xue, "Improved estimation for just-notice-able visual distortion," Signal Process., vol. 85, pp. 795-808, 2005。

            文献[2]: Zhenyu Wei and King N.Ngan, "Spatial Just Noticeable Distortion Profile for Image in DCT Domain," IEEE Int. Conf., Multimedia and Expo., 2008。

            文献[3]: Y. Jia, W. Lin, and A. A. Kassim, "Estimating just-noticeable distortion for video," IEEE Trans. Circuits Syst. Video Technol., vol. 16, no. 7, pp. 820-829, Jul. 2006。

            文献[4]: Zhenyu Wei and King N. Ngan., "Spatio-Temporal Just Noticeable Distortion Profile for Grey Scale Image/Video in DCT Domain." IEEE transactions on circuits and systems for video technology.VOL. 19, NO. 3, March 2009。

发明内容              

本发明的目的是提供一种利用视觉特性的多视点视频编码系统，该系统在重建图像主观质量一定的情况下，能够降低多视点视频编码码率，提升多视点视频的压缩效率。

为达到上述目的，本发明采用如下的技术方案：

一种利用视觉特性的多视点视频编码系统，包括：DCT域的最小可察觉失真阈值计算模块1、多视点视频编码模块2，其特征在于：

上述DCT域的最小可察觉失真阈值计算模块1进一步包括： 

空间对比灵敏度函数子模块11，用于计算出空间对比灵敏度函数阈值；

背景亮度掩盖效应子模块12，用于计算出背景亮度掩盖效应调制因子；

纹理掩盖效应子模块13，用于计算出每个块的纹理掩盖效应调制因子；

时间对比灵敏度函数子模块14，用于计算出时间对比灵敏度函数调制因子；

DCT域的最小可察觉失真阈值子模块15，用于计算上述DCT域的最小可察觉失真阈值，将DCT域的最小可察觉失真阈值计算模块1中空间对比灵敏度函数阈值、背景亮度掩盖效应调制因子、纹理掩盖效应调制因子、时间对比灵敏度函数调制因子相乘，该乘积作为DCT域的最小可察觉失真阈值；

上述多视点视频编码模块2，用于通过DCT域的最小可察觉失真阈值，对多视点视频图像进行视觉优化编码，该模块进一步包括： 

预测编码子模块21，用于对多视点视频视点内和视点间的视频序列进行视点内/视点间预测编码；

DCT编码子模块22，用于对通过预测编码部分的信号进行DCT编码；

DCT域滤波子模块23，用于利用DCT域的最小可察觉失真阈值，对通过DCT编码部分的信号进行滤波，将小于等于最小可察觉失真阈值的DCT系数置为零；

量化和熵编码子模块24，用于对通过DCT域滤波部分的信号进行预订的量化和熵编码；

重建视频序列子模块25，用于对通过量化和熵编码部分的信号进行反量化和反DCT编码，以重建视频序列；

率失真优化子模块26，用于比较各种编码模式下的代价函数，选择最优的编码模式。

本发明的一种利用视觉特性的多视点视频编码系统与已有技术相比具有如下有益效果：

1）、该多视点视频编码系统在重建图像主观质量一定的情况下，通过建立DCT域的JND模型，并将其应用到多视点视频编码框架中DCT域滤波和率失真优化模块，对于多视点视频编解码JMVC(Joint Multiview Video Coding)代码最大能将其降低22.54%的码率开销；

2）、该多视点视频编码系统重建图像的主观质量保持不变，本发明采用对比手法进行主观测试，即主观上打出差别分，当主观分数接近0时，说明两种方法的主观质量越接近，本发明的主观差别分数平均为0.15，因此说本发明的主观质量与多视点视频编解码JMVC代码的主观质量相当；

3）、复杂度低，本发明没有增加任何高复杂度的编码模块，其复杂度与多视点视频编解码JMVC代码的复杂度相当。

附图说明

图1是本发明中的一种利用视觉特性的多视点视频编码系统的结构图。

图2是本发明中的最小可察觉失真阈值模型的计算框图。

图3是本发明提供的一种利用视觉特性的多视点视频编码系统框图。

图4是视频序列ballroom第0个视点第12帧图像使用JMVC原始编码方法的重建图像。

图5是视频序列ballroom第0个视点第12帧图像使用本发明方法的重建图像。

图6是视频序列ballroom使用JMVC原始编码方法和本发明方法在不同QP和不同视点情况下，码率、PSNR值、重建视频主观质量评价分数差（DM0S）的对比结果。

图7是视频序列race1第4个视点第42帧图像使用JMVC原始编码方法的重建图像。

图8是视频序列race1第4个视点第42帧图像使用本发明方法的重建图像

图9是视频序列race1使用JMVC原始编码方法和本发明方法在不同QP和不同视点情况下，码率、PSNR值、重建视频主观质量评价分数差（DM0S）的对比结果。

图10是视频序列Crowd第2个视点第46帧图像使用JMVC原始编码方法的重建图像。

图11是视频序列Crowd第2个视点第46帧图像使用本发明方法的重建图像。

图12是视频序列Crowd使用JMVC原始编码方法和本发明方法在不同QP和不同视点情况下，码率、PSNR值、重建视频主观质量评价分数差（DM0S）的对比结果。

具体实施方式：

以下结合附图对本发明的实施例作进一步的详细说明：

本发明提供的一种利用视觉特性的多视点视频编码系统，具体采用如下技术方案，参见图1，包括以下组成部分：

①DCT域的最小可察觉失真阈值计算模块1，该模块进一步包括空间对比灵敏度函数子模块11、背景亮度掩盖效应子模块12、纹理掩盖效应子模块13、时间对比灵敏度函数子模块14；计算DCT域的最小可察觉失真阈值的子模块15；

其中，空间对比灵敏度函数子模块11，用于计算出空间对比灵敏度函数阈值；

背景亮度掩盖效应子模块12，用于计算出背景亮度掩盖效应调制因子；

纹理掩盖效应子模块13，用于计算出纹理掩盖效应调制因子；

时间对比灵敏度函数子模块14，用于计算时间对比灵敏度函数效应调制因子；

DCT域的最小可察觉失真阈值子模块15，用于计算DCT域的最小可察觉失真阈值，将DCT域的最小可察觉失真阈值计算模块(1)中空间对比灵敏度函数阈值、背景亮度掩盖效应调制因子、纹理掩盖效应调制因子、时间对比灵敏度函数效应调制因子相乘，其乘积作为DCT域的最小可察觉失真阈值；

②多视点视频编码模块2，该模块用于通过DCT域的最小可察觉失真阈值，对多视点视频图像进行视觉优化编码，该模块进一步包括预测编码子模块21、DCT编码子模块22、DCT域滤波子模块23、量化和熵编码子模块24、重建视频序列子模块25、率失真优化子模块26；

其中，预测编码子模块21，用于对多视点视频视点内部和视点之间的视频序列进行视点内/视点间预测编码；

DCT编码子模块22，用于对通过预测编码部分的信号进行DCT编码；

DCT域滤波子模块23，用于利用DCT域的最小可察觉失真阈值，对通过DCT编码部分的信号进行滤波，将小于等于最小可察觉失真阈值的DCT系数置为零；

量化和熵编码子模块24，用于对通过DCT域滤波部分的信号进行预定的量化和熵编码；

重建视频序列子模块25，用于对通过量化和熵编码部分的信号进行反量化和反DCT编码以重建多视点视频图像；

率失真优化子模块26，用于比较各种编码模式下的代价函数，选择最优的编码模式；利用DCT域的最小可察觉失真阈值，修改代价函数中的失真部分；首先，将失真信号进行DCT编码；然后，利用DCT域的最小可察觉失真阈值对DCT编码后的失真信号进行滤波，将小于或者等于最小可察觉失真阈值的信号置为零；最后，对滤波后的失真信号进行反DCT编码，得到新的失真信号，并参与率失真优化；

本多视点视频编码系统输入端输入原始序列3，输入端输出编码后的多视点视频流4。

下面进一步详细描述本发明所示系统的子模块的具体实施过程：

1）最小可察觉失真阈值计算模块

如图2所示，最小可察觉失真阈值分为空间对比灵敏度函数子模块、背景亮度掩盖效应子模块、纹理掩盖效应子模块、时间对比灵敏度函数子模块。

（1）空间对比灵敏度函数子模块

空域对比灵敏度阈值                                               

由

和叠加因子

的乘积得到，其中

为常数，取0.25。

由下式计算得到：

其中，为DCT系数向量所代表的频率的长度，为DCT系数向量所代表的频率的角度，其余参数为常数，对于8×8块尺寸的DCT编码格式，

为0.6，

为1.33，

为0.11，

为0.18；对于4×4块尺寸的DCT编码格式，

为0.6，

为0.8，

为0.035，

为0.008，

为DCT系数归一化因子。

   而

的计算方式如下：

   其中，

一般取3～6，

为图像高度。

   另外，在得到

基础上，的计算方式如下：

（2）背景亮度掩盖效应子模块

背景亮度掩盖效应特性调制因子由下式计算得到：

其中

是当前块的平均亮度值。

（3）纹理掩盖效应子模块

边缘像素密度定义如下：

其中，

是块的边缘像素总数，可以通过Canny边缘检测器获得。

利用边缘像素密度

将图像块划分为平坦区，纹理区和边缘区，图像块分类的依据公式如下：

其中

，根据不同的块类型设置不同的掩蔽因子，则3种块类型的加权因子

：

其中（

）是DCT系数标号。

最后，对于高频分量的加权因子做细微调整，得到掩盖效应调制因子为：

其中，

为DCT系数，

为空间对比度灵敏度函数的阈值，

为背景亮度掩盖效应特性调制因子，

为图像块的掩盖效应调制因子。

（4）时间对比灵敏度函数子模块

在较高的空间频率或者在较低空间频率和较高的时间频率下，时间对比灵敏度仅仅和时间频率有关，而当时间频率小于10Hz时，时间对比灵敏度几乎是一个常量，时间对比灵敏度函数调制因子的计算公式：

其中，视频信号的时间频率

取决于图像变化的速率，它不仅跟物体的运动有关，同时也和物体的空间频率有关。其一般计算公式如下：

其中分别为空间频率的水平和垂直分量，

为视网膜上物体运动的速度。

的计算式为：

视网膜上图像的速度

计算方法如下：

其中，

分别为物体在视网膜上的速度、物体在图像平面中的速度和眼球移动的速度。

 

和

的计算方法如下：

其中，是平滑跟踪眼球移动效应增益，取经验值0.98。是由于漂移运动引起的最小的眼球移动速度，经验值为0.15.deg/s。是和眼睛跳跃运动相对应的眼球的最大速度，通常取80deg/s，

是视频序列的帧率。是每个块的运动矢量，可以通过基于块的运动估计算法得到，

是单个像素的视角。

最终的最小可察觉失真阈值

的表达式如下：

其中，

为空间对比度灵敏度函数的阈值，

为背景亮度掩盖效应特性调制因子，

为掩盖效应调制因子，为时间对比灵敏度函数调制因子。

2）多视点视频编码子模块

如图3所示，本发明提出的一种利用视觉特性的多视点视频编码系统将最小可察觉失真阈值运用到多视点视频编码的DCT域滤波和率失真优化中，首先，如果DCT域残差系数小于或者等于JND阈值，则可以将残差系数置零舍弃，以此达到节省码率，提高压缩效率的目的。其次，如果，DCT域失真信号小于或者等于JND阈值，则可以将失真信号置零，以主观质量失真代替客观质量失真，优化率失真性能，达到节省码率，提高压缩效率的目的。本发明在多视点视频编解码参考代码JMVC上进行了代码验证，首先得到运动补偿或者帧内预测或者视差补偿后的DCT域残差信号

为：

其中

表示DCT编码前的残差信号，

表示对残差块的进行DCT编码。

对

进行滤波后得到DCT域滤波后的残差信号：

其中

为JND阈值化后的残差DCT系数，

为JND阈值。

JND阈值化后的残差DCT系数

经过量化和熵编码，并重建视频序列，得到失真信号

。在多视点视频编解码JMVC参考代码中，率失真代价的计算式为：

其中

为失真信号，

为不同编码模式下编码的比特数，是拉格朗日常数。

本发明首先将失真信号

进行DCT编码，得到DCT域的失真信号

，并对

进行JND阈值

滤波，得到

，其滤波过程为：

 

再对滤波后的DCT域的失真信号

进行反DCT编码到新的失真信号，则本发明新定义的率失真模型如下：

下面进行大量仿真实验来评估本文所提出的一种利用视觉特性的多视点视频编码系统的性能。在配置为Intel Pentium 4 CPU 3.00GHz, 512M Internal Memory, Intel 8254G Express Chipset Family, Windows XP Operation System的PC机上编解码多视点视频序列ballroom、race1、crowd的前48帧，其中，BASIC QP设为20,24,28,32，实验平台选用多视点视频编解码参考软件JMVC，编解码预测结构选用HHI-IBBBP，视点间预测方式采用双向预测方式。

视频序列ballroom的实验结果如图4和图5、图6所示。图4是视频序列ballroom在量化参数QP=23的情况下，第0个视点第12帧图像使用JMVC原始编码方法的重建图像，重建视频图像的PSNR=40.72dB。图5是视频序列ballroom在量化参数QP=23的情况下，第0个视点第12帧图像使用本发明方法的重建视频图像，重建视频图像的PSNR=38.33dB。图6是视频序列ballroom使用JMVC原始编码和本发明两种方法，在不同QP和不同视点的情况下，码率、PSNR值、码率节省百分比、重建视频主观质量评价分数差（DM0S）、平均码率节省百分比的统计结果。可以看出，视频序列ballroom在不同QP下，使用本发明方法的编码码率比使用JMVC原始编码方法的编码码率节省了5.57%～21.44%，JMVC原始编码方法和本发明方法的视频主观质量评价分数差为0.14～0.22，可以认为主观质量保持不变。

视频序列race1的实验结果如图7～图8、图9所示。图7是视频序列race1在量化参数QP=32的情况下，第1个视点第36帧图像使用JMVC原始编码方法的重建视频图像，重建视频图像的PSNR=33.29dB。图8是视频序列race1在量化参数QP=32的情况下，第1个视点第36帧图像使用JMVC原始编码方法的重建视频图像，重建视频图像的PSNR=32.32dB。图9是视频序列race1使用JMVC原始编码和本发明两种方法，在不同QP和不同视点的情况下，码率、PSNR值、码率节省百分比、重建视频主观质量评价分数差（DM0S）、平均码率节省百分比的统计结果。可以看出，视频序列race1在不同QP下，使用本发明方法的编码码率比使用JMVC原始编码方法的编码码率节省了4.79%～22.54%，JMVC原始编码方法和本发明方法的视频主观质量评价分数差为0.12～0.17，可以认为主观质量保持不变。

视频序列crowd的实验结果如图10～图11、图12所示。图10是视频序列crowd在量化参数QP=24的情况下，第2个视点第46帧图像使用JMVC原始编码方法的重建视频图像，重建视频图像的PSNR=40.32dB。图11是视频序列crowd在量化参数QP=24的情况下，第2个视点第46帧图像使用JMVC原始编码方法的重建视频图像，重建视频图像的PSNR=35.06dB。图12是视频序列crowd使用JMVC原始编码和本发明两种方法，在不同QP和不同视点的情况下，码率、PSNR值、码率节省百分比、重建视频主观质量评价分数差（DM0S）、平均码率节省百分比的统计结果。可以看出，视频序列crowd在不同QP下，使用本发明方法的编码码率比使用JMVC原始编码方法的编码码率节省了6.92%～16.63%，JMVC原始编码方法和本发明方法的视频主观质量评价分数差为0.10～0.20，可以认为主观质量保持不变。

结合以上各图表可以看出，本发明通过建立DCT域的JND模型，并将其运用到多视点视频编码框架中DCT域的滤波和率失真优化模块，在主观质量保持不变的情况下，大幅度降低多视点视频编码码率，提高了多视点视频编码效率。

Claims (1)

1.一种利用视觉特性的多视点视频编码系统，其特征在于，包括：DCT域的最小可察觉失真阈值计算模块(1)、多视点视频编码模块(2)，

上述DCT域的最小可察觉失真阈值计算模块(1)进一步包括： 

空间对比灵敏度函数子模块(11)，用于计算出空间对比灵敏度函数阈值；

背景亮度掩盖效应子模块(12)，用于计算出背景亮度掩盖效应调制因子；

纹理掩盖效应子模块(13)，用于计算出每个块的纹理掩盖效应调制因子；

时间对比灵敏度函数子模块(14)，用于计算出时间对比灵敏度函数调制因子；

DCT域的最小可察觉失真阈值子模块(15)，用于计算上述DCT域的最小可察觉失真阈值，将DCT域的最小可察觉失真阈值计算模块(1)中空间对比灵敏度函数阈值、背景亮度掩盖效应调制因子、纹理掩盖效应调制因子、时间对比灵敏度函数调制因子相乘，该乘积作为DCT域的最小可察觉失真阈值；

上述多视点视频编码模块(2)，用于通过DCT域的最小可察觉失真阈值，对多视点视频图像进行视觉优化编码， 该模块进一步包括： 

预测编码子模块(21)，用于对多视点视频视点内和视点间的视频序列进行视点内/视点间预测编码；

DCT编码子模块(22)，用于对经过预测编码部分的信号进行DCT编码；

DCT域滤波子模块(23)，用于利用DCT域的最小可察觉失真阈值，对通过DCT编码部分的信号进行滤波，将小于等于最小可察觉失真阈值的DCT系数置为零；

量化和熵编码子模块(24)，用于对通过DCT域滤波部分的信号进行预定的量化和熵编码；

重建视频序列子模块(25)，用于对通过量化部分的信号进行反量化和反DCT编码以重建视频序列；

率失真优化子模块(26)，用于比较各种编码模式下的代价函数，选择最优的编码模式。

Images