CN105635743A

CN105635743A - 基于显著性检测和全变分的最小可察觉失真方法及系统

Info

Publication number: CN105635743A
Application number: CN201511019501.5A
Authority: CN
Inventors: 叶锋; 李承欣; 林晖; 许力; 陈家祯; 郑子华; 洪斯婷; 李婉茹
Original assignee: Fujian Normal University
Current assignee: Fujian Normal University
Priority date: 2015-12-30
Filing date: 2015-12-30
Publication date: 2016-06-01

Abstract

本发明公开了一种基于显著性检测和全变分的最小可察觉失真方法，包括：S1、将原始图像数据使用全变分方法分解为结构分量和纹理分量；S2、根据结构分量和纹理分量计算像素域JND阈值和变换域JND阈值；S3、对原始图像数据进行显著性检测，得到显著性映射图；使用显著性映射图加权像素域JND阈值和变换域JND阈值，取最大值作为最终的JND阈值。本发明还涉及一种配合上述基于显著性检测和全变分的最小可察觉失真方法的系统，能够更好地利用人眼视觉特性以及更精确地计算出JND阈值。

Description

基于显著性检测和全变分的最小可察觉失真方法及系统

技术领域

本发明涉及视频压缩技术领域，尤其涉及一种基于显著性检测和全变分的最小可察觉失真方法及系统。

背景技术

视频编码技术主要在于观看视觉效果不受影响的前提下合理的压缩数据。传统的视频编码技术主要利用视频数据的空间冗余、时间冗余等进行数据的压缩，如HEVC(HighEfficiencyVideoCoding)，HEVC是一种新的视频压缩标准。近年来，越来越多的研究者开始把注意力转向感知视频编码领域。

感知视频编码是一种全新的视频编码模式，它是基于人类视觉系统(HVS)理论，人类视觉系统(HVS)是视频和图像处理的最终接受者，将HVS因素加入到图像视频处理领域中，能够获取更好的处理效果。JND(JustNoticeableDifference)是表示人类视觉系统对图像失真的最小可察觉程度。如果数据的损失程度超过了对应的JND阈值，则会被人眼察觉到。最近几年，JND模型应用在许多的图像和视频领域，比如感知图像编码、视频数据压缩等。有许多研究者提出了各种改进的JND模型，提出的JND模型主要分为：像素域的JND模型和DCT域的JND模型两类。

基于像素域的JND模型生成主要在图像域中，大部分的JND模型都以亮度自适应和对比度效应作为其基本因子。像素域的JND模型对比于DCT域的JND模型在计算复杂度上更低，因为像素域的JND模型在生成过程中不需要变换到频域。Yang等人提出了基于LA和CM两个效应因子来建模JND模型。Chen等人把中央凹掩蔽模型整合到像素域的JND模型里面，同时考虑了视觉离心率等因素。

基于DCT域的JND模型在频域进行建模，即建模前图像需要进行DCT变换。其模型充分的融合了HVS的特性对比度敏感函数(CSF)。Ahumada和Peterson比较早的提出了基于DCT域的JND模型，该模型加入了CSF因子。Zheng等人提出了基于纹理分解的在变换域建模的JND模型，该模型使用全变分(TV)的方法分解图像为结构分量和纹理分量，在进行DCT系数分类使用纹理分量更加准确。Zheng等人提出一种联合估计JND模型的方法，主要是在图像不同区域进行不同的估计JND阈值来提高建模JND的准确度。Wei等人提出了在DCT域下考虑时空域因素的JND模型。Jia等人提出的JND模型适应于视频处理，该模型包含了时空对比敏感度函数,眼球运动的影响、亮度适应和对比度掩蔽更符合人类感知。

为了进一步提高视频压缩的性能，研究者将视觉注意力计算模型加入到视频编码中。基于感兴趣区域的视频压缩主要思想是人眼对图像感兴趣的局部给予高质量的编码，而不显著的区域给予较少的比特编码，这样就做到了比特分配的优化。1998年LaurentItti等人提出了自下而上的显著性模型，该模型计算复杂度低。Wang等人提出了视觉注意力模型融合像素域的JND模型，该模型考虑了人眼注意力特性和敏感度特性。

在已有的技术中，有的算法结构简单，效果不佳；有的算法预测不够准确，没能充分利用HVS的特性。而JND模型的准确度直接影响到视频压缩的客观效果和主观质量，为了更加准确的估计JND阈值，有必要发明一种不仅考虑视觉注意力模型还加入全变分方法充分探索图像信息以建立更加准确的JND模型的方法。

发明内容

本发明所要解决的技术问题是，提供一种基于显著性检测结合全变分的最小可察觉失真方法及系统，能够解决现有视频编码技术未充分利用HVS特性和JND模型不够准确的问题。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于显著性检测和全变分的最小可察觉失真方法，包括：

S1、将原始图像数据使用全变分方法分解为结构分量和纹理分量；

S2、根据结构分量和纹理分量计算像素域JND阈值和变换域JND阈值；

S3、对原始图像数据进行显著性检测，得到显著性映射图；使用显著性映射图加权像素域JND阈值和变换域JND阈值，取最大值作为最终的JND阈值。

本发明基于显著性检测和全变分的最小可察觉失真方法的有益效果在于：使用全变分方法将图像分解为结构分量和纹理分量，结构分量包含图像的轮廓等信息，而纹理分量包含更加准确的纹理信息，因而计算变换域JND阈值时需要使用纹理块进行划分，这样能更精确地得到图像块的块类型；根据所包含的不同信息的分量来生成JND阈值，能够计算出更精确地JND阈值；显著性检测利用人眼视觉特性，得到图像显著性区域，模拟人类视觉对感兴趣的区域能够得到更多的关注，从而能够更好的探索数据间的冗余，并且使得码率下降，得到的JND阈值精确，而视频的主观测试没有明显的损失。

一种基于显著性检测和全变分的最小可察觉失真系统，包括：

分解模块，用于将原始图像数据使用全变分方法分解为结构分量和纹理分量；

计算模块，根据结构分量和纹理分量计算像素域JND阈值和变换域JND阈值；

合成模块，用于对原始图像数据进行显著性检测，得到显著性映射图；使用显著性映射图加权像素域JND阈值和变换域JND阈值，取最大值作为最终的JND阈值。

本发明基于显著性检测和全变分的最小可察觉失真系统的有益效果在于：原始图像数据经分解模块分解成结构分量和纹理分量，由于结构分量包含图像的轮廓等信息，而纹理分量包含更加准确的纹理信息，因此计算模块计算变换域JND阈值时需要使用纹理块进行划分，这样能更精确地得到图像块的块类型；计算模块根据所包含的不同信息的分量来生成JND阈值，能够计算出更精确地JND阈值；合成模块结合显著性检测来获取最终的JND阈值，模拟人类视觉对感兴趣的区域能够得到更多的关注，从而能够更好的探索数据间的冗余，并且使得码率下降。

附图说明

图1为本发明实施例一的基于显著性检测和全变分的最小可察觉失真方法的感知视频编码框架图；

图2为本发明实施例一的基于显著性检测和全变分的最小可察觉失真方法的STJ模型；

图3为本发明实施例一的基于显著性检测和全变分的最小可察觉失真方法的BQTerrace实例失真性能；

图4为本发明实施例一的基于显著性检测和全变分的最小可察觉失真方法的BasketballDrive实例失真性能；

图5为本发明实施例一的基于显著性检测和全变分的最小可察觉失真方法的Cactus实例失真性能；

图6为本发明实施例一的基于显著性检测和全变分的最小可察觉失真方法的ParkScene实例失真性能；

图7为本发明实施例一的基于显著性检测和全变分的最小可察觉失真方法的PeopleOnStreet实例失真性能；

图8为本发明实施例一的基于显著性检测和全变分的最小可察觉失真方法的BasketballDrill实例失真性能；

图9为本发明实施例一的基于显著性检测和全变分的最小可察觉失真方法的4个方向的滤波模块；

图10为本发明实施例一的基于显著性检测和全变分的最小可察觉失真方法的背景亮度的滤波模块；

图11为本发明实施例一的基于显著性检测和全变分的最小可察觉失真方法的码率实验结果；

图12为本发明实施例一的基于显著性检测和全变分的最小可察觉失真方法的PSNR实验结果；

图13为本发明实施例一的基于显著性检测和全变分的最小可察觉失真方法的流程图；

图14为本发明实施例二的基于显著性检测和全变分的最小可察觉失真系统的结构图。

标号说明：

1、分解模块；2、计算模块；21、第一计算模块；22、第二计算模块；23、第一合成模块；24、第三计算模块；25、第四计算模块；26、第二合成模块；3、合成模块；31、相异度计算模块；32、显著值计算模块；33、周边显著值计算模块；34、第五计算模块。

具体实施方式

为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。

本发明最关键的构思在于：使用全变分的方法将图像分解为结构分量和纹理分量，根据结构分量和纹理分量计算JND阈值，并结合显著性检测，计算最终的JND阈值。

请参阅图1至图13，

从上述描述可知，本发明基于显著性检测和全变分的最小可察觉失真方法的有益效果在于：使用全变分方法将图像分解为结构分量和纹理分量，结构分量包含图像的轮廓等信息，而纹理分量包含更加准确的纹理信息，因而计算变换域JND阈值时需要使用纹理块进行划分，这样能更精确地得到图像块的块类型；根据所包含的不同信息的分量来生成JND阈值，能够计算出更精确地JND阈值；显著性检测利用人眼视觉特性，得到图像显著性区域，模拟人类视觉对感兴趣的区域能够得到更多的关注，从而能够更好的探索数据间的冗余，并且使得码率下降，得到的JND阈值精确，而视频的主观测试没有明显的损失。

进一步的，所述步骤S2的计算像素域JND阈值具体为：

S21、利用结构分量计算边界掩蔽效应以及利用纹理分量计算纹理掩蔽效应；

S22、将结构分量和纹理分量分别进行4个方向的滤波计算和平均背景亮度计算，设置纹理掩蔽效应的权重大于边界掩蔽效应的权重，进行加权求和得到对比度掩蔽效应，最后计算亮度对比度；

S23、将对比掩蔽效应和亮度对比度进行结合生成像素域JND阈值。

从上述描述可知，计算像素域时同时利用纹理分量和结构分量计算对比掩蔽效应，利用纹理能够容忍更多的失真的原理，给予纹理分量更多的权重，最后计算得到较好的对比掩蔽效应。

进一步的，所述步骤S2的计算变换域JND阈值具体为：

S24、计算基本阈值和亮度自适应因子，所述基本阈值包括亮度和色度分量的基本阈值；

S25、计算色度的对比掩蔽因子，以及使用纹理分量的变换块进行块的划分，计算亮度的对比掩蔽因子；

S26、将基本阈值、亮度自适应因子以及亮度和色度的对比掩蔽因子结合生成变换域JND阈值。

从上述描述可知，计算变换域JND阈值时需要使用纹理块进行划分，从而能够更加精确的得到图像块的块类型。

进一步的，所述步骤S3具体为：

S31、首先将图像转换到CIEL*a*b颜色空间，计算像素点之间的欧氏距离；通过计算图像像素点所在块与周围的块的位置欧氏距离，欧氏距离与位置欧氏距离成正比得到图像块之间的相异度；

S32、判断块之间的相异度确定是否为显著性像素，当前的块与周围块的相异度越大的则为显著性；对像素在单一尺度下计算得到显著性值；计算像素在多尺度下的显著性值，最后取得不同尺度下的显著性平均值作为显著性值；

S33、设定像素的显著性值大于设定阈值则为显著像素，显著像素与周围的像素计算显著值，根据欧氏距离与所述周围像素的显著值的乘积取平均得到周边像素的显著值；

S34、根据计算得到的显著值结合JND阈值，通过设定阈值与显著值之差得到显著调节因子，最后显著调节因子与像素域JND阈值及变换域JND阈值进行乘积计算得到最终的JND阈值。

从上述描述可知，引入显著性检测能够更好的利用人眼视觉特性，显著性检测得到图像的显著性区域，对该区域赋予更少的权重，模拟人类视觉对感兴趣的区域能够得到更多的关注；从而能够更好的探索数据间的冗余，并且使得码率下降，而视频的主观测试没有明显的损失。

请参阅图14，

分解模块1，用于将原始图像数据使用全变分方法分解为结构分量和纹理分量；

计算模块2，根据结构分量和纹理分量计算像素域JND阈值和变换域JND阈值；

合成模块3，用于对原始图像数据进行显著性检测，得到显著性映射图；使用显著性映射图加权像素域JND阈值和变换域JND阈值，取最大值作为最终的JND阈值。

本发明基于显著性检测和全变分的最小可察觉失真系统的有益效果在于：原始图像数据经分解模块1分解成结构分量和纹理分量，由于结构分量包含图像的轮廓等信息，而纹理分量包含更加准确的纹理信息，因此计算模块2计算变换域JND阈值时需要使用纹理块进行划分，这样能更精确地得到图像块的块类型；计算模块2根据所包含的不同信息的分量来生成JND阈值，能够计算出更精确地JND阈值；合成模块3结合显著性检测来获取最终的JND阈值，模拟人类视觉对感兴趣的区域能够得到更多的关注，从而能够更好的探索数据间的冗余，并且使得码率下降。

进一步的，所述计算模块2包括：

第一计算模块21，用于利用结构分量计算边界掩蔽效应以及利用纹理分量计算纹理掩蔽效应；

第二计算模块22，用于将结构分量和纹理分量分别进行4个方向的滤波计算和平均背景亮度计算，设置纹理掩蔽效应的权重大于边界掩蔽效应的权重，进行加权求和得到对比度掩蔽效应，最后计算亮度对比度；

第一合成模块23，用于将对比掩蔽效应和亮度对比度进行结合生成像素域JND阈值。

从上述描述可知，第一计算模块21计算像素域时同时利用纹理分量和结构分量计算对比掩蔽效应，利用纹理能够容忍更多的失真的原理，第二计算模块22给予纹理分量更多的权重，最后计算得到较好的对比掩蔽效应。

进一步的，所述计算模块2包括：

第三计算模块24，用于计算基本阈值和亮度自适应因子，所述基本阈值包括亮度和色度分量的基本阈值；

第四计算模块25，用于计算色度的对比掩蔽因子，以及使用纹理分量的变换块进行块的划分，计算亮度的对比掩蔽因子；

第二合成模块26，用于将基本阈值、亮度自适应因子以及亮度和色度的对比掩蔽因子结合生成变换域JND阈值。

进一步的，所述合成模块3包括：

相异度计算模块31，用于将图像转换到CIEL*a*b颜色空间，计算像素点之间的欧氏距离；通过计算图像像素点所在块与周围的块的位置欧氏距离，欧氏距离与位置欧氏距离成正比得到图像块之间的相异度；

显著值计算模块32，用于判断块之间的相异度确定是否为显著性像素，当前的块与周围块的相异度越大的则为显著性；对像素在单一尺度下计算得到显著性值；计算像素在多尺度下的显著性值，最后取得不同尺度下的显著性平均值作为显著性值；

周边显著值计算模块33，用于设定像素的显著性值大于设定阈值则为显著像素，显著像素与周围的像素计算显著值，根据欧氏距离与所述周围像素的显著值的乘积取平均得到周边像素的显著值；

第五计算模块34，用于根据计算得到的显著值结合JND阈值，通过设定阈值与显著值之差得到显著调节因子，最后显著调节因子与像素域JND阈值及变换域JND阈值进行乘积计算得到最终的JND阈值。

从上述描述可知，引入显著性检测能够更好的利用人眼视觉特性，相异度计算模块31、显著值计算模块32以及周边显著值计算模块33对图像进行显著性检测得到图像的显著性区域，第五计算模块34对该区域赋予更少的权重，模拟人类视觉对感兴趣的区域能够得到更多的关注；从而能够更好的探索数据间的冗余，并且使得码率下降，而视频的主观测试没有明显的损失。

请参照图1至图13，本发明的实施例一为：

将输入的每一帧视频分为Y、U和V三个分量，分别进行CIEL*a*b*空间转换；T_basic表示DCT域下的空域对比度敏感函数(CSF)，a_lum表示亮度自适应因子，F_c表示为对比度，TV_decomposition表示TV算法，即全变分方法分解图像为结构图和纹理图；由于色度分量U和V没有a_lum因子，所以直接跳过。

步骤1：将原始图像数据使用全变分方法进行分解为两个分量，一个是结构分量，一个是纹理分量。

一副图像可以看成由许多含有不同信息的数据组成的，要对这些数据进行较为准确的处理，通常需要对图像进行分解。如公式(1)所示，一个图像F可以大致分解成结构分量u和纹理分量v，例如F＝u+v。结构分量包含图像大致形状和边界，纹理分量包含了图像的边缘细节和纹理。将一幅图像分解为一些分量，这样可以对图像处理更准确，而忽略一些不重要的信息(噪声)，而不影响主观质量。

在解析图像之前需要解决一个限制性条件问题：

min{||str(u)|||||te(u,F)||≤σ}(1)

str(u)和te(u,B)代表两个函数，||·||代表范式(或半范式)，u属于BV空间，BV是有界变差空间，||te(u,B)||≤σ使得u更接近B，条件问题可以转换为无条件的拉格朗日问题，引入λ符号。公式(1)改为(2)：

步骤2：在像素域下，分别对图像的亮度分量和色度分量计算JND阈值。分别计算亮度对比度和对比度掩蔽效应，对比度掩蔽效应包括边界掩蔽效应和纹理掩蔽效应，将分解的结构分量和纹理分量分别用于计算边界掩蔽效应和纹理掩蔽效应，最后进行加权求和。

通过公式(3)，计算像素域JND阈值，JND_{pixel_TV}表示使用基于全变分算法的像素域JND模型，i和j表示坐标，p表示帧索引。

JND_{pixel_TV}(i,j,p)＝max{F₁(BG(i,j),MG(i,j)),F₂(BG(i,j))}(3)

F₁(BG(i,j),MG(i,j))表示为对比度掩蔽效应，F₂(BG(i,j))表示为亮度自适应，F₁(BG(i,j),MG(i,j))计算如下：

F₁(BG(i,j),MG(i,j))＝MG(i,j)×α(BG(i,j))+β(BG(i,j))(4)

MG(i,j)表示亮度的最大平均加权值，通过公式(5)对图像进行4个方向的滤波，取最大得到MG(i,j)。

符号表示图像数据被解析为纹理分量和结构分量，是纹理分量，为结构分量，g_dir(x,y)表示滤波模块，如图9所示，dir可以取1到4。

如图2所示，计算对比度掩蔽效应(contrastmasking，CM)，CM包含两个重要的因素分别为边界掩蔽效应(edgemasking，EM)和纹理掩蔽效应(texturemasking，TM)。通常图像噪声在纹理区域不容易发觉，在平坦区域或边界更容易发现噪声，因此如果在同一个区域有相同的空间差异水平，则在分配权重时，TM要大于EM。CM可以被表示为如下公式：

CM(i,j)＝EM_u(i,j)+TM_v(i,j)(7)

EM_u(i,j)＝C_u(i,j)·W_e(8)

TM_v(i,j)＝C_v(i,j)·W_t(9)

根据公式(10)和(11)，可计算α(BG(i,j))和β(BG(i,j))，两个因子和平均背景亮度相关，存在线性的关系:

α(BG(i,j))＝BG(i,j)×0.0001+0.115(10)

β(BG(i,j))＝η-BG(i,j)×0.01(11)

BG(i,j)表示图像的平均背景亮度强度，符号η表示平均背景亮度强度最大值处函数的斜率。

图10所示，B(x,y)表示为加权滤波模版。

亮度对比度F₂(BG(i,j))可计算如下：

T表示平均背景亮度为0时的可视阈值。表示为最小可视阈值Τ、η和κ分别设置为17、3、1/4和3/128。

步骤3：计算变换域下的JND阈值，需要分别计算基本阈值、亮度自适应因子和对比度掩蔽因子，在计算亮度的对比度掩蔽因子时，使用已经分解的纹理分量进行块的更加精确的划分。

亮度分量Y和色度分量UV的DCT域JND模型主要由基本阈值和一些调节因子组成。这里想，x和y表示坐标，p表示帧索引。

JND_{L_DCT}(x,y)＝T_{L_Basic}(x,y,p)×A_lum×F_{L_contrast}(x,y,p)(14)

JND_{C_DCT}(x,y)＝T_{C_Basic}(x,y,p)×F_{C_contrast}(x,y,p)(15)

其中，A_lum为亮度自适应因子，T_{L_Basic}(x,y,p)和T_{C_Basic}(x,y,p)分别表示为亮度和色度的基本阈值。F_{L_contrast}(x,y,p)和F_{C_contrast}(x,y,p)分别为亮度和色度的对比度掩蔽因子。

亮度分量的基本阈值公式：

其中的Φ_x和Φ_y分别表示DCT系数的归一化因子(17)。参数s表示空间整合效应(spatialsummationeffect)，s设置为0.25。θ_xy表示DCT系数块的方向角(18)。r设置为0.6。a、b和c分别设置为1.33，0.11和0.18。

色度的基本阈值公式如下：

T_{C_Basic}(x,y,p)＝ψ·[(1-a)exp(b·f^c)+α](19)

其中参数α为1/256，当色度分量为a^*时，ψ＝280，b＝-31.9795和c＝2.06。对于色度分量为b^*时，ψ＝320，b＝-22.4413和c＝1.74。

如果以平均亮度强度为横坐标，亮度自适应因子为纵坐标，则亮度自适应函数为一条U型曲线，其公式如下：

其中的表示第K个DCT块的平均像素值。

F_{L_contrast}(x,y,p)表示为亮度的对比度掩蔽效应因子。公式如下：

其中，C_L(x,y,p)表示DCT块系数。在计算F_{L_contrast}(x,y,p)时，需要对DCT块进行划分，这就利用到了公式(23)。公式(22)中图像块的边缘和平面的权重为1，纹理块的低频区域和高频区域的权重分别为2.25和1.25。

TV模型分解图像为结构图和纹理图，然后对纹理图进行区域的划分，导入到F_{L_contrast}(x,y,p)中进行计算。图像块可以大致分为平坦块、边缘块和纹理块，不同的块对应的对比度掩蔽效应因子是不同的。需要分类DCT系数的类型，对于色度分量的DCT系数不需要进行分类。

ρ表示图像块中边缘像素的密度大小，α和β设置为0.1和0.25效果较好。

DCT域下使用TV分解图像获取纹理分量，利用人类视觉系统对纹理区域不敏感的特点，在该区域进行JND阈值的估计，能够获得的JND模型更为精确。

变换块系数的色度对比度掩蔽因子计算公式如下：

其中的参数C_c(x,y,p)表示第P帧中的变换块的系数。T_{C_Basic}(x,y,p)表示为色度分量的基本阈值。

步骤4：对原始图像进行显著性检测，得到显著性映射图。将计算得到的显著图来加权像素域和变换域JND阈值，取最大值作为最终的JND阈值。将生成好的JND模型导入到残差滤波模块，对残差数据进行处理。

步骤4.1：单一尺度的局部和全局性

某个像素i以其为中心的图像块p，p与图像中其他块都存在差异，那么该图像块p为一个显著性块。通过公式(25)，可以计算得到当前块p与其他周围块的相异度。相异度越大则越显著。

d_ED(p_i,p′_j)表示两个块在CIEL*a*b颜色空间中的欧氏距离。p、i和j分别表示块和像素。d_{P_ED}(p_i,p′_j)表示位置欧氏距离，可以用来检测两块的远近程度，如果当前显著的图像块p_i与图像块p_j距离较远，则认为p_j不是显著块。

在单一的t尺度下，像素值的显著性计算公式为：

步骤4.2：多尺度显著性

背景图像块在多尺度下有许多相似的块。显著图像块在一些尺度下有相似的图像块。如果使用多尺度降低背景图像块的显著性，可以提高显著性与非显著性的对比度。在选择图像块时，要把尺度因素考虑进来。则公式(26)可以改写为：

在不同尺度下，像素i的平均显著性值为：

M设置为49。

步骤4.3：显著性扩散

在计算图像块的显著性时，需要考虑人眼的特性。人们观看图像时能够产生视觉焦点。与视觉焦点近的图像块应该被认为是重要的，而随着距离的增大视觉离心率越大，显著性会下降。显著性公式如下：

在t尺度下，表示当前像素与对比的显著性像素位置的欧氏距离。该距离在计算过程中需要归一化为[0,1]。

步骤4.4：STJ建模

STJ模型由联合JND模型和显著性模型组成。公式如下：

STJ(x,y,p)＝JND_M(x,y,p)×S(x,y)(30)

其中，JND_M(x,y,p)是对像素域和DCT域JND模型进行同时估计。图像中的像素坐标为(i,j)，p是帧索引。S(x,y)是显著性调节因子。

JND_M(i,j,p)＝f{JND_{pixel_TV}(i,j,p),JND_{DCT_TV}(i,j,p)}(31)

公式(30)中的函数f表示求得最大值，JND_{pixel_TV}表示使用基于全变分算法的像素域JND模型。

JND_{DCT_TV}(i,j,p)表示在DCT域下生成的JND模型。使用TV算法分解图像的纹理图，利用纹理图计算对比度掩蔽效应因子，结合其他的因子得到的JND模型。本文提出的改善模型对亮度Y分量和色度U、V分量分别进行估计JND阈值。JND_{DCT_TV}(i,j,p)是变换JND阈值经过反变换的结果，公式如下：

JND_{DCT_TV}(i,j,p)＝IDCT(sign(C(i,j,p))·JND_DCT(i,j,p))(32)

公式(31)中的JND_DCT(i,j,p)表示DCT域下计算的JND阈值，sign表示DCT块系数的符号。

步骤4.5：残差滤波器模块

图1所示是HEVC的视频编码框架图。通过显著性检测生成显著性图主要用于调整JND阈值的分布。图1中，STJModel表示STJ模块用于生成STJ阈值。然后该阈值导入到STJAdaptiveFilter自适应滤波器中。F”(i,j)表示还没经过滤波的残差数据，D(i,j)表示经过滤波后的残差数据，F(i,j)表示原始图像信号，参数表示残差值的平均值。自适应滤波器的公式如下：

步骤4.6：实验结果和讨论

将提出来的STJ模型嵌入到HEVC视频编码框架软件HM16.0里。为了更好的评价该模型的性能，使用6个视频序列来测试分别为：BasketballDrive、BQTerrace、Cactus、ParkScene、PeopleOnStreet，分辨率都为1920x1080。序列PeopleOnStreet分辨率为2560x1600。配置文件是：encoder_intra_main.cg。

步骤4.6.1：主观测试方案

我们请了10人作为主观测试的观众。10人里面5人是图像处理方面的老师和学生，另外5人为非本专业的人员。为了提高测试的准确性，本发明使用DSCQS方法。为了避免观看者的个人偏见，显示的序列在视频左右两边的位置是随机的。视频序列分为A和B。A表示原始序列,B表示加入了模块的解码序列。视频的播放顺序是：视频序列A，等待2秒灰屏，视频序列B，等待2秒灰屏。每个视频组播放2遍，观看者对视频进行打分，视频序列在左右位置显示是随机的。所以原视频可能在左边或者右边，但对于观看者来说，他们并不清楚真实的位置情况。观看者按照图11所示的表格的标准进行打分，然后进行求得平均值。

步骤4.6.2：STJ模型的测试结果

如图11所示的表格所示，本文提出的模型在码率方面比标准模型和背景技术中wang等人提出的低。量化参数设置为21、26、31和36。码率降低在1.9％～28.91％范围。提出的模型与标准模型相比，平均节省近11％。同时，比wang等人提出的模型提高了3.13％。

如图12所示的表格所示，提出的模型的峰值信噪比(PSNR)都比较低。如图3至图8所示的实例失真性能比较，描述了R-D曲线，从图中可以看到我们的模型的曲线在其他模型的下方。这也说明，与标准和王等人的模型相比，该模型可以容忍更多的数据失真。同时，表格中的主观质量评分也都比较接近。主观测试的评分结果如图12所示的表格的第6列所示。得分越接近0说明视觉质量相当，负数表示我们的视频质量比别人好，否则差。表格最后一行是求得PSNR平均值，我们提出的模型平均PSNR值为35.01dB，比王等人提出的模型下降了0.66dB。

在测试过程中发现视频序列“BasketballDrive”在QP为31时，码率出现了上升。通过对该视频进行反复的观察和测试，总结了几个原因，第一是视频的帧速率是每秒50帧，帧速率会直接影响码率；第二是因为QP参数的增加，量化后非零系数减少了，比特率下降趋势变小；第三是此视频图像中某些区域具有大量的运动滞后现象，而这些区域会被误判为显著性区域。

请参阅图14，本发明实施例二为：

一种配合实施例一所述的基于显著性检测和全变分的最小可察觉失真方法的系统，包括：

计算模块2，根据结构分量和纹理分量计算像素域JND阈值和变换域JND阈值；所述计算模块2包括：第一计算模块21，用于利用结构分量计算边界掩蔽效应以及利用纹理分量计算纹理掩蔽效应；第二计算模块22，用于将结构分量和纹理分量分别进行4个方向的滤波计算和平均背景亮度计算，设置纹理掩蔽效应的权重大于边界掩蔽效应的权重，进行加权求和得到对比度掩蔽效应，最后计算亮度对比度；第一合成模块23，用于将对比掩蔽效应和亮度对比度进行结合生成像素域JND阈值；第三计算模块24，用于计算基本阈值和亮度自适应因子，所述基本阈值包括亮度和色度分量的基本阈值；第四计算模块25，用于计算色度的对比掩蔽因子，以及使用纹理分量的变换块进行块的划分，计算亮度的对比掩蔽因子；第二合成模块26，用于将基本阈值、亮度自适应因子以及亮度和色度的对比掩蔽因子结合生成变换域JND阈值；

合成模块3，用于对原始图像数据进行显著性检测，得到显著性映射图；使用显著性映射图加权像素域JND阈值和变换域JND阈值，取最大值作为最终的JND阈值；所述合成模块3包括：相异度计算模块31，用于将图像转换到CIEL*a*b颜色空间，计算像素点之间的欧氏距离；通过计算图像像素点所在块与周围的块的位置欧氏距离，欧氏距离与位置欧氏距离成正比得到图像块之间的相异度；显著值计算模块32，用于判断块之间的相异度确定是否为显著性像素，当前的块与周围块的相异度越大的则为显著性；对像素在单一尺度下计算得到显著性值；计算像素在多尺度下的显著性值，最后取得不同尺度下的显著性平均值作为显著性值；周边显著值计算模块33，用于设定像素的显著性值大于设定阈值则为显著像素，显著像素与周围的像素计算显著值，根据欧氏距离与所述周围像素的显著值的乘积取平均得到周边像素的显著值；第五计算模块34，用于根据计算得到的显著值结合JND阈值，通过设定阈值与显著值之差得到显著调节因子，最后显著调节因子与像素域JND阈值及变换域JND阈值进行乘积计算得到最终的JND阈值。

综上所述，本发明提供的基于显著性检测结合全变分的最小可察觉失真方法及系统，可用于现有大部分的视频编码框架中，使用全变分对图像进行分解得到较为精确的纹理分量和结构分量，而在计算变换域JND阈值时需要使用纹理块进行划分，这样能更加精确的得到图像块的块类型；计算像素域JND时将同时利用纹理分量和结构分量计算对比度掩蔽效应，利用纹理能够容忍更多的失真这一原理，给予纹理分量更多的权重，最后计算得到较好的对比度掩蔽效应；为了更加利用人眼视觉特性而能引入了显著性检测，得到图像显著性区域，对该区域赋予更少的权重，模拟人类视觉对感兴趣的区域能够得到更多的关注。能够更好的探索数据间的冗余，并且使得码率下降，而视频的主观测试没有明显的损失。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种基于显著性检测和全变分的最小可察觉失真方法，其特征在于，包括：

2.根据权利要求1所述的基于显著性检测和全变分的最小可察觉失真方法，其特征在于，所述步骤S2的计算像素域JND阈值具体为：

3.根据权利要求1所述的基于显著性检测和全变分的最小可察觉失真方法，其特征在于，所述步骤S2的计算变换域JND阈值具体为：

4.根据权利要求1所述的基于显著性检测和全变分的最小可察觉失真方法，其特征在于，所述步骤S3具体为：

5.一种基于显著性检测和全变分的最小可察觉失真系统，其特征在于，包括：

6.根据权利要求5所述的基于显著性检测和全变分的最小可察觉失真系统，其特征在于，所述计算模块包括：

第一计算模块，用于利用结构分量计算边界掩蔽效应以及利用纹理分量计算纹理掩蔽效应；

第二计算模块，用于将结构分量和纹理分量分别进行4个方向的滤波计算和平均背景亮度计算，设置纹理掩蔽效应的权重大于边界掩蔽效应的权重，进行加权求和得到对比度掩蔽效应，最后计算亮度对比度；

第一合成模块，用于将对比掩蔽效应和亮度对比度进行结合生成像素域JND阈值。

7.根据权利要求5所述的基于显著性检测和全变分的最小可察觉失真系统，其特征在于，所述计算模块包括：

第三计算模块，用于计算基本阈值和亮度自适应因子，所述基本阈值包括亮度和色度分量的基本阈值；

第四计算模块，用于计算色度的对比掩蔽因子，以及使用纹理分量的变换块进行块的划分，计算亮度的对比掩蔽因子；

第二合成模块，用于将基本阈值、亮度自适应因子以及亮度和色度的对比掩蔽因子结合生成变换域JND阈值。

8.根据权利要求5所述的基于显著性检测和全变分的最小可察觉失真系统，其特征在于，所述合成模块包括：

相异度计算模块，用于将图像转换到CIEL*a*b颜色空间，计算像素点之间的欧氏距离；通过计算图像像素点所在块与周围的块的位置欧氏距离，欧氏距离与位置欧氏距离成正比得到图像块之间的相异度；

显著值计算模块，用于判断块之间的相异度确定是否为显著性像素，当前的块与周围块的相异度越大的则为显著性；对像素在单一尺度下计算得到显著性值；计算像素在多尺度下的显著性值，最后取得不同尺度下的显著性平均值作为显著性值；

周边显著值计算模块，用于设定像素的显著性值大于设定阈值则为显著像素，显著像素与周围的像素计算显著值，根据欧氏距离与所述周围像素的显著值的乘积取平均得到周边像素的显著值；

第五计算模块，用于根据计算得到的显著值结合JND阈值，通过设定阈值与显著值之差得到显著调节因子，最后显著调节因子与像素域JND阈值及变换域JND阈值进行乘积计算得到最终的JND阈值。