CN103763552B - 基于视觉感知特性的立体图像无参考质量评价方法 - Google Patents
基于视觉感知特性的立体图像无参考质量评价方法 Download PDFInfo
- Publication number
- CN103763552B CN103763552B CN201410052909.1A CN201410052909A CN103763552B CN 103763552 B CN103763552 B CN 103763552B CN 201410052909 A CN201410052909 A CN 201410052909A CN 103763552 B CN103763552 B CN 103763552B
- Authority
- CN
- China
- Prior art keywords
- depth
- value
- region
- human eye
- represent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Abstract
本发明涉及一种基于视觉感知特性的立体图像无参考质量评价方法，首先对图像运用视觉显著度模型算法选取人眼关注的区域；接着，对关注区域利用左右视图提取表征立体视觉信息的深度图作为评价依据；然后，对该区域的深度值做特征统计处理，并且在这一过程考虑了人眼深度敏感特性对深度感的影响；最后，结合时域的特征信息计算视频序列深度质量值。本发明方法较传统方法结果精度有较大提高，且具有较高的深度图生成效率，在立体感质量评价模型中增加表示深度级影响人眼深度敏感性的权重因子，对立体图像质量具有更准确的评价。
Description
技术领域
本发明涉及一种基于视觉感知特性的立体图像无参考质量评价方法。
背景技术
立体图像深度感质量评价指的是一种评价立体图像内容的立体感体验质量好坏的方法，评价立体图像质量的方法分为主观评价和客观评价两种。主观评价方法[1]的结果虽然更准确，但需要组织专门人员进行观测，代价昂贵且耗时，不适用于实时应用和系统集成。因此，客观质量评价方法[2, 3]近年来已经成为关注热点。
在立体图像客观评价方法中，2008年，Benoit扩展了传统2D图像客观质量评价方法，引入表示左右两图差异的视差图，将视差图的失真值与左右图客观质量的平均值进行线性结合，最终的值表示立体图像质量[4]。该方法在传统2D图像客观质量基础上增加考虑了深度质量，但是没有讨论视差图对于深度质量的影响。
2009年，Jiachen Yang等提出将图像质量和立体感知分开评价，通过左右图相减得到的绝对视差图来判断图像立体感，用视差图的失真表示立体感知客观质量[5]。该方法计算简单，但是仅仅用实验表明绝对视差图对立体感的作用，缺乏相关理论分析。
2010年，You等人通过将2D质量评价算法应用在立体图像对和视差图上进一步扩展预测3D立体图像对质量的方法[6]。他们应用了大量的全参考2D质量评价算法测试立体图像对和视差图，并得出结论,预测3D立体影像的质量时使用SSIM计算立体图像对质量，应用平均绝对差(MAD)估计视差图质量可以产生良好的性能。
2011年，Sarikan将深度图分割成不同的深度平面，并利用SSIM对层，帧，序列三个级别进行了加权计算，将深度图的评价扩展到了立体视频质量评价[7]。
2012年，Lebreton深入分析了产生立体感知的原理，对视差图的生成，深度图分割和空时域信息的运用都做出具体讨论分析，从而建立了立体视频深度感知模型[2]，同时不同于之前的方法，该模型是一种非参考质量评价方法。
2013年，Sohn等人[3]利用立体图像的感知质量和视觉信息之间的关系,并引入双目质量感知模型，提出一种立体图像无参考质量方法。该方法在模糊和块效应失真的情况下建立人眼视觉系统的双目质量感知模型。左右图像感知模糊强度和块效应的分数被计算使用局部模糊强度,块效应强度和视觉显著度信息,然后使用双目质量感知模型合成整体质量索引。该方法适用于存在失真并且左右视点图像不对称的应用场景。
由文献分析可知，利用视差信息的立体图像质量评价方法主要包含全参考和无参考两种方法，全参考评价方法沿用2D图像客观质量评价方法预测左右视图和视差图质量，但是全参考方法需要原始图像作参考，而许多应用中无法满足该条件，因而无参考方法成为近期的研究热点。
前沿的立体图像无参考质量评价方法[8]中，第一步，依据视差生成深度图，视差代表着双眼线索的差异，深度值通过视差、左右摄像机的焦距以及基线位置三个参数并量化计算转化成8位数值可得，并以深度图的形式保存。第二步，将所得的深度图划分成若干区域，进行分割，当这些区域的深度变化值小于某规定阈值时，则不考虑此块对该立体图像客观评价结果的影响。第三步，对所选择区域的特征统计，特征统计的方法是计算选择区域的每个像素点的标准差，并取对数标准化，所得结果为前沿的立体图像质量评价方法的评价结果。
在第一步中，前沿方法中生成深度图的过程复杂度较高，而第二步中的区域分割所选取的区域与人眼关注区域也不一定相同，因此未先提取图像中对人眼视觉有显著影响的信息而生成深度图不仅造成该质量评价方法实现效率较低，且将影响到评价结果的准确性。
在第三步中，区域内的像素值到深度感质量值的过程使用线性映射，没有区分对待不同像素值的敏感度特点，这导致该方法获得的深度感评价值与实际人眼感知不一致。
在立体图像的无参考质量评价方法中，分析影响立体图像视觉效果的因素，准确地提取反映立体图像深度质量的特征信息，是建立有效的质量评价方法的前提和基础。因此，本文方法首先对图像运用视觉显著度模型算法选取人眼关注的区域，接着，对关注区域利用左右视图提取了表征立体视觉信息的深度图作为评价依据；然后对该区域的深度值做特征统计处理，并且在这一过程考虑了人眼深度敏感特性对深度感的影响；最后，结合时域的特征信息计算视频序列深度质量值。因此，模型的总体框架有4个主要步骤：1）视觉关注区域选取；2）深度图生成；3）所选择区域的特征统计；4）视频深度质量值计算；下面我们主要讨论前3个具体步骤。
传统方法需要依据深度信息评价立体图像深度感知，深度图的生成步骤成为评价过程的重要环节。该步骤通过估计左右视图视差信息，进而转化成相应的深度值，但视差估计要匹配左右图相应像素的位置，计算复杂度很高，导致评价效率低；由于深度图中人眼关注区域对最后深度感知的影响大[8]，而显著度模型能够计算图像的人眼关注程度，我们利用基于图形的视觉关注度模型[8]获取关注度图，该模型通过马尔科夫链构建节点间关系，计算简单并且性能优秀。
发明内容
本发明的目的在于提供一种计算简单并且性能优秀的基于视觉感知特性的立体图像无参考质量评价方法。
为实现上述目的，本发明的技术方案是：一种基于视觉感知特性的立体图像无参考质量评价方法，包括如下步骤，
步骤S1：视觉关注区域选取：对图像运用视觉显著度模型算法选取人眼关注的区域；
步骤S2：深度图生成：对上述关注区域的左右视图提取表征立体视觉信息，生成深度图；
步骤S3：深度图的特征统计：对深度图的深度值做特征统计处理，即通过深度最小可觉察误差模型确定人眼对深度图像素值的可感知范围和敏感度因子，并结合计算深度的相对层次性，得出立体图像的立体感客观质量值；
步骤S4：视频深度质量值计算：结合时域的特征信息计算视频序列深度质量值，即通过将连续相邻多帧图像的深度质量估计值进行平均。
在本发明实施例中，所述步骤S1中对图像运用视觉显著度模型算法选取人眼关注的区域，具体方法如下，
选取绝对显著图A中像素值大于第75百分位数的区域A'，即通过设置一阈值ε选取人眼关注区域，该人眼关注区域选取公式如下，
， （1）
其中，i，j为图A像素的行号和列号，i，j都为整数，i大于0并且小于等于图A的高度，j大于0并且小于等于图A的宽度。
在本发明实施例中，所述步骤S2的深度图生成，具体包括如下步骤，
步骤S21：设上述关注区域的左视图中的A'非零区域的分块为Yi，在上述关注区域的右视图中水平方向匹配寻找最相似分块Yj；
步骤S22：计算得分块Yi的视差为：
， （2）
其中，yi为分块Yi中以左视图中心为原点的特征点位置，yj为分块Yj中以右视图中心为原点的特征点位置，所述视差即双眼线索的差异；
步骤S23：根据视差与像素间的关系可知：
， （3）
其中，z为深度值，f为焦距，b为基线，即双目摄像头间距；
步骤S24：根据非线性8位深度量化函数将深度值量化为离散的深度级并保存为深度图，该函数公式如下，
， （4）
其中，v是量化后的深度级，Z near 和Z far 分别是最近深度值和最远深度值。
在本发明实施例中，所述步骤S3深度图的特征统计，具体方式为，
利用标准差公式表示深度层次性，该公式如下，
， （5）
其中，X表示图像区域像素值组成的向量，#X表示X向量元素个数，X i 表示第i个元素，表示向量元素的平均值；
对于不同的深度级，存在一个深度误差范围，该深度误差范围的区间如下公式表示，
， （6）
其中，
，，
D-NOSE(v)表示无合成误差深度区间函数，表示从深度级到视差的映射函数，是的逆函数，N是图像的宽度，即立体图像对可偏移位置总长度，是合成立体图像时偏移位置取整的阈值。
在本发明实施例中，当深度值z的变化小于D-NOSE(v)范围或深度最小可觉察误差JNDD阈值时，人眼无法判别到立体感变化，因此，公式（5）的标准差计算之前需将每一个深度值依据JNDD阈值进行预处理，该公式如下，
， （7）
其中，表示在深度的最小可觉察误差，#sq表示人眼关注区域A'非零区域像素的总个数。
在本发明实施例中，所述JNDD通用计算模型如公式（8），并根据公式（8），将双眼视差的JNDD定义为，它是观看距离对最小可觉察误差影响和模拟深度级对最小可觉察误差影响两个值之和；公式（8）如下所示，
， （8）
由于JNDD与双眼差异的感知变化随着观看距离而呈线性变化，故上述公式（8）基于实验数据可近似为如下公式（9），
， （9）
其中，表示当初始模拟深度d=0时的JNDD值，l表示观看距离，且都以米为单位；
上述初始深度d与JNDD之间的关系如下述公式（10）所示，
， （10）
其中，表示当初始深度d不为零时的JNDD，K w 表示韦伯常数。
在本发明实施例中，所述视频深度质量值计算，即在立体感质量评价模型中增加表示深度级影响人眼深度敏感性的权重因子，假设该权重因子与JNDD成反比，则深度质量可表示为：
（11）
其中，，k是比例系数，#sq表示人眼关注区域A'非零区域像素的总个数。
相较于现有技术，本发明具有以下有益效果：
1、本文考虑视觉感知特性，提出一种立体图像的无参考质量评价方法，通过实验证明较传统方法通过实验证明结果精度有较大提高；
2、从深度值变化小于一定阈值范围时，人眼无法判别到立体感变化这一人眼视觉特性，以区分深度图中的非敏感像素，获得更准确的立体图像质量评价结果；
3、从不同深度级，人眼的深度敏感性不同这一人眼视觉特性，在立体感质量评价模型中增加表示深度级影响人眼深度敏感性的权重因子，以此获得更准确的立体图像质量评价结果；
4、该方法针对前沿深度质量评价模型生成深度图效率低，引入视觉显著度模型算法选取人眼关注的区域，再对关注区域利用左右视图提取了表征立体视觉信息的深度图作为评价依据。
附图说明
图1为本发明深度质量估计算法框图。
图2为本发明实验的场景左视图和深度图。
图3为本发明测试序列生成深度图效率比较。
图4为本发明主观和客观质量值比较的散点图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明一种基于视觉感知特性的立体图像无参考质量评价方法，包括如下步骤，
步骤S1：视觉关注区域选取：对图像运用视觉显著度模型算法选取人眼关注的区域；
步骤S2：深度图生成：对上述关注区域的左右视图提取表征立体视觉信息，生成深度图；
步骤S3：深度图的特征统计：对深度图的深度值做特征统计处理，即通过深度最小可觉察误差模型确定人眼对深度图像素值的可感知范围和敏感度因子，并结合计算深度的相对层次性，得出立体图像的立体感客观质量值；
步骤S4：视频深度质量值计算：结合时域的特征信息计算视频序列深度质量值，即通过将连续相邻多帧图像的深度质量估计值进行平均。
所述步骤S1中对图像运用视觉显著度模型算法选取人眼关注的区域，具体方法如下，
选取绝对显著图A中像素值大于第75百分位数的区域A'，即通过设置一阈值ε选取人眼关注区域，该人眼关注区域选取公式如下，
， （1）
其中，i，j为图A像素的行号和列号，i，j都为整数，i大于0并且小于等于图A的高度，j大于0并且小于等于图A的宽度。
所述步骤S2的深度图生成，具体包括如下步骤，
步骤S21：设上述关注区域的左视图中的A'非零区域的分块为Yi，在上述关注区域的右视图中水平方向匹配寻找最相似分块Yj；
步骤S22：计算得分块Yi的视差为：
， （2）
其中，yi为分块Yi中以左视图中心为原点的特征点位置，yj为分块Yj中以右视图中心为原点的特征点位置，所述视差即双眼线索的差异；
步骤S23：根据视差与像素间的关系可知：
， （3）
其中，z为深度值，f为焦距，b为基线，即双目摄像头间距；
步骤S24：根据非线性8位深度量化函数将深度值量化为离散的深度级并保存为深度图，该函数公式如下，
， （4）
其中，v是量化后的深度级，Z near 和Z far 分别是最近深度值和最远深度值。
所述步骤S3深度图的特征统计，具体方式为，
利用标准差公式表示深度层次性，该公式如下，
， （5）
其中，X表示图像区域像素值组成的向量，#X表示X向量元素个数，X i 表示第i个元素，表示向量元素的平均值；
对于不同的深度级，存在一个深度误差范围，该深度误差范围的区间如下公式表示，
， （6）
其中，
，，
D-NOSE(v)表示无合成误差深度区间函数，表示从深度级到视差的映射函数，是的逆函数，N是图像的宽度，即立体图像对可偏移位置总长度，是合成立体图像时偏移位置取整的阈值。
当深度值z的变化小于D-NOSE(v)范围或深度最小可觉察误差JNDD阈值时，人眼无法判别到立体感变化，因此，公式（5）的标准差计算之前需将每一个深度值依据JNDD阈值进行预处理，该公式如下，
， （7）
其中，表示在深度的最小可觉察误差，#sq表示人眼关注区域A'非零区域像素的总个数。
所述JNDD通用计算模型如公式（8），并根据公式（8），将双眼视差的JNDD定义为，它是观看距离对最小可觉察误差影响和模拟深度级对最小可觉察误差影响两个值之和；公式（8）如下所示，
， （8）
由于JNDD与双眼差异的感知变化随着观看距离而呈线性变化，故上述公式（8）基于实验数据可近似为如下公式（9），
， （9）
其中，表示当初始模拟深度d=0时的JNDD值，l表示观看距离，且都以米为单位；
上述初始深度d与JNDD之间的关系如下述公式（10）所示，
， （10）
其中，表示当初始深度d不为零时的JNDD，K w 表示韦伯常数。
所述视频深度质量值计算，即在立体感质量评价模型中增加表示深度级影响人眼深度敏感性的权重因子，假设该权重因子与JNDD成反比，则深度质量可表示为：
（11）
其中，，k是比例系数，#sq表示人眼关注区域A'非零区域像素的总个数。
以下为本发明的具体实施例。
为了减少估计视差和深度图相关区域分割的计算时间，我们只选取绝对显著图A中像素值大于第75百分位数的区域A'进行深度图估计和质量评价；我们通过合适的阈值ε选取该区域，如公式所示：
， （1）
接着我们对A'非零区域的左右视图信息进行深度图估计；设左视图相关区域分块为Yi，在右视图中水平方向匹配寻找最相似分块Yj，那么，分块Yi的视差为：
， （2）
yi为分块Yi特征点以左视图中心为原点的位置，yj为分块Yj特征点以右视图中心为原点的位置。根据视差与像素间的关系可知：
， （3）
其中，z为深度值，f为焦距，b为基线，即双目摄像头间距。
为了标准化存储深度信息，通常将深度值量化为离散的深度级并保存为深度图；我们使用非线性8位深度量化函数：
， （4）
其中，v是量化后的深度级，Z near 和Z far 分别是最近深度值和最远深度值。
一旦获取了每帧的深度图,下一步就是提取双目特性用于整个序列深度感估计；由于深度的层次性有助于以相对的方式评价立体视觉感知，因此场景中不同对象间的视差变化可用于深度感估计；本算法用标准差表示深度层次性，公式定义为：
， （5）
其中，X表示图像区域像素值组成的向量，#X表示X向量元素个数，X i 表示第i个元素，表示向量元素的平均值。
为了提高深度图用于立体感质量评价的精确性，引入基于人眼视觉感知特性的处理方法,整体算法描述如图1所示。
由于不同的深度级可能映射到相同的视差，对于每个深度级，存在一个深度误差范围，该范围内深度的变化不会影响用于人眼观测的立体图合成，如区间如公式(6)：
， （6）
其中：
，，
D-NOSE(v)表示无合成误差深度区间函数，v表示深度级，表示从深度级到视差的映射函数，是的逆函数，N是图像的宽度，即立体图像对可偏移位置总长度，是合成立体图像时偏移位置取整的阈值。
标准差是计算每个深度值与平均深度值的差异，但是当深度值变化小于D-NOSE范围或者深度最小可觉察误差（JNDD）阈值时，人眼无法判别到立体感变化，因此，标准差计算之前需要将每个深度值依据JNDD阈值进行预处理，则公式（5）变为：
， （7）
其中，表示在深度的最小可觉察误差，#sq表示人眼关注区域A'非零区域像素的总个数。
表示在深度的最小可觉察误差；JNDD通用计算模型如公式(3)所示；根据公式(8)，双眼视差的JNDD定义为，它是观看距离对最小可觉察误差影响和模拟深度级对最小可觉察误差影响两个值之和：
， （8）
JNDD与双眼差异的感知变化随着观看距离而呈线性变化，该模型基于实验数据近似给出了公式（9）；在（9）中, 表示当初始模拟深度为零(d=0)时的JNDD值, l表示观看距离,都以米为单位：
， （9）
可见，与观看距离成正比，JNDD随着观看距离而变化，观看距离越远，JNDD值越大；此外，初始深度d和JNDD之间的关系,如公式（10）；在（10）中表示当初始深度不为零时的JNDD：
， （10）
其中，K w 表示韦伯常数，该值可以通过深度恰可觉察的实验来确定经验值。
在不同深度级，人眼的深度敏感性不同；深度值离屏幕越近，人眼对该深度值的变化越敏感，该深度变化对立体感的贡献也越大，而这时JNDD却越小；因此，我们在立体感质量评价模型中增加表示深度级影响人眼深度敏感性的权重因子，假设该权重因子与JNDD成反比。则深度质量可表示为：
（11）
其中，，k是比例系数，#sq表示人眼关注区域A'非零区域像素的总个数。
为更好的讲述本发明，以下为本发明的实验结果。
为了验证基于人眼视觉感知特性的立体质量评价算法的有效性，本实验以主观质量评价值作为比较参考目标,判断该模型预测结果与人眼主观感知的一致程度；该节描述相同测试序列条件下，立体视频的主观评价方法及结果，前沿算法[2]预测的客观质量值，和本文立体质量评价算法计算的客观质量结果；通过比较来说明本文提出的方法能够更精确地评估立体视频的质量。
考虑测试序列的标准、权威和公开，本文利用瑞士洛桑理工大学 (EPFL)的3D立体视频库[9]，该库包含了不同深度的立体视频，这些视频经过严格的主观测试得出了视频库的主观质量值；本次实验考虑测试序列的差异性和算法的适用性，选取了立体视频库中的室内和室外两个场景来做测试；测试材料分别包含Feet和Bike序列的5种不同立体感的左右视频，我们根据第3节的方法首先计算视觉显著度图，并选取深度相关区域并生成深度图；测试序列的左视图、视觉显著度图，和深度图如图2所示；在相同测试条件下，与传统生成相关区域深度图方法相比，本文方法生成效率平均提高了近30%，如图3所示。
EPFL实验室的主观实验是按照ITU组织制定的ITU-R BT.500-11[1]建议书来进行操作；本实验主观结果按照EPFL实验室给出的实验结果，可参见表1中Feet测试序列的主观值DMOS；客观质量的评价分别使用5个具有不同深度感的Feet和Bike序列视频，并使用第3节深度图生成方法获得深度图，接着分别采用前沿客观质量评价方法[2]和基于人眼视觉感知特性的客观质量评价模型来计算得出测试序列的客观质量值；相比于传统方法，本文方法在深度图计算感知质量值过程考虑了人眼的关注度区域和可觉察误差范围；在实验中，我们通过主观验证测试最小可觉察阈值，取得模型中K w 经验值为0.15，k取常数2。
通过以上实验，获得的实验数据如表1所示，其中分别列出了Feet和Bike测试序列的立体感主观质量值、传统方法预测客观值和本文方法预测的客观值。
图4为10个不同测试序列的两种评价算法的散点图，这两种算法分别是传统的客观评价模型和本文提出的基于人眼视觉感知特性的客观质量评价模型；散点图横坐标表示立体测试序列的客观质量值，纵坐标表示主观值(DMOS)；图中每个散点代表所选的测试序列；散点图可以比较直观的说明客观评价值和主观评价值的接近程度；从图3可以看出，相比于传统方法，本文方法的散点更靠近对角直线，说明客观模型与主观感知的相关性更好，客观评价值越接近主观值，更符合人眼看到的视觉效果。
为了更好地考察所提出模型的性能，本文采用两个评价指标来定量比较传统方法和本文方法的性能：
(1) 线性相关系数(correlation coefficient , CC) ，用Pearson线性相关系数来反映客观评价模型预测的精确性, 其表达式为：
Pearson相关系数是用来表明客观评价模型所得的预测值与主观质量评价实验得到的DMOS 之间的相关性强弱，其取值范围为区间[- 1 , 1] ，如果绝对值越接近1,客观评价模型的评价值越接近主观值。
(2) 均方根误差(root mean square error , RMSE) ，在评价客观模型性能时还经常用RMSE来衡量；其表达式为：
均方根误差是用来衡量客观质量值和主观质量值之间的偏差；RMSE 值越小,表示客观评价值和主观评价分值越一致，则客观算法模型的性能就越好，反之，则越差。
实验结果如表2所示：
由表2可知，本文的客观评价模型相比于传统方法在相关性和均方误差上都有了较大提高，尤其是室外场景的结果与主观质量值非常接近，因而其准确性取得了改善，从而本文的客观评价模型在评价立体视频质量时具有较大优势。
本发明需引用到的参考文献如下：
[1] R. I.-R. BT.500-11. Methodology for the Subjective Assessment of the Quality of Television Pictures 2000.
[2] P. Lebreton, A. Raake, M. Barkowsky, et al. Evaluating Depth Perception of 3d Stereoscopic Videos, IEEE Journal of Selected Topics in Signal Processing, Vol.PP, No.99, 2012, pp.710-720.
[3] K. Sohn and S. Ryu. No-Reference Quality Assessment for Stereoscopic Images Based on Binocular Quality Perception, Circuits and Systems for Video Technology, IEEE Transactions on, Vol.PP, No.99, 2013, pp.1-1.
[4] A. Benoit, P. Le Callet, P. Campisi, et al. Using Disparity for Quality Assessment of Stereoscopic Images, 15th IEEE International Conference on Image Processing, 2008, pp. 389-392.
[5] Y. Jiachen, H. Chunping, Z. Yuan, et al. Objective Quality Assessment Method of Stereo Images, 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video, 2009, pp. 1-4.
[6] J. You, L. Xing, A. Perkis, et al. Perceptual Quality Assessment for Stereoscopic Images Based on 2d Image Quality Metrics and Disparity Analysis International workshop on Video Processing and Quality Metrics for Consumer Electronics, 2010, pp.1-6.
[7] S. S. Sarikan, R. F. Olgun, and G. B. Akar. Quality Evaluation of Stereoscopic Videos Using Depth Map Segmentation, 2011 Third International Workshop on Quality of Multimedia Experience (QoMEX), 2011, pp. 67-71.
[8] J. Harel, C. Koch, and P. Perona. Graph-Based Visual Saliency, Advances in Neural Information Processing Systems, Vol.19, 2007, pp.545 - 552.
[9] F. D. S. Lutz Goldmann, Touradj Ebrahimi. Impact of Acquisition Distortions on the Quality of Stereoscopic Images, 5th International Workshop on Video Processing and Quality Metrics for Consumer Electronics (VPQM), 2010, pp. 13-15.。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
Claims (4)
1.一种基于视觉感知特性的立体图像无参考质量评价方法，其特征在于：包括如下步骤，
步骤S1：视觉关注区域选取：对图像运用视觉显著度模型算法选取人眼关注的区域，具体方法如下，
选取绝对显著图A中像素值大于第75百分位数的区域A'，即通过设置一阈值 选取人眼关注区域，该人眼关注区域选取公式如下，
， （1）
其中，i，j为图A像素的行号和列号，i，j都为整数，i大于0并且小于等于图A的高度，j大于0并且小于等于图A的宽度；
步骤S2：深度图生成：对上述关注区域的左右视图提取表征立体视觉信息，生成深度图，具体包括如下步骤，
步骤S21：设左视图中的A'非零区域的分块为Yi，在右视图中水平方向匹配寻找最相似分块Yj；
步骤S22：计算得分块Yi的视差为：
， （2）
其中，yi为分块Yi中以左视图中心为原点的特征点位置，yj为分块Yj中以右视图中心为原点的特征点位置，所述视差即双眼线索的差异；
步骤S23：根据视差与像素间的关系可知：
， （3）
其中，z为深度值，f为焦距，b为基线，即双目摄像头间距；
步骤S24：根据非线性8位深度量化函数将深度值量化为离散的深度级并保存为深度图，该函数公式如下，
， （4）
其中，v是量化后的深度级，Z near 和Z far 分别是最近深度值和最远深度值；
步骤S3：深度图的特征统计：对深度图的深度值做特征统计处理，即通过深度最小可觉察误差模型确定人眼对深度图像素值的可感知范围和敏感度因子，并结合计算深度的相对层次性，得出立体图像的立体感客观质量值，具体方式为，
利用标准差公式表示深度层次性，该公式如下，
（5）
其中，X表示图像区域像素值组成的向量，#X表示X向量元素个数，X i 表示第i个元素，表示向量元素的平均值；
对于不同的深度级，存在一个深度误差范围，该深度误差范围的区间如下公式表示，
（6）
其中，，，D-NOSE(v)表示无合成误差深度区间函数，表示从深度级到视差的映射函数，是的逆函数，N是图像的宽度，即立体图像对可偏移位置总长度，是合成立体图像时偏移位置取整的阈值；
步骤S4：视频深度质量值计算：结合时域的特征信息计算视频序列深度质量值，即通过将连续相邻多帧图像的深度质量估计值进行平均。
2.根据权利要求1所述的基于视觉感知特性的立体图像无参考质量评价方法，其特征在于：当深度值z的变化小于D-NOSE(v)范围或深度最小可觉察误差JNDD阈值时，人眼无法判别到立体感变化，因此，公式（5）的标准差计算之前需将每一个深度值依据JNDD阈值进行预处理，该公式如下，
（7）
其中，Fn指的是用数值近似模拟人眼对立体图像立体感强弱的客观质量值，该值的计算过程滤除了图像内容中人眼感知不到深度层次变化的部分；，，表示在深度的最小可觉察误差，#sq表示人眼关注区域A'非零区域像素的总个数。
3.根据权利要求2所述的基于视觉感知特性的立体图像无参考质量评价方法，其特征在于：所述JNDD通用计算模型如公式（8），并根据公式（8），将双眼视差的JNDD定义为，它是观看距离对最小可觉察误差影响和模拟深度级对最小可觉察误差影响两个值之和；公式（8）如下所示，
， （8）
由于JNDD与双眼差异的感知变化随着观看距离而呈线性变化，故上述公式（8）基于实验数据可近似为如下公式（9），
， （9）
其中，表示当初始模拟深度d=0时的JNDD值，l表示观看距离，且都以米为单位；
上述初始深度d与JNDD之间的关系如下述公式（10）所示，
， （10）
其中，表示当初始深度d不为零时的JNDD，K w 表示韦伯常数。
4.根据权利要求3所述的基于视觉感知特性的立体图像无参考质量评价方法，其特征在于：所述视频深度质量值计算，即在立体感质量评价模型中增加表示深度级影响人眼深度敏感性的权重因子，假设该权重因子与JNDD成反比，则深度质量可表示为：
， （11）
其中，，k是比例系数，#sq表示人眼关注区域A'非零区域像素的总个数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410052909.1A CN103763552B (zh) | 2014-02-17 | 2014-02-17 | 基于视觉感知特性的立体图像无参考质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410052909.1A CN103763552B (zh) | 2014-02-17 | 2014-02-17 | 基于视觉感知特性的立体图像无参考质量评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103763552A CN103763552A (zh) | 2014-04-30 |
| CN103763552B true CN103763552B (zh) | 2015-07-22 |
Family
ID=50530700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410052909.1A Expired - Fee Related CN103763552B (zh) | 2014-02-17 | 2014-02-17 | 基于视觉感知特性的立体图像无参考质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103763552B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10007330B2 (en) | 2011-06-21 | 2018-06-26 | Microsoft Technology Licensing, Llc | Region of interest segmentation |
| CN104243977B (zh) * | 2014-09-23 | 2016-07-06 | 上海交通大学 | 基于眼优势理论和视差补偿的立体图像质量评价方法 |
| CN104469355B (zh) * | 2014-12-11 | 2016-09-28 | 西安电子科技大学 | 基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法 |
| CN104506856B (zh) * | 2015-01-14 | 2017-03-22 | 山东大学 | 一种应用于三维视频系统的虚拟视图质量估计方法 |
| CN104820981B (zh) * | 2015-04-22 | 2017-10-31 | 上海交通大学 | 一种基于视差分层分割的图像立体表示方法及系统 |
| CN105701794A (zh) * | 2015-12-25 | 2016-06-22 | 中国人民解放军理工大学 | 图像显著区域提取结果的无参考质量评估方法及其装置 |
| CN105959684B (zh) * | 2016-05-26 | 2019-05-14 | 天津大学 | 基于双目融合的立体图像质量评价方法 |
| CN106204605B (zh) * | 2016-07-15 | 2019-02-19 | 上海乐相科技有限公司 | 一种定位方法及装置 |
| CN106791801A (zh) * | 2016-11-22 | 2017-05-31 | 深圳大学 | 一种三维图像的质量评价方法及系统 |
| CN106875383B (zh) * | 2017-01-24 | 2020-05-08 | 北京理工大学 | 基于威布尔统计特征的内容不敏感模糊图像质量评价方法 |
| CN106767933B (zh) * | 2017-02-10 | 2024-01-12 | 奥比中光科技集团股份有限公司 | 深度相机误差的测量系统、测量方法、评价方法及补偿方法 |
| CN107204025B (zh) * | 2017-04-18 | 2019-10-18 | 华北电力大学 | 基于视觉感知的自适应服装动画建模方法 |
| CN109272479B (zh) * | 2017-07-12 | 2021-11-02 | 天津大学 | 基于立体感知特性的立体图像质量评价方法 |
| CN107798676B (zh) * | 2017-10-23 | 2021-05-07 | 北京工业大学 | 基于多尺度自然场景统计建立的无参考图像质量感知方法 |
| CN109002956B (zh) * | 2018-06-07 | 2021-05-25 | 北京汽车股份有限公司 | 汽车dts精致工艺的评价方法及装置 |
| CN110544233B (zh) * | 2019-07-30 | 2022-03-08 | 北京的卢深视科技有限公司 | 基于人脸识别应用的深度图像质量评价方法 |
| CN110675440B (zh) * | 2019-09-27 | 2022-07-12 | 深圳市易尚展示股份有限公司 | 三维深度数据的置信度评估方法、装置和计算机设备 |
| CN111079740A (zh) * | 2019-12-02 | 2020-04-28 | 咪咕文化科技有限公司 | 图像的质量评价方法、电子设备和计算机可读存储介质 |
| CN112202802B (zh) * | 2020-10-10 | 2021-10-01 | 中国科学技术大学 | C-ran架构中基于强化学习的vr视频多级缓存方法和系统 |
| CN112233089B (zh) * | 2020-10-14 | 2022-10-25 | 西安交通大学 | 一种无参考立体混合失真图像质量评价方法 |
| CN113487564B (zh) * | 2021-07-02 | 2024-04-05 | 杭州电子科技大学 | 用于用户原创视频的双流时序自适应选择视频质量评价方法 |
-
2014
- 2014-02-17 CN CN201410052909.1A patent/CN103763552B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN103763552A (zh) | 2014-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103763552B (zh) | 基于视觉感知特性的立体图像无参考质量评价方法 | |
| Md et al. | Full-reference stereo image quality assessment using natural stereo scene statistics | |
| Mittal et al. | Algorithmic assessment of 3D quality of experience for images and videos | |
| Wang et al. | Novel spatio-temporal structural information based video quality metric | |
| US20100220920A1 (en) | Method, apparatus and system for processing depth-related information | |
| CN106303507B (zh) | 基于时空联合信息的无参考视频质量评估方法 | |
| KR101393621B1 (ko) | 3차원 입체영상의 품질 분석 장치 및 방법 | |
| Wang et al. | Quaternion representation based visual saliency for stereoscopic image quality assessment | |
| CN103780895B (zh) | 一种立体视频质量评价方法 | |
| CN107147906B (zh) | 一种虚拟视角合成视频质量的无参考评价方法 | |
| Wang et al. | No-reference synthetic image quality assessment with convolutional neural network and local image saliency | |
| Ling et al. | Prediction of the influence of navigation scan-path on perceived quality of free-viewpoint videos | |
| Han et al. | Stereoscopic video quality assessment model based on spatial-temporal structural information | |
| Wang et al. | Reference-free DIBR-synthesized video quality metric in spatial and temporal domains | |
| CN114648482A (zh) | 立体全景图像的质量评价方法、系统 | |
| Yang et al. | Objective evaluation criteria for stereo camera shooting quality under different shooting parameters and shooting distances | |
| Xu et al. | Quality assessment of stereoscopic 360-degree images from multi-viewports | |
| Ma et al. | Joint binocular energy-contrast perception for quality assessment of stereoscopic images | |
| CN104469355B (zh) | 基于显著自适应的视觉舒适预测及非线性映射的视觉舒适增强方法 | |
| Tian et al. | SC-IQA: Shift compensation based image quality assessment for DIBR-synthesized views | |
| CN109167988B (zh) | 一种基于d+w模型和对比度的立体图像视觉舒适度评价方法 | |
| Fezza et al. | Stereoscopic 3d image quality assessment based on cyclopean view and depth map | |
| Nur Yilmaz | A no reference depth perception assessment metric for 3D video | |
| Mahmood et al. | Objective quality assessment of 3D stereoscopic video based on motion vectors and depth map features | |
| Hanhart et al. | Free-viewpoint video sequences: A new challenge for objective quality metrics |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150722 Termination date: 20200217 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |