CN110517308A - 一种无参考非对称失真立体图像质量评价方法 - Google Patents

一种无参考非对称失真立体图像质量评价方法 Download PDF

Info

Publication number
CN110517308A
CN110517308A CN201910632969.3A CN201910632969A CN110517308A CN 110517308 A CN110517308 A CN 110517308A CN 201910632969 A CN201910632969 A CN 201910632969A CN 110517308 A CN110517308 A CN 110517308A
Authority
CN
China
Prior art keywords
binocular
view
image quality
depth
stereo image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910632969.3A
Other languages
English (en)
Inventor
陈勇
朱凯欣
刘焕淋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201910632969.3A priority Critical patent/CN110517308A/zh
Publication of CN110517308A publication Critical patent/CN110517308A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种无参考非对称失真立体图像质量评价方法，包括以下步骤：首先，根据双目视觉特性判别不同的双目组合行为，并构建相应的独眼图，而非使用固定的独眼图模拟不同的双目组合行为。然后，在左右视图及独眼图上分别提取单目和双目视觉特征。另外，为准确度量立体图像的深度信息，本发明在加权视差图和左右视图相关性图上，提取能够反映水平深度和纵向深度信息的质量感知特征。最后，通过训练极限学习机(Extreme Learning Machine,ELM)算法，构建从立体图像质量感知特征域到质量分数域的映射关系模型。

Description

一种无参考非对称失真立体图像质量评价方法
技术领域
本发明属于立体图像质量评价技术领域，涉及一种无参考非对称失真立体图像质量评价方法。
背景技术
随着3D技术的发展，3D电影和电视越来越受全球关注。3D图像在获取、压缩、传输和存储的过程中，左右视图会受到不同程度和不同类型的失真，从而影响人眼的观看质量。而且，与2D图像相比，立体图像左右视图之间存在一定的视差，可以为人眼提供深度感知，从而给人们带来更真实的视觉体验，但是过大的视差也会给人眼造成不舒适的体验，同样会影响人眼对图像质量的判断。因此，为给人们带来良好的视觉体验，有必要构建一个与人眼主观评分一致的立体图像质量评价模型。
与传统2D视觉感知不同，3D图像的视觉感知高度依赖于左、右视图的质量。根据视觉心理学研究表明，人类视觉系统能够将左右眼获取的不同视图转换成单幅视图，但是在这个转换的过程中，并不是将左右眼刺激简单相加即可获得单幅视图，尤其是非对称失真图像。由于HVS系统复杂的双目视觉机制，目前的研究仍然无法全面地模拟双目视觉特性。
除了双目视觉特性以外，还需要考虑的另一个影响立体图像质量的重要因素就是深度信息。水平视差是为人眼提供深度信息的主要因素，但是过大的视差也会造成头晕目眩，不舒适感，影响人眼对图像质量的判断。目前立体图像质量评价面临的主要问题就是如何模拟复杂的双目视觉机制以及对深度质量的度量。
发明内容
有鉴于此，本发明的目的在于提供一种无参考非对称失真立体图像质量评价方法，为了更加全面的模拟HVS复杂的双目视觉特性，该方法基于双目视觉特性，构建不同的双目组合图，模拟三种双目组合行为：双目融合、双目竞争、双目抑制。另外，该方法通过提取立体图像的水平深度和纵向深度感知特征，解决了立体图像深度质量度量的问题。
为达到上述目的，本发明提供如下技术方案：
一种无参考非对称失真立体图像质量评价方法，基于双目视觉特性和深度感知质量度量，实现非对称失真立体图像质量度量。对于非对称失真图像来说，左右视图在HVS中并不是简单相加，即可汇聚成单幅视图。该方法首先基于双目视觉特性，使用结构相似度模型计算左右视图的结构相似度值S，并通过阈值设置，将立体图像对在HVS中的组合行为分为双目融合和双目竞争(双目抑制是双目竞争的一种特殊情况)。然后，计算左右视图的有用信息量，若差异较小，则判为双目竞争；若差异较大，则判为双目抑制，并选取信息量大的视图主导整个融合过程，因为有主观实验证明信息量大的视图更容易吸引人眼的注意力。最后，根据不同的双目行为构建相应的独眼图来模拟HVS的双目组合行为，而非使用固定独眼图模拟三种不同的双目行为。
进一步地，在左、右视图以及上述独眼图上提取能够表征图像失真的统计分布特征和纹理特征，作为单目和双目视觉特征，用于预测立体图像质量。
进一步地，根据人眼视觉注意机制，为像素点(i,j)处的视差值d(i,j)分配权重ω(i,j)，从而获得用于度量立体图像深度质量的加权视差图Dω。并在该加权视差图上提取一些简单的统计特征，如：峰度k和偏斜度s，作为水平深度特征。
Dω(i,j)＝ω(i,j)*d(i,j) (1)
k＝E[(Dω-E(Dω))4]/E[(Dω-E(Dω))2] (2)
s＝E[(Dω-E(Dω))3]/(E[(Dω-E(Dω))2])3/2 (3)
进一步地，利用自相关函数按列计算左视图Il与右视差补偿图Idr，以及右视图Ir与左视差补偿图Idl纵向信息变化的相关系数图，然后提取统计特征，表征由非对称失真导致的左右视图纵向不匹配信息对深度质量的影响。
Idl(i,j)＝Il((i,j)+dl(i,j)) (4)
Idr(i,j)＝Ir((i,j)+dr(i,j)) (5)
其中，dl(x,y)表示以左视图为主视图，基于SSIM算法从右视图中找其最大相似点，并计算两点之间的差值，dr(x,y)表示以右视图为主视图，基于SSIM算法从左视图中找其最大相似点，并计算两点之间的差值。
最后，利用学习精度高且比传统的学习算法速度更快的极限学习机(ExtremeLearning Machine,ELM)进行训练，学习从特征域到质量分数域的映射关系模型。
本发明的有益效果在于：本发明提供的一种无参考非对称失真立体图像质量评价方法，充分考虑了双目视觉特性，对立体图像对在HVS中的组合方式进行判别，并构建不同的独眼图来模拟不同的双目组合行为。另外，从立体图像对中提取水平深度和纵向深度特征，从而实现立体图像的深度质量度量。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1基于双目视觉特性和深度感知的立体图像质量评价模型总流程图；
图2一种无参考非对称失真立体图像质量评价方法的整体框图。
具体实施方式
下面将结合附图，对本发明的实施方式进行详细的描述。
本发明提供的一种无参考非对称失真立体图像评价方法，主要分为四部分，第一部分是对双目视觉特性进行统计分析，判别立体图像对在HVS中的组合方式，并设计相应的独眼图；第二部分是在左、右单幅视图以及相应独眼图上提取单目和双目视觉特征；第三部分是水平和纵向深度特征提取；第四部分是构建从特征域到质量分数域的立体图像质量预测模型。
本发明提供的一种无参考非对称失真立体图像评价方法的总流程图如图1所示，具体包括以下步骤：
1.双目组合行为的判定和模拟
1)基于双目视觉特性，使用结构相似度模型计算左右视图的结构相似度值S，并通过阈值设置，将立体图像对在HVS中的组合行为分为双目融合和双目竞争(双目抑制是双目竞争的一种特殊情况)。
2)计算左右视图的有用信息量，若差异较小，则判为双目竞争；若差异较大，则判为双目抑制，并选取信息量大的视图主导整个融合过程，因为有主观实验证明信息量大的视图更容易吸引人眼的注意力。
3)根据不同的双目行为构建相应的独眼图来模拟HVS的双目组合行为，而非使用固定独眼图模拟三种不同的双目行为。
2.单目和双目特征提取
在左、右视图以及上述独眼图上提取能够表征图像失真的统计分布特征和纹理特征，作为单目和双目视觉特征，用于预测立体图像质量。
3.深度特征提取
1)根据人眼视觉注意机制，为像素点(i,j)处的视差值d(i,j)分配权重ω(i,j)，对于人眼关注较大的区域，分配较大的权值，从而获得用于度量立体图像深度质量的加权视差图Dω。并在该加权视差图上提取一些简单的统计特征，如：峰度k和偏斜度s，作为水平深度特征。
Dω(i,j)＝ω(i,j)*d(i,j) (1)
k＝E[(Dω-E(Dω))4]/E[(Dω-E(Dω))2] (2)
s＝E[(Dω-E(Dω))3]/(E](Dω-E(Dω))2])3/2 (3)
2)利用自相关函数按列计算左视图Il与右视差补偿图Idr，以及右视图Ir与左视差补偿
图Idl纵向信息变化的相关系数图，然后提取统计特征，表征由非对称失真导致的左
右视图纵向不匹配信息对深度质量的影响。
Idl(i,j)＝Il((i,j)+dl(i,j)) (4)
Idr(i,j)＝Ir((i,j)+dr(i,j)) (5)
其中，dl(x,y)表示以左视图为主视图，基于SSIM算法从右视图中找其最大相似点，并计算两点之间的差值，dr(x,y)表示以右视图为主视图，基于SSIM算法从左视图中找其最大相似点，并计算两点之间的差值。
4.立体图像质量评价模型的构建
利用极限学习机(Extreme Learning Machine,ELM)进行训练，学习从特征域到质量分数域的映射关系模型。ELM最大的特点是对于传统的神经网络，尤其是单隐层前馈神经网络(SLFNs)，在保证学习精度的前提下比传统的学习算法速度更快。
图2为本发明所提出的一种无参考非对称失真立体图像评价方法的整体框图，主要包括训练阶段和测试阶段。
1)训练阶段
训练阶段主要包括特征提取和立体图像质量评价模型的构建。特征主要从左右单幅视图和合成独眼图上提取能够反映图像内容质量失真的双目和单目视觉特征，以及加权视差图和左右视图相关系数图上提取能够反映立体图像深度信息的质量感知特征，构建训练特征集，然后输入到ELM中训练，得到最终的质量预测模型。
2)测试阶段
在待测图像上提取上述相同的特征，然后输入到训练好的质量预测模型中，从而得到待测图像的预测质量得分。

Claims (5)

1.一种无参考非对称失真立体图像质量评价方法，其特征在于：充分考虑双目视觉特性和深度质量度量，完成非对称立体图像质量度量。包括以下步骤：
步骤1：根据左右视图之间的结构相似度以及有用信息量的大小，对立体图像对的双目组合行为进行判断，并构建相应的独眼图来模拟人类视觉系统(Human Visual System,HVS)中的双目组合行为；
步骤2：在左、右视图以及上述独眼图上提取能够表征图像失真的统计分布特征和纹理特征；
步骤3：在加权视差图上提取水平深度感知特征，左右视图相关系数图上提取纵向深度感知特征；
步骤4：利用极限学习机(Extreme Learning Machine,ELM)进行训练，构建从特征域到质量分数域的映射关系。
2.根据权利要求1所述的一种无参考非对称失真立体图像质量评价方法，其特征在于：所述的步骤1具体通过以下方式实现：使用结构相似度模型计算左右视图的结构相似度值S，并通过阈值设置，将立体图像对在HVS中的组合行为分为双目融合和双目竞争(双目抑制是双目竞争的一种特殊情况)。然后，计算左右视图的有用信息量，若差异较小，则判为双目竞争；若差异较大，则判为双目抑制，并选取信息量大的视图主导整个融合过程，因为有主观实验证明信息量大的视图更容易吸引HVS的注意力。最后，根据不同的双目行为构建相应的独眼图来模拟HVS的双目组合行为，而非使用固定独眼图模拟三种不同的双目行为。
3.根据权利要求1所述的一种无参考非对称失真立体图像质量评价方法，其特征在于：所述的步骤3具体通过以下方式实现：双目视差导致左右视图出现不匹配信息，这种不匹配信息是为立体图像带来深度信息的主要原因，但是，不是所有区域的不匹配信息对人眼的吸引力都是一样的，本发明根据人眼视觉注意机制，为像素点(i,j)处视差值d(i,j)分配权重ω(i,j)，从而获得式(1)所示，用于度量立体图像深度质量的加权视差图Dω。
由于失真会改变视差图的统计特征，因此，本发明选取一些简单的统计特征，如：峰度k和偏斜度s，作为水平深度特征，如式(2-3)。
Dω(i,j)＝ω(i,j)*d(i,j) (1)
k＝E[(Dω-E(Dω))4]/E[(Dω-E(Dω))2] (2)
s＝E[(Dω-E(Dω))3]/(E[(Dω-E(Dω))2])3/2 (3)
4.根据权利要求1所述的一种无参考非对称失真立体图像质量评价方法，其特征在于：所述的步骤3具体通过以下方式实现：虽然双目视差是产生深度信息的主要原因，但是它反映的是空间中给定点的左右视网膜投影之间的水平位置差异，从而忽略了由非对称失真导致的左右视图纵向差异对深度信息带来的影响。因此，本发明利用自相关函数按列计算左视图Il与右视差补偿图Idr，以及右视图Ir与左视差补偿图Idl纵向信息变化的相关系数图，然后提取统计特征，表征左右视图纵向不匹配信息对深度质量的影响。
Idl(i,j)＝Il((i,j)+dl(i,j)) (4)
Idr(i,j)＝Ir((i,j)+dr(i,j)) (5)
其中，dl(x,y)表示以左视图为主视图，基于结构相似度量算法(SSIM)从右视图中找其最大相似点，并计算两点之间的差值，dr(x,y)表示以右视图为主视图，基于SSIM算法从左视图中找其最大相似点，并计算两点之间的差值。
5.根据权利要求1所述的一种无参考非对称失真立体图像质量评价方法，其特征在于：所述的步骤4具体通过以下方式实现：利用极限学习机(Extreme Learning Machine,ELM)进行训练，学习从特征域到质量分数域的映射关系模型。ELM最大的特点是对于传统的神经网络，尤其是单隐层前馈神经网络(SLFNs)，在保证学习精度的前提下比传统的学习算法速度更快。
CN201910632969.3A 2019-07-12 2019-07-12 一种无参考非对称失真立体图像质量评价方法 Pending CN110517308A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910632969.3A CN110517308A (zh) 2019-07-12 2019-07-12 一种无参考非对称失真立体图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910632969.3A CN110517308A (zh) 2019-07-12 2019-07-12 一种无参考非对称失真立体图像质量评价方法

Publications (1)

Publication Number Publication Date
CN110517308A true CN110517308A (zh) 2019-11-29

Family

ID=68623248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910632969.3A Pending CN110517308A (zh) 2019-07-12 2019-07-12 一种无参考非对称失真立体图像质量评价方法

Country Status (1)

Country Link
CN (1) CN110517308A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233089A (zh) * 2020-10-14 2021-01-15 西安交通大学 一种无参考立体混合失真图像质量评价方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140064604A1 (en) * 2012-02-27 2014-03-06 Ningbo University Method for objectively evaluating quality of stereo image
CN105915883A (zh) * 2016-05-25 2016-08-31 浙江科技学院 基于极限学习和双目融合的盲参考立体图像质量评价方法
CN106791822A (zh) * 2017-01-13 2017-05-31 浙江科技学院 一种基于单双目特征学习的无参考立体图像质量评价方法
CN107067388A (zh) * 2016-08-31 2017-08-18 天津大学 一种基于ga‑elm的立体图像质量客观评价方法
CN107635136A (zh) * 2017-09-27 2018-01-26 北京理工大学 基于视觉感知和双目竞争的无参考立体图像质量评价方法
CN109242834A (zh) * 2018-08-24 2019-01-18 浙江大学 一种基于卷积神经网络的无参考立体图像质量评价方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140064604A1 (en) * 2012-02-27 2014-03-06 Ningbo University Method for objectively evaluating quality of stereo image
CN105915883A (zh) * 2016-05-25 2016-08-31 浙江科技学院 基于极限学习和双目融合的盲参考立体图像质量评价方法
CN107067388A (zh) * 2016-08-31 2017-08-18 天津大学 一种基于ga‑elm的立体图像质量客观评价方法
CN106791822A (zh) * 2017-01-13 2017-05-31 浙江科技学院 一种基于单双目特征学习的无参考立体图像质量评价方法
CN107635136A (zh) * 2017-09-27 2018-01-26 北京理工大学 基于视觉感知和双目竞争的无参考立体图像质量评价方法
CN109242834A (zh) * 2018-08-24 2019-01-18 浙江大学 一种基于卷积神经网络的无参考立体图像质量评价方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
桑庆兵等: "极端学习四元数小波特征的立体图像质量评价", 《光电子•激光》 *
沈丽丽等: "基于小波包分解的无参考立体图像质量评价", 《湖南大学学报(自然科学版)》 *
王士培等: "一种自由视点视频系统中立体图像质量的评价方法", 《电信科学》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233089A (zh) * 2020-10-14 2021-01-15 西安交通大学 一种无参考立体混合失真图像质量评价方法

Similar Documents

Publication Publication Date Title
CN102750695B (zh) 一种基于机器学习的立体图像质量客观评价方法
Yeh et al. Limits of fusion and depth judgment in stereoscopic color displays
CN103096125B (zh) 基于区域分割的立体视频视觉舒适度评价方法
CN103763552B (zh) 基于视觉感知特性的立体图像无参考质量评价方法
CN110060236A (zh) 基于深度卷积神经网络的立体图像质量评价方法
CN103986925B (zh) 基于亮度补偿的立体视频视觉舒适度评价方法
Atkins et al. Experience-dependent visual cue recalibration based on discrepancies between visual and haptic percepts
CN106780441B (zh) 一种基于字典学习和人眼视觉特性的立体图像质量客观测量方法
CN104038756B (zh) 基于立体图像特征的立体图像舒适度检测方法
CN108520510A (zh) 一种基于整体和局部分析的无参考立体图像质量评价方法
Gu et al. No‐Reference Stereoscopic IQA Approach: From Nonlinear Effect to Parallax Compensation
CN106973288A (zh) 一种立体视频舒适度评价方法及装置
CN104581141A (zh) 一种立体图像视觉舒适度评价方法
Jiang et al. Quality assessment for virtual reality technology based on real scene
Hornsey et al. Contributions of pictorial and binocular cues to the perception of distance in virtual reality
CN106210710A (zh) 一种基于多尺度字典的立体图像视觉舒适度评价方法
CN110517308A (zh) 一种无参考非对称失真立体图像质量评价方法
CN105898279B (zh) 一种立体图像质量客观评价方法
Domini et al. Do we perceive a flattened world on the monitor screen?
Jiang et al. Visual comfort assessment for stereoscopic images based on sparse coding with multi-scale dictionaries
Kim et al. Quality assessment of perceptual crosstalk on two-view auto-stereoscopic displays
CN108848365A (zh) 一种重定位立体图像质量评价方法
CN105430370B (zh) 一种基于排序学习的立体图像视觉舒适度评价方法
van Ee et al. Temporal aspects of stereoscopic slant estimation: An evaluation and extension of Howard and Kaneko's theory
Berends et al. Stereo-slant adaptation is high level and does not involve disparity coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20191129