CN104361583A - 一种非对称失真立体图像客观质量评价方法 - Google Patents

一种非对称失真立体图像客观质量评价方法 Download PDF

Info

Publication number
CN104361583A
CN104361583A CN201410581354.XA CN201410581354A CN104361583A CN 104361583 A CN104361583 A CN 104361583A CN 201410581354 A CN201410581354 A CN 201410581354A CN 104361583 A CN104361583 A CN 104361583A
Authority
CN
China
Prior art keywords
dis
org
pixel
image
designated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410581354.XA
Other languages
English (en)
Other versions
CN104361583B (zh
Inventor
周武杰
王中鹏
李鑫
王昕峰
邱薇薇
鲁琛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuntian Changxiang Information Technology Co ltd
Original Assignee
Zhejiang Lover Health Science and Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lover Health Science and Technology Development Co Ltd filed Critical Zhejiang Lover Health Science and Technology Development Co Ltd
Priority to CN201410581354.XA priority Critical patent/CN104361583B/zh
Publication of CN104361583A publication Critical patent/CN104361583A/zh
Application granted granted Critical
Publication of CN104361583B publication Critical patent/CN104361583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种非对称失真立体图像客观质量评价方法，其对原始立体图像的左视点图像和右视点图像、待评价立体图像的左视点图像和右视点图像四幅图像分别实施梯度滤波和提取局部方差操作，得到各自的梯度幅值图像和局部方差图像；然后根据两幅左视点图像的局部方差图像计算左视点方差变化率图像，并根据两幅右视点图像的局部方差图像计算右视点方差变化率图像；再获取原始立体图像的左右视点特征融合图像和待评价立体图像的左右视点特征融合图像；最后通过计算两幅左右视点特征融合图像之间的相似度图像获取得到待评价立体图像的图像质量客观预测值；优点是充分利用了非对称失真的立体视觉特性，有效地提高了客观评价结果与主观感知的相关性。

Description

一种非对称失真立体图像客观质量评价方法
技术领域
本发明涉及一种立体图像客观质量评价方法，尤其是涉及一种非对称失真立体图像客观质量评价方法。
背景技术
进入二十一世纪以来，随着立体图像/视频系统处理技术的日趋成熟，以及计算机网络与通信技术的发展，已引起人们对立体图像/视频系统的强烈要求。相比传统单视点图像/视频系统，立体图像/视频系统由于提供了深度信息来增强图像的真实感，给用户以身临其境的感受而越来越受到人们的欢迎，被称为自音频、图像、视频之后的第四代媒体主要形式，引发了学术界、产业界的广泛关注。然而，人们为了获得更好的立体临场感和视觉效果，对立体视觉感知质量提出了更高的要求。立体视觉感知质量是衡量立体图像/视频系统性能优劣的一个重要指标。在立体图像/视频系统中，采集、编码、传输、解码及显示等处理环节都会引入一定失真(更具挑战性的是：左视点与右视点引入不同等级的失真，引起非对称失真)，这些失真将对主观视觉感知质量产生不同程度的影响，因此，如何准确、有效地评价立体视觉感知质量是比较各种立体图像/视频处理算法性能优劣以及优化系统参数的关键技术之一，随之成为一个具有高度必要性和重要性的研究课题。综上，评价立体图像质量，并建立与主观质量评价相一致的客观评价模型显得尤为重要。目前，研究人员提出了不少针对单视点视觉质量和对称失真立体视觉质量的评价方法。然而由于缺乏系统理论深入研究非对称失真立体视觉感知特性，还没有有效的非对称失真视觉质量评价方法。相比单视点视觉质量评价模型和对称失真视觉质量评价模型，非对称失真视觉质量评价模型需要考虑不同失真类型立体掩蔽效应以及与之相关的双目竞争/抑制和双目融合等立体感知因素对视觉质量的影响。因此，不能简单地把现有单视点视觉质量评价模型和对称失真视觉质量评价方法直接扩展到非对称失真视觉评价方法中。
发明内容
本发明所要解决的技术问题是提供一种非对称失真立体图像客观质量评价方法，其能够充分考虑到非对称失真的立体视觉特性，能够有效地提高客观评价结果与主观感知的相关性。
本发明解决上述技术问题所采用的技术方案为：一种非对称失真立体图像客观质量评价方法，其特征在于包括以下步骤：
①令Sorg表示原始的无失真的立体图像，令Sdis表示待评价的非对称失真的立体图像，将Sorg的左视点图像记为{Lorg(x,y)}，将Sorg的右视点图像记为{Rorg(x,y)}，将Sdis的左视点图像记为{Ldis(x,y)}，将Sdis的右视点图像记为{Rdis(x,y)}，其中，1≤x≤W,1≤y≤H，W表示Sorg和Sdis的宽度，H表示Sorg和Sdis的高度，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；
②对{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}四幅图像分别实施梯度滤波方法，得到{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}各自的梯度幅值图像，将{Lorg(x,y)}的梯度幅值图像记为{GL_org(x,y)}，将{Rorg(x,y)}的梯度幅值图像记为{GR_org(x,y)}，将{Ldis(x,y)}的梯度幅值图像记为{GL_dis(x,y)}，将{Rdis(x,y)}的梯度幅值图像记为{GR_dis(x,y)}，其中，GL_org(x,y)表示{GL_org(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_org(x,y)表示{GR_org(x,y)}中坐标位置为(x,y)的像素点的像素值，GL_dis(x,y)表示{GL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_dis(x,y)表示{GR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；
③对{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}四幅图像分别实施提取局部方差操作，得到{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}各自的局部方差图像，将{Lorg(x,y)}的局部方差图像记为{SL_org(x,y)}，将{Rorg(x,y)}的局部方差图像记为{SR_org(x,y)}，将{Ldis(x,y)}的局部方差图像记为{SL_dis(x,y)}，将{Rdis(x,y)}的局部方差图像记为{SR_dis(x,y)}，其中，SL_org(x,y)表示{SL_org(x,y)}中坐标位置为(x,y)的像素点的像素值，SR_org(x,y)表示{SR_org(x,y)}中坐标位置为(x,y)的像素点的像素值，SL_dis(x,y)表示{SL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，SR_dis(x,y)表示{SR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；
④根据{SL_org(x,y)}和{SL_dis(x,y)}，计算左视点方差变化率图像，记为{BL(x,y)}，将{BL(x,y)}中坐标位置为(x,y)的像素点的像素值记为BL(x,y)，同样，根据{SR_org(x,y)}和{SR_dis(x,y)}，计算右视点方差变化率图像，记为{BR(x,y)}，将{BR(x,y)}中坐标位置为(x,y)的像素点的像素值记为BR(x,y)，
⑤采用块匹配方法，计算{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像，记为{dorg(x,y)}，其中，dorg(x,y)表示{dorg(x,y)}中坐标位置为(x,y)的像素点的像素值；同样，采用块匹配方法，计算{Ldis(x,y)}与{Rdis(x,y)}之间的视差图像，记为{ddis(x,y)}，其中，ddis(x,y)表示{ddis(x,y)}中坐标位置为(x,y)的像素点的像素值；
⑥根据{GL_org(x,y)}和{GR_org(x,y)}、{BL(x,y)}和{BR(x,y)}、{dorg(x,y)}，计算Sorg的左右视点特征融合图像，记为{Forg(x,y)}，将{Forg(x,y)}中坐标位置为(x,y)的像素点的 像 素 值 记 为 Forg(x,y) ， F org ( x , y ) = ( B L ( x , y ) ) n ( B L ( x , y ) ) n + ( B R ( x , y ) ) n × G L _ org ( x , y ) + ( B R ( x + d org ( x , y ) , y ) ) n ( B L ( x , y ) ) n + ( B R ( x + d org ( x , y ) , y ) ) n × G R _ org ( x + d org ( x , y ) , y ) ，其中，GR_org(x+dorg(x,y),y)表示{GR_org(x,y)}中坐标位置为(x+dorg(x,y),y)的像素点的像素值，BR(x+dorg(x,y),y)表示{BR(x,y)}中坐标位置为(x+dorg(x,y),y)的像素点的像素值，n表示强度调节因子；
同样，根据{GL_dis(x,y)}和{GR_dis(x,y)}、{BL(x,y)}和{BR(x,y)}、{ddis(x,y)}，计算Sdis的左右视点特征融合图像，记为{Fdis(x,y)}，将{Fdis(x,y)}中坐标位置为(x,y)的像素 点 的 像 素 值 记 为 Fdis(x,y) ， F dis ( x , y ) = ( B L ( x , y ) ) n ( B L ( x , y ) ) n + ( B R ( x , y ) ) n × G L _ dis ( x , y ) + ( B R ( x + d dis ( x , y ) , y ) ) n ( B L ( x , y ) ) n + ( B R ( x + d dis ( x , y ) , y ) ) n × G R _ dis ( x + d dis ( x , y ) , y ) ，其中，GR_dis(x+ddis(x,y),y)表示{GR_dis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值，BR(x+ddis(x,y),y)表示{BR(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值，n表示强度调节因子；
⑦计算{Forg(x,y)}与{Fdis(x,y)}之间的相似度图像，记为{S(x,y)}，将{S(x,y)}中坐标位置为(x,y)的像素点的像素值记为S(x,y)，其中，C为控制参数；
⑧根据{S(x,y)}，计算Sdis的图像质量客观评价预测值，记为Q，
所述的步骤②中梯度滤波采用Prewitt梯度滤波方法。
所述的步骤⑥中取n＝2。
所述的步骤⑦取C＝170。
与现有技术相比，本发明的优点在于：
通过深入挖掘非对称失真的立体视觉感知特性，对原始立体图像的左视点图像和右视点图像、待评价立体图像的左视点图像和右视点图像四幅图像分别实施梯度滤波和提取局部方差操作，得到各自的梯度幅值图像和局部方差图像；然后深入理解非对称失真立体视觉感知质量的影响机理，根据两幅左视点图像的局部方差图像计算左视点方差变化率图像，并根据两幅右视点图像的局部方差图像计算右视点方差变化率图像；接着，通过模拟人眼视觉特性建立有效的非对称失真立体视觉感知特征融合的数学模型，根据融合数学模型得到原始立体图像的左右视点特征融合图像和待评价立体图像的左右视点特征融合图像；最后通过计算两幅左右视点特征融合图像之间的相似度图像获取得到待评价立体图像的图像质量客观预测值，从而使得客观评价值能够准确地反映人眼视觉主观感知质量，即能够有效地提高客观评价结果与主观感知的相关性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种非对称失真立体图像客观质量评价方法，其总体实现框图如图1所示，其处理过程为：首先，对原始的无失真的立体图像的左视点图像和右视点图像、待评价的非对称失真的立体图像的左视点图像和右视点图像四幅图像分别实施梯度滤波和提取局部方差操作，得到各自的梯度幅值图像和局部方差图像；其次，根据原始的无失真的立体图像的左视点图像的局部方差图像和待评价的非对称失真的立体图像的左视点图像的局部方差图像，计算左视点方差变化率图像，并根据原始的无失真的立体图像的右视点图像的局部方差图像和待评价的非对称失真的立体图像的右视点图像的局部方差图像，计算右视点方差变化率图像；再次，根据原始的无失真的立体图像的左视点图像和右视点图像各自的梯度幅值图像及左视点方差变化率图像和右视点方差变化率图像，计算原始的无失真的立体图像的左右视点特征融合图像，并根据待评价的非对称失真的立体图像的左视点图像和右视点图像各自的梯度幅值图像及左视点方差变化率图像和右视点方差变化率图像，计算待评价的非对称失真的立体图像的左右视点特征融合图像；最后，通过计算两幅左右视点特征融合图像之间的相似度图像，获取得到待评价的非对称失真的立体图像的图像质量客观预测值。
本发明方法具体包括以下步骤：
①令Sorg表示原始的无失真的立体图像，令Sdis表示待评价的非对称失真的立体图像，将Sorg的左视点图像记为{Lorg(x,y)}，将Sorg的右视点图像记为{Rorg(x,y)}，将Sdis的左视点图像记为{Ldis(x,y)}，将Sdis的右视点图像记为{Rdis(x,y)}，其中，1≤x≤W,1≤y≤H，W表示Sorg和Sdis的宽度，H表示Sorg和Sdis的高度，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值。
②对{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}四幅图像分别实施现有的梯度滤波方法，得到{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}各自的梯度幅值图像，将{Lorg(x,y)}的梯度幅值图像记为{GL_org(x,y)}，将{Rorg(x,y)}的梯度幅值图像记为{GR_org(x,y)}，将{Ldis(x,y)}的梯度幅值图像记为{GL_dis(x,y)}，将{Rdis(x,y)}的梯度幅值图像记为{GR_dis(x,y)}，其中，GL_org(x,y)表示{GL_org(x,y)}中坐标位置为(x,y)的像素点的像素值，GL_org(x,y)亦表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的幅值特征值，GR_org(x,y)表示{GR_org(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_org(x,y)亦表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的幅值特征值，GL_dis(x,y)表示{GL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，GL_dis(x,y)亦表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的幅值特征值，GR_dis(x,y)表示{GR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_dis(x,y)亦表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的幅值特征值。
在本实施例中，梯度滤波采用Prewitt梯度滤波方法。
③对{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}四幅图像分别实施现有的提取局部方差操作，得到{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}各自的局部方差图像，将{Lorg(x,y)}的局部方差图像记为{SL_org(x,y)}，将{Rorg(x,y)}的局部方差图像记为{SR_org(x,y)}，将{Ldis(x,y)}的局部方差图像记为{SL_dis(x,y)}，将{Rdis(x,y)}的局部方差图像记为{SR_dis(x,y)}，其中，SL_org(x,y)表示{SL_org(x,y)}中坐标位置为(x,y)的像素点的像素值，SL_org(x,y)亦表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的方差值，SR_org(x,y)表示{SR_org(x,y)}中坐标位置为(x,y)的像素点的像素值，SR_org(x,y)亦表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的方差值，SL_dis(x,y)表示{SL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，SL_dis(x,y)亦表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的方差值，SR_dis(x,y)表示{SR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，SR_dis(x,y)亦表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的方差值。
④根据{SL_org(x,y)}和{SL_dis(x,y)}，计算左视点方差变化率图像，记为{BL(x,y)}，将{BL(x,y)}中坐标位置为(x,y)的像素点的像素值记为BL(x,y)，同样，根据{SR_org(x,y)}和{SR_dis(x,y)}，计算右视点方差变化率图像，记为{BR(x,y)}，将{BR(x,y)}中坐标位置为(x,y)的像素点的像素值记为BR(x,y)，
⑤采用现有的块匹配方法，计算{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像，记为{dorg(x,y)}，其中，dorg(x,y)表示{dorg(x,y)}中坐标位置为(x,y)的像素点的像素值；同样，采用现有的块匹配方法，计算{Ldis(x,y)}与{Rdis(x,y)}之间的视差图像，记为{ddis(x,y)}，其中，ddis(x,y)表示{ddis(x,y)}中坐标位置为(x,y)的像素点的像素值。
⑥根据{GL_org(x,y)}和{GR_org(x,y)}、{BL(x,y)}和{BR(x,y)}、{dorg(x,y)}，计算Sorg的左右视点特征融合图像，记为{Forg(x,y)}，将{Forg(x,y)}中坐标位置为(x,y)的像素点的 像 素 值 记 为 Forg(x,y) ， F org ( x , y ) = ( B L ( x , y ) ) n ( B L ( x , y ) ) n + ( B R ( x , y ) ) n × G L _ org ( x , y ) + ( B R ( x + d org ( x , y ) , y ) ) n ( B L ( x , y ) ) n + ( B R ( x + d org ( x , y ) , y ) ) n × G R _ org ( x + d org ( x , y ) , y ) ，其中，GR_org(x+dorg(x,y),y)表示{GR_org(x,y)}中坐标位置为(x+dorg(x,y),y)的像素点的像素值，BR(x+dorg(x,y),y)表示{BR(x,y)}中坐标位置为(x+dorg(x,y),y)的像素点的像素值，n表示强度调节因子，在本实施例中取n＝2。
同样，根据{GL_dis(x,y)}和{GR_dis(x,y)}、{BL(x,y)}和{BR(x,y)}、{ddis(x,y)}，计算Sdis的左右视点特征融合图像，记为{Fdis(x,y)}，将{Fdis(x,y)}中坐标位置为(x,y)的像素 点 的 像 素 值 记 为 Fdis(x,y)， F dis ( x , y ) = ( B L ( x , y ) ) n ( B L ( x , y ) ) n + ( B R ( x , y ) ) n × G L _ dis ( x , y ) + ( B R ( x + d dis ( x , y ) , y ) ) n ( B L ( x , y ) ) n + ( B R ( x + d dis ( x , y ) , y ) ) n × G R _ dis ( x + d dis ( x , y ) , y ) ，其中，GR_dis(x+ddis(x,y),y)表示{GR_dis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值，BR(x+ddis(x,y),y)表示{BR(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值，n表示强度调节因子，在本实施例中取n＝2。
⑦计算{Forg(x,y)}与{Fdis(x,y)}之间的相似度图像，记为{S(x,y)}，将{S(x,y)}中坐标位置为(x,y)的像素点的像素值记为S(x,y)，其中，C为控制参数，在本实施例中取C＝170。
⑧根据{S(x,y)}，计算Sdis的图像质量客观评价预测值，记为Q，
为验证本发明方法的可行性和有效性，进行实验。
在此，采用LIVE立体图像非对称失真库来分析利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性。这里，利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient，PLCC)、Spearman相关系数(Spearman rankorder correlation coefficient，SROCC)、均方误差(root mean squared error，RMSE)，PLCC和RMSE反映失真的立体图像的客观评价结果的准确性，SROCC反映其单调性。
利用本发明方法计算LIVE立体图像非对称失真库中的每幅失真立体图像的图像质量客观评价预测值，再利用现有的主观评价方法获得LIVE立体图像非对称失真库中的失真立体图像的平均主观评分差值。将按本发明方法计算得到的失真立体图像的图像质量客观评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高，RMSE值越低说明客观评价方法的客观评价结果与平均主观评分差值相关性越好。反映本发明方法的质量评价性能的PLCC、SROCC和RMSE相关系数如表1所列。从表1所列的数据可知，按本发明方法得到的失真立体图像的最终的图像质量客观评价预测值与平均主观评分差值之间的相关性是很好的，表明客观评价结果与人眼主观感知的结果较为一致，足以说明本发明方法的可行性和有效性。
表1利用本发明方法得到的失真的立体图像的图像质量客观评价预测值与平均主观评分差值之间的相关性

Claims (4)

1.一种非对称失真立体图像客观质量评价方法，其特征在于包括以下步骤：
①令Sorg表示原始的无失真的立体图像，令Sdis表示待评价的非对称失真的立体图像，将Sorg的左视点图像记为{Lorg(x,y)}，将Sorg的右视点图像记为{Rorg(x,y)}，将Sdis的左视点图像记为{Ldis(x,y)}，将Sdis的右视点图像记为{Rdis(x,y)}，其中，1≤x≤W,1≤y≤H，W表示Sorg和Sdis的宽度，H表示Sorg和Sdis的高度，Lorg(x,y)表示{Lorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg(x,y)表示{Rorg(x,y)}中坐标位置为(x,y)的像素点的像素值，Ldis(x,y)表示{Ldis(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis(x,y)表示{Rdis(x,y)}中坐标位置为(x,y)的像素点的像素值；
②对{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}四幅图像分别实施梯度滤波方法，得到{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}各自的梯度幅值图像，将{Lorg(x,y)}的梯度幅值图像记为{GL_org(x,y)}，将{Rorg(x,y)}的梯度幅值图像记为{GR_org(x,y)}，将{Ldis(x,y)}的梯度幅值图像记为{GL_dis(x,y)}，将{Rdis(x,y)}的梯度幅值图像记为{GR_dis(x,y)}，其中，GL_org(x,y)表示{GL_org(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_org(x,y)表示{GR_org(x,y)}中坐标位置为(x,y)的像素点的像素值，GL_dis(x,y)表示{GL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，GR_dis(x,y)表示{GR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；
③对{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}四幅图像分别实施提取局部方差操作，得到{Lorg(x,y)}、{Rorg(x,y)}、{Ldis(x,y)}和{Rdis(x,y)}各自的局部方差图像，将{Lorg(x,y)}的局部方差图像记为{SL_org(x,y)}，将{Rorg(x,y)}的局部方差图像记为{SR_org(x,y)}，将{Ldis(x,y)}的局部方差图像记为{SL_dis(x,y)}，将{Rdis(x,y)}的局部方差图像记为{SR_dis(x,y)}，其中，SL_org(x,y)表示{SL_org(x,y)}中坐标位置为(x,y)的像素点的像素值，SR_org(x,y)表示{SR_org(x,y)}中坐标位置为(x,y)的像素点的像素值，SL_dis(x,y)表示{SL_dis(x,y)}中坐标位置为(x,y)的像素点的像素值，SR_dis(x,y)表示{SR_dis(x,y)}中坐标位置为(x,y)的像素点的像素值；
④根据{SL_org(x,y)}和{SL_dis(x,y)}，计算左视点方差变化率图像，记为{BL(x,y)}，将{BL(x,y)}中坐标位置为(x,y)的像素点的像素值记为BL(x,y)，同样，根据{SR_org(x,y)}和{SR_dis(x,y)}，计算右视点方差变化率图像，记为{BR(x,y)}，将{BR(x,y)}中坐标位置为(x,y)的像素点的像素值记为BR(x,y)，
⑤采用块匹配方法，计算{Lorg(x,y)}与{Rorg(x,y)}之间的视差图像，记为{dorg(x,y)}，其中，dorg(x,y)表示{dorg(x,y)}中坐标位置为(x,y)的像素点的像素值；同样，采用块匹配方法，计算{Ldis(x,y)}与{Rdis(x,y)}之间的视差图像，记为{ddis(x,y)}，其中，ddis(x,y)表示{ddis(x,y)}中坐标位置为(x,y)的像素点的像素值；
⑥根据{GL_org(x,y)}和{GR_org(x,y)}、{BL(x,y)}和{BR(x,y)}、{dorg(x,y)}，计算Sorg的左右视点特征融合图像，记为{Forg(x,y)}，将{Forg(x,y)}中坐标位置为(x,y)的像素点的像素值记为Forg(x,y)， F org ( x , y ) = ( B L ( x , y ) ) n ( B L ( x , y ) ) n + ( B R ( x , y ) ) n × G L _ org ( x , y ) + ( B R ( x + d org ( x , y ) , y ) ) n ( B L ( x , y ) ) n + ( B R ( x + d org ( x , y ) , y ) ) n × G R _ org ( x + d org ( x , y ) , y ) ，其中，GR_org(x+dorg(x,y),y)表示{GR_org(x,y)}中坐标位置为(x+dorg(x,y),y)的像素点的像素值，BR(x+dorg(x,y),y)表示{BR(x,y)}中坐标位置为(x+dorg(x,y),y)的像素点的像素值，n表示强度调节因子；
同样，根据{GL_dis(x,y)}和{GR_dis(x,y)}、{BL(x,y)}和{BR(x,y)}、{ddis(x,y)}，计算Sdis的左右视点特征融合图像，记为{Fdis(x,y)}，将{Fdis(x,y)}中坐标位置为(x,y)的像素点的像素值记为Fdis(x,y)， F dis ( x , y ) = ( B L ( x , y ) ) n ( B L ( x , y ) ) n + ( B R ( x , y ) ) n × G L _ dis ( x , y ) + ( B R ( x + d dis ( x , y ) , y ) ) n ( B L ( x , y ) ) n + ( B R ( x + d dis ( x , y ) , y ) ) n × G R _ dis ( x + d dis ( x , y ) , y ) ，其中，GR_dis(x+ddis(x,y),y)表示{GR_dis(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值，BR(x+ddis(x,y),y)表示{BR(x,y)}中坐标位置为(x+ddis(x,y),y)的像素点的像素值，n表示强度调节因子；
⑦计算{Forg(x,y)}与{Fdis(x,y)}之间的相似度图像，记为{S(x,y)}，将{S(x,y)}中坐标位置为(x,y)的像素点的像素值记为S(x,y)， S ( x , y ) = 2 × F org ( x , y ) × F dis ( x , y ) + C ( F org ( x , y ) ) 2 + ( F dis ( x , y ) ) 2 + C , 其中，C为控制参数；
⑧根据{S(x,y)}，计算Sdis的图像质量客观评价预测值，记为Q，
2.根据权利要求1所述的一种非对称失真立体图像客观质量评价方法，其特征在于所述的步骤②中梯度滤波采用Prewitt梯度滤波方法。
3.根据权利要求1或2所述的一种非对称失真立体图像客观质量评价方法，其特征在于所述的步骤⑥中取n＝2。
4.根据权利要求3所述的一种非对称失真立体图像客观质量评价方法，其特征在于所述的步骤⑦取C＝170。
CN201410581354.XA 2014-10-27 2014-10-27 一种确定非对称失真立体图像客观质量的方法 Active CN104361583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410581354.XA CN104361583B (zh) 2014-10-27 2014-10-27 一种确定非对称失真立体图像客观质量的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410581354.XA CN104361583B (zh) 2014-10-27 2014-10-27 一种确定非对称失真立体图像客观质量的方法

Publications (2)

Publication Number Publication Date
CN104361583A true CN104361583A (zh) 2015-02-18
CN104361583B CN104361583B (zh) 2017-03-08

Family

ID=52528841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410581354.XA Active CN104361583B (zh) 2014-10-27 2014-10-27 一种确定非对称失真立体图像客观质量的方法

Country Status (1)

Country Link
CN (1) CN104361583B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104658001A (zh) * 2015-03-10 2015-05-27 浙江科技学院 一种无参考非对称失真立体图像客观质量评价方法
CN105357519A (zh) * 2015-12-02 2016-02-24 浙江科技学院 基于自相似度特征的无参考立体图像质量客观评价方法
CN105488792A (zh) * 2015-11-26 2016-04-13 浙江科技学院 基于字典学习和机器学习的无参考立体图像质量评价方法
CN107040775A (zh) * 2017-03-20 2017-08-11 宁波大学 一种基于局部特征的色调映射图像质量客观评价方法
CN109872305A (zh) * 2019-01-22 2019-06-11 浙江科技学院 一种基于质量图生成网络的无参考立体图像质量评价方法
CN112712550A (zh) * 2019-10-24 2021-04-27 马上消费金融股份有限公司 一种图像质量评价方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547368A (zh) * 2011-12-16 2012-07-04 宁波大学 一种立体图像质量客观评价方法
US20130120528A1 (en) * 2011-01-09 2013-05-16 Thomson Licensing Video processing apparatus and method for detecting a temporal synchronization mismatch
CN103152600A (zh) * 2013-03-08 2013-06-12 天津大学 一种立体视频质量评价方法
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
CN103745457A (zh) * 2013-12-25 2014-04-23 宁波大学 一种立体图像客观质量评价方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8537200B2 (en) * 2009-10-23 2013-09-17 Qualcomm Incorporated Depth map generation techniques for conversion of 2D video data to 3D video data
US20130120528A1 (en) * 2011-01-09 2013-05-16 Thomson Licensing Video processing apparatus and method for detecting a temporal synchronization mismatch
CN102547368A (zh) * 2011-12-16 2012-07-04 宁波大学 一种立体图像质量客观评价方法
CN103152600A (zh) * 2013-03-08 2013-06-12 天津大学 一种立体视频质量评价方法
CN103745457A (zh) * 2013-12-25 2014-04-23 宁波大学 一种立体图像客观质量评价方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WUJIE ZHOU 等: "PMFS: A Perceptual Modulated Feature Similarity Metric for Stereoscopic Image Quality Assessment", 《IEEE SIGNAL PROCESSING LETTERS》 *
Z.M. PARVEZ SAZZAD 等: "STEREOSCOPIC IMAGE QUALITY PREDICTION", 《QUALITY OF MULTIMEDIA EXPERIENCE，2009. QOMEX 2009. INTERNATIONAL WORKSHOP ON》 *
周武杰 等: "基于小波图像融合的非对称失真立体图像质量评价方法", 《光电工程》 *
王阿红 等: "一种基于人眼视觉特性的立体图像质量客观评价方法", 《光电工程》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104658001A (zh) * 2015-03-10 2015-05-27 浙江科技学院 一种无参考非对称失真立体图像客观质量评价方法
CN104658001B (zh) * 2015-03-10 2017-04-19 浙江科技学院 一种无参考非对称失真立体图像客观质量评价方法
CN105488792A (zh) * 2015-11-26 2016-04-13 浙江科技学院 基于字典学习和机器学习的无参考立体图像质量评价方法
CN105488792B (zh) * 2015-11-26 2017-11-28 浙江科技学院 基于字典学习和机器学习的无参考立体图像质量评价方法
CN105357519A (zh) * 2015-12-02 2016-02-24 浙江科技学院 基于自相似度特征的无参考立体图像质量客观评价方法
CN105357519B (zh) * 2015-12-02 2017-05-24 浙江科技学院 基于自相似度特征的无参考立体图像质量客观评价方法
CN107040775A (zh) * 2017-03-20 2017-08-11 宁波大学 一种基于局部特征的色调映射图像质量客观评价方法
CN107040775B (zh) * 2017-03-20 2019-01-15 宁波大学 一种基于局部特征的色调映射图像质量客观评价方法
CN109872305A (zh) * 2019-01-22 2019-06-11 浙江科技学院 一种基于质量图生成网络的无参考立体图像质量评价方法
CN109872305B (zh) * 2019-01-22 2020-08-18 浙江科技学院 一种基于质量图生成网络的无参考立体图像质量评价方法
CN112712550A (zh) * 2019-10-24 2021-04-27 马上消费金融股份有限公司 一种图像质量评价方法及装置

Also Published As

Publication number Publication date
CN104361583B (zh) 2017-03-08

Similar Documents

Publication Publication Date Title
CN102333233B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN104243976B (zh) 一种立体图像客观质量评价方法
CN104658001B (zh) 一种无参考非对称失真立体图像客观质量评价方法
CN103347196B (zh) 一种基于机器学习的立体图像视觉舒适度评价方法
CN104361583A (zh) 一种非对称失真立体图像客观质量评价方法
CN101610425B (zh) 一种评测立体图像质量的方法和装置
CN104036501A (zh) 一种基于稀疏表示的立体图像质量客观评价方法
CN105376563B (zh) 基于双目融合特征相似度的无参考立体图像质量评价方法
CN105282543B (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN104902268B (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
CN102708567B (zh) 一种基于视觉感知的立体图像质量客观评价方法
CN105357519B (zh) 基于自相似度特征的无参考立体图像质量客观评价方法
CN103413298B (zh) 一种基于视觉特性的立体图像质量客观评价方法
CN104811693A (zh) 一种立体图像视觉舒适度客观评价方法
CN106791822B (zh) 一种基于单双目特征学习的无参考立体图像质量评价方法
CN104408716A (zh) 一种基于视觉保真度的立体图像质量客观评价方法
CN104036502A (zh) 一种无参考模糊失真立体图像质量评价方法
CN104394403A (zh) 一种面向压缩失真的立体视频质量客观评价方法
CN102903107B (zh) 一种基于特征融合的立体图像质量客观评价方法
CN104240248A (zh) 一种无参考立体图像质量客观评价方法
CN103136748A (zh) 一种基于特征图的立体图像质量客观评价方法
CN102999911B (zh) 一种基于能量图的立体图像质量客观评价方法
CN105488792B (zh) 基于字典学习和机器学习的无参考立体图像质量评价方法
CN102999912B (zh) 一种基于失真图的立体图像质量客观评价方法
CN105069794A (zh) 一种基于双目竞争的全盲立体图像质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210602

Address after: No.1063, building 13, industrial zone, Wuhan, Hubei 430000

Patentee after: Wuhan Tuozhijia Information Technology Co.,Ltd.

Address before: 310023 No. 318 stay Road, Xihu District, Zhejiang, Hangzhou

Patentee before: ZHEJIANG University OF SCIENCE AND TECHNOLOGY

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211124

Address after: 314500 02, No. 4, South Zaoqiang street, No. 1, Nanmen Gongnong Road, Chongfu Town, Tongxiang City, Jiaxing City, Zhejiang Province

Patentee after: Jiaxing Zhixu Information Technology Co.,Ltd.

Address before: No.1063, building 13, industrial zone, Wuhan, Hubei 430000

Patentee before: Wuhan Tuozhijia Information Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221228

Address after: 518000 Room 1201, Building 2 and 3, Building M-10, Maling Industrial Zone, Maling Community, Yuehai Street, Nanshan District, Shenzhen, Guangdong

Patentee after: Shenzhen Yuntian Changxiang Information Technology Co.,Ltd.

Address before: 314500 02, No. 4, South Zaoqiang street, No. 1, Nanmen Gongnong Road, Chongfu Town, Tongxiang City, Jiaxing City, Zhejiang Province

Patentee before: Jiaxing Zhixu Information Technology Co.,Ltd.

TR01 Transfer of patent right