CN106530282A - 基于空域特征的无参考立体图像质量客观评价方法 - Google Patents

基于空域特征的无参考立体图像质量客观评价方法 Download PDF

Info

Publication number
CN106530282A
CN106530282A CN201610915795.8A CN201610915795A CN106530282A CN 106530282 A CN106530282 A CN 106530282A CN 201610915795 A CN201610915795 A CN 201610915795A CN 106530282 A CN106530282 A CN 106530282A
Authority
CN
China
Prior art keywords
image
pair
image block
characteristic parameter
distorted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610915795.8A
Other languages
English (en)
Other versions
CN106530282B (zh
Inventor
杨嘉琛
林彦聪
姜斌
汪亚芳
沈教勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201610915795.8A priority Critical patent/CN106530282B/zh
Publication of CN106530282A publication Critical patent/CN106530282A/zh
Application granted granted Critical
Publication of CN106530282B publication Critical patent/CN106530282B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种基于空域特征的无参考立体图像质量客观评价方法，包括以下步骤：模拟人类视觉特性，对失真图像对的左图和右图分别进行二维Gabor滤波，得到左图和右图的加权因子；将失真图像对进行加权运算，并进行归一化处理，得到失真图像对的视觉感知图对进行分块处理；求解每一图像块的特征参数；将图像尺寸缩放为原来的一半，然后获得缩放图像的每一图像块的特征参数从而得到构成的空域特征；计算特征的均值和方差矩阵νd和∑d。训练无失真参考图像对的多元高斯模型，得到均值和方差矩阵ν和∑作为标准模型；计算νd和∑d与标准模型ν和∑之间的距离，即为立体图像对质量的客观预测值。本发明能够充分考虑双视点特性。

Description

基于空域特征的无参考立体图像质量客观评价方法
技术领域
本发明属图像处理领域，涉及基于空域特征的无参考立体图像质量客观评价方法。
背景技术
近年来，三维技术逐渐普及，步入大众生活，为观众带来了更好的视觉体验和临场感，但同时也对立体图像的质量提出了更高的要求。由于立体图像的不恰当处理可能会引起观看者的视觉疲劳与不适，因此十分有必要提出一种统一、客观、有效的立体图像质量评价方法对立体图像质量进行准确的预测。
现有的立体图像质量评价方法主要包括基于平面图像质量参数的评价方法和基于人类视觉基本特性的评价方法两种。但是，基于平面图像质量参数的评价方法没有充分考虑人类视觉特性，缺少对立体信息有效利用，因而难以投入实践。现有的基于人类视觉基本特性的评价方法中最重要的一步是立体匹配，但是如何有效地提取立体信息，合理地进行匹配，仍然是立体图像领域关注的焦点。因此，很有必要建立一个以立体图像基本信息为基础，又充分考虑人类视觉特性的立体图像质量客观评价方法。
此外，鉴于现有的立体图像质量评价方法需要原始的参考图像作为评价依据，因此具有很大的局限性，所以无参考(即不需要原始的参考图像对做评价依据)立体图像质量评价方法应运而生。
发明内容
本发明的目的提供一种充分考虑双视点特性的立体图像质量客观评价方法。本发明的无参考立体图像质量客观评价方法，模拟大脑中形成的视觉感知图像，以空域特征作为工具，通过空域特征的变化描述对立体图像质量，进而做出更加全面、准确的客观评价。技术方案如下：
一种基于空域特征的无参考立体图像质量客观评价方法，每个失真立体图像对由左图和右图组成，设失真图像对为(tl,tr)，包括以下步骤：
第一步：模拟人类视觉特性，对失真图像对的左图和右图分别进行二维Gabor滤波，得到左图和右图的加权因子:WL(x,y)和WR((x+d),y)，其中，(x,y)为像素点坐标，d表示对右图进行视差补偿的像素点横坐标差值；
第二步：将失真图像对(tl,tr)进行加权运算，得到V(x,y)；
第三步：对V(x,y)进行归一化处理，得到失真图像对的视觉感知图
第四步：对失真图像对的视觉感知图进行分块处理，设每块大小为m×n。假定图像尺寸为M×N，图像可以划分为([M/m]×[N/n])图像块，[x]表示不大于x的最大整数。
第五步：利用非对称高斯分布模型求解每一图像块的特征参数。
第六步：将图像尺寸缩放为原来的图像块尺寸m,n缩放为原来的然后重复第三步至第五步操作，获得缩放图像的每一图像块的特征参数；
第七步：集合第五步和第六步得到的特征参数，构成的空域特征。
第八步，以列为单位，分别计算第七步所获得特征的均值和方差矩阵νd和Σd。
第九步，训练无失真参考图像对的多元高斯模型，方法如下：选取n幅参考图像对，进行上述第一步至第六步操作，得到共计k组图像块的特征参数，将所有的图像块的特征参数进行训练，得到多元高斯模型的均值和方差矩阵ν和Σ作为标准模型；
第十步：计算νd和Σd与标准模型ν和Σ之间的距离，即为立体图像对质量的客观预测值。
本发明所提出的立体图像客观质量评价方法以视觉感知图像的熵为基础，通过稀疏表示的方式，把熵与视觉感知过程相结合，充分模拟了立体图像主观评价的过程，得到的立体图像质量客观评价结果与主观评价结果具有很高的一致性，能够较为准确的反映图像的质量。
附图说明
图1：本发明的流程框图
图2：空域特征的提取
具体实施方式
基于空域特征的无参考立体图像质量客观评价方法，每个失真立体图像对由左图和右图组成，设失真图像对为(tl,tr)，包括以下步骤：
第一步：模拟人类视觉特性，对失真图像对(tl,tr)的左图和右图分别进行二维Gabor滤波，得到相应的能量响应，并进行卷积和处理，经归一化运算分别后得到左图和右图的加权因子:WL(x,y)和WR((x+d),y)，其中，(x,y)为像素点坐标，(x+d)表示视差补偿，d表示对右图进行视差补偿的像素点横坐标差值；计算方法如下
(1)二维Gabor滤波器为：
其中，G(x,y,σx,σy,ζx,ζy,θ)是Gabor滤波器的响应值，x,y,σx,σy,ζx,ζy,θ分别代表Gabor滤波器的x方向、y方向、椭圆高斯包络沿x方向的标准差、椭圆高斯包络沿y方向的标准差、x方向的频率、y方向的频率和相位角，R1＝x cosθ+y sinθ，R1＝x cosθ+y sinθ；
(2)Gabor滤波器的能量响应是以3.67次/度的空间频率循环，叠加滤波器沿水平、竖直和两个对角线方向的幅度响应得到的；
(3)能量响应经卷积和计算后得到GEL(x,y)与GER(x,y)，并进行视差补偿得到GER((x+d),y)，其中，(x+d)表示视差补偿，d表示对右图进行视差补偿的像素点横坐标差值；
(4)经公式(2)和(3)所定义的归一化运算得到左图和右图的加权因子WL(x,y)和WR((x+d),y)。
第二步：将失真图像对为左右图(tl,tr)进行加权运算，得到失真图像对的视觉感知图V(x,y)，计算如公式(4)所示；
V(x,y)＝WL(x,y)×tl(x,y)+WR(x+d,y)×tr((x+d),y) (4)
第三步：失真图像对的视觉感知图V(x,y)的预处理。具体计算过程如下：
其中，ω＝{ωk,l|k＝-K,...,K,l＝-L,...,L}是2D循环对称高斯函数的权重值，K＝L＝3。
第四步：对失真图像对的视觉感知图进行分块处理，每块大小为m×n。假定图像尺寸为M×N，图像可以划分为([M/m]×[N/n])图像块，[x]表示不大于x的最大整数。
第五步：求解每一图像块的空域特征。具体操作如下：
首先，利用均值为0的归一化高斯分布拟合每一图像块，得到相应的归一化高斯分布的参数(α,β)，具体参加如下公式：
其中，x是每一图像块像素值按列排成(m×n)×1的列向量。
其次，沿水平、竖直、两个对角线四个方向，分别利用非对称高斯分布模型求解每一图像块的(γ,βl,βr,η)，计算公式如下：
其中x是每一图像块像素分别沿水平、竖直、对角线方向排列后的列向量，其大小为(m×n)×1。
最后，通过上述操作，可以获得每一图像块的2+4×4＝18个特征。
第六步：将图像尺寸缩放为原来的图像块尺寸m,n缩放为原来的然后重复第三步至第五步操作。同样，也可以获得18个特征参数。故每一图像块可以提取36个特征。
第七步：按照第三步至第六步的描述，计算每一图像块的空域特征，共计([M/m]×[N/n])×36特征。
第八步，以列为单位，分别计算第七步所获得特征的均值和方差矩阵νd和∑d。
第九步，训练无失真参考图像对的多元高斯模型。具体操作如下，任选n幅参考图像对，进行上述第一步至第六步操作，得到共计k组图像块的特征。将所有的图像块的特征进行训练，得到多元高斯模型的均值和方差矩阵ν和∑作为标准模型。经过训练的标准模型在后续评价中无需再做二次训练。训练方式如下：
其中，x1,...,xt表示每一图像块的36个特征按列排列，t为图像块的总数。
第十步，计算νd和∑d与标准模型ν和∑之间的距离，即为立体图像对质量的客观预测值。计算方式如下：

Claims (1)

1.一种基于空域特征的无参考立体图像质量客观评价方法，每个失真立体图像对由左图和右图组成，设失真图像对为(tl,tr)，包括以下步骤：
第一步：模拟人类视觉特性，对失真图像对的左图和右图分别进行二维Gabor滤波，得到左图和右图的加权因子:WL(x,y)和WR((x+d),y)，其中，(x,y)为像素点坐标，d表示对右图进行视差补偿的像素点横坐标差值；
第二步：将失真图像对(tl,tr)进行加权运算，得到V(x,y)；
第三步：对V(x,y)进行归一化处理，得到失真图像对的视觉感知图
第四步：对失真图像对的视觉感知图进行分块处理，设每块大小为m×n；假定图像尺寸为M×N，图像可以划分为([M/m]×[N/n])图像块，[x]表示不大于x的最大整数；
第五步：利用非对称高斯分布模型求解每一图像块的特征参数；
第六步：将图像尺寸缩放为原来的图像块尺寸m,n缩放为原来的然后重复第三步至第五步操作，获得缩放图像的每一图像块的特征参数；
第七步：集合第五步和第六步得到的特征参数，构成的空域特征；
第八步，以列为单位，分别计算第七步所获得特征的均值和方差矩阵νd和∑d；
第九步，训练无失真参考图像对的多元高斯模型，方法如下：选取n幅参考图像对，进行上述第一步至第六步操作，得到共计k组图像块的特征参数，将所有的图像块的特征参数进行训练，得到多元高斯模型的均值和方差矩阵ν和∑作为标准模型；
第十步：计算νd和∑d与标准模型ν和∑之间的距离，即为立体图像对质量的客观预测值。
CN201610915795.8A 2016-10-20 2016-10-20 基于空域特征的无参考立体图像质量客观评价方法 Active CN106530282B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610915795.8A CN106530282B (zh) 2016-10-20 2016-10-20 基于空域特征的无参考立体图像质量客观评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610915795.8A CN106530282B (zh) 2016-10-20 2016-10-20 基于空域特征的无参考立体图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN106530282A true CN106530282A (zh) 2017-03-22
CN106530282B CN106530282B (zh) 2019-06-14

Family

ID=58332667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610915795.8A Active CN106530282B (zh) 2016-10-20 2016-10-20 基于空域特征的无参考立体图像质量客观评价方法

Country Status (1)

Country Link
CN (1) CN106530282B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107360416A (zh) * 2017-07-12 2017-11-17 天津大学 基于局部多元高斯描述子的立体图像质量评价方法
CN107371013A (zh) * 2017-07-12 2017-11-21 天津大学 基于色相角和差通道的立体图像质量评价方法
CN109257591A (zh) * 2017-07-12 2019-01-22 天津大学 基于稀疏表示的无参考立体视频质量客观评价方法
CN109272479A (zh) * 2017-07-12 2019-01-25 天津大学 基于立体感知特性的立体图像质量评价方法
CN111145150A (zh) * 2019-12-20 2020-05-12 中国科学院光电技术研究所 一种通用型无参考图像质量评价方法
CN111311595A (zh) * 2020-03-16 2020-06-19 清华大学深圳国际研究生院 一种图像质量的无参考质量评价方法及计算机可读存储介质
CN113570596A (zh) * 2021-08-13 2021-10-29 云南北方光学科技有限公司 一种基于人类视觉系统的无参考结构清晰度评价方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658139B1 (en) * 1999-11-04 2003-12-02 Eastman Kodak Company Method for assessing overall quality of digital images
CN101833766A (zh) * 2010-05-11 2010-09-15 天津大学 基于gssim的立体图像客观质量评价算法
CN105338343A (zh) * 2015-10-20 2016-02-17 北京理工大学 一种基于双目感知的无参考立体图像质量评价方法
CN105407349A (zh) * 2015-11-30 2016-03-16 宁波大学 基于双目视觉感知的无参考立体图像质量客观评价方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658139B1 (en) * 1999-11-04 2003-12-02 Eastman Kodak Company Method for assessing overall quality of digital images
CN101833766A (zh) * 2010-05-11 2010-09-15 天津大学 基于gssim的立体图像客观质量评价算法
CN105338343A (zh) * 2015-10-20 2016-02-17 北京理工大学 一种基于双目感知的无参考立体图像质量评价方法
CN105407349A (zh) * 2015-11-30 2016-03-16 宁波大学 基于双目视觉感知的无参考立体图像质量客观评价方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107360416A (zh) * 2017-07-12 2017-11-17 天津大学 基于局部多元高斯描述子的立体图像质量评价方法
CN107371013A (zh) * 2017-07-12 2017-11-21 天津大学 基于色相角和差通道的立体图像质量评价方法
CN109257591A (zh) * 2017-07-12 2019-01-22 天津大学 基于稀疏表示的无参考立体视频质量客观评价方法
CN109272479A (zh) * 2017-07-12 2019-01-25 天津大学 基于立体感知特性的立体图像质量评价方法
CN107371013B (zh) * 2017-07-12 2019-03-08 天津大学 基于色相角和差通道的立体图像质量评价方法
CN109272479B (zh) * 2017-07-12 2021-11-02 天津大学 基于立体感知特性的立体图像质量评价方法
CN111145150A (zh) * 2019-12-20 2020-05-12 中国科学院光电技术研究所 一种通用型无参考图像质量评价方法
CN111145150B (zh) * 2019-12-20 2022-11-11 中国科学院光电技术研究所 一种通用型无参考图像质量评价方法
CN111311595A (zh) * 2020-03-16 2020-06-19 清华大学深圳国际研究生院 一种图像质量的无参考质量评价方法及计算机可读存储介质
CN113570596A (zh) * 2021-08-13 2021-10-29 云南北方光学科技有限公司 一种基于人类视觉系统的无参考结构清晰度评价方法

Also Published As

Publication number Publication date
CN106530282B (zh) 2019-06-14

Similar Documents

Publication Publication Date Title
CN106530282A (zh) 基于空域特征的无参考立体图像质量客观评价方法
CN106651835A (zh) 基于熵的双视点无参考立体图像质量客观评价方法
CN102750731B (zh) 基于左右单眼感受野和双目融合的立体视觉显著计算方法
CN105744256B (zh) 基于图谱视觉显著的立体图像质量客观评价方法
CN107767413A (zh) 一种基于卷积神经网络的图像深度估计方法
CN105338343B (zh) 一种基于双目感知的无参考立体图像质量评价方法
CN104853182B (zh) 基于幅度和相位的立体图像质量客观评价方法
CN107635136B (zh) 基于视觉感知和双目竞争的无参考立体图像质量评价方法
CN102819837B (zh) 基于反馈控制的深度图处理方法及装置
CN105654465B (zh) 一种采用视差补偿视点间滤波的立体图像质量评价方法
CN101610425B (zh) 一种评测立体图像质量的方法和装置
CN104954780A (zh) 一种适用于高清2d/3d转换的dibr虚拟图像修复方法
CN103248906A (zh) 一种双目立体视频序列的深度图获取方法与系统
CN104506872B (zh) 一种平面视频转立体视频的方法及装置
CN108921942A (zh) 对图像进行2d转制3d的方法及装置
CN104811693A (zh) 一种立体图像视觉舒适度客观评价方法
CN107360416A (zh) 基于局部多元高斯描述子的立体图像质量评价方法
CN104036502A (zh) 一种无参考模糊失真立体图像质量评价方法
CN104050683A (zh) 一种基于单幅图像分数阶处理的纹理力触觉感知方法
CN110264527A (zh) 基于zynq的实时双目立体视觉输出方法
CN104301706B (zh) 一种增强裸眼立体显示效果的合成方法
CN103493482A (zh) 一种提取及优化图像深度图的方法与装置
CN103914835B (zh) 一种针对模糊失真立体图像的无参考质量评价方法
CN109257591A (zh) 基于稀疏表示的无参考立体视频质量客观评价方法
CN106504236B (zh) 基于稀疏表示的无参考立体图像质量客观评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant