CN109345502B - 一种基于视差图立体结构信息提取的立体图像质量评价方法 - Google Patents

一种基于视差图立体结构信息提取的立体图像质量评价方法 Download PDF

Info

Publication number
CN109345502B
CN109345502B CN201810885954.3A CN201810885954A CN109345502B CN 109345502 B CN109345502 B CN 109345502B CN 201810885954 A CN201810885954 A CN 201810885954A CN 109345502 B CN109345502 B CN 109345502B
Authority
CN
China
Prior art keywords
image
distorted
reference picture
map
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810885954.3A
Other languages
English (en)
Other versions
CN109345502A (zh
Inventor
丁勇
宋鹏飞
邓瑞喆
孙光明
周一博
孙阳阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810885954.3A priority Critical patent/CN109345502B/zh
Publication of CN109345502A publication Critical patent/CN109345502A/zh
Application granted granted Critical
Publication of CN109345502B publication Critical patent/CN109345502B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视差图立体结构信息提取的立体图像质量评价方法。本发明具体实施包括如下步骤：首先利用结构相似度算法分别得到被测图像与参考图像的视差图，然后根据人眼对轮廓信息敏感的特性使用梯度信息来指导图像融合，同时结合已得到的视差图得出被测图像与参考图像的左右视差图融合后的图像，接着从得到的融合图中提取轮廓、纹理和对比度特征，并从视差图中提取深度特征，将以上提取到的特征送入支持向量回归模型，最后利用支持向量回归模型在主观评分值与特征之间建立映射，从而得到最终质量评价分数。基于本发明所提出方法的图像质量客观评价分数与数据库提供的主观质量分数具有较高的一致性，具有良好的准确性和鲁棒性。

Description

一种基于视差图立体结构信息提取的立体图像质量评价方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于视差图立体结构信息的立体图像质量评价方法。
背景技术
立体成像是利用人眼的双目视差原理，通过让左右眼独立的接受同一场景的对应摄像机拍摄的画面，形成双目视差并在大脑中生成场景的深度信息，在人脑中还原实际三维场景。而在立体图像的采集、编码、压缩、传输等过程中，容易不同程度上引入各种类型的失真，因此如何精确地评价图像质量已成为图像处理领域的研究热点。
立体图像质量评价方法可分为主观质量评价方法和客观质量评价方法。主观质量评价方法是让实验的所有参与者根据一定的打分标准对观看到的立体图像打分的均值。主观质量评价方法的优点是它能真实地反馈立体图像质量好坏，但这种方法在实际应用中存在很多缺陷，如测试条件不稳定、浪费人力物力、实时性差等，而客观质量评价方法可以嵌入立体图像处理系统的各个环节，实时性好，成本更低。客观的图像质量评价方法又可以根据对参考图像的利用程度分为：全参考图像质量评价，利用理想的未失真的参考图像作为对比来评价失真图像的质量分数；部分参考图像质量评价，该方法不需要参考图像，但需要利用参考图像的一些特征来得到失真图像的质量分数；无参考图像质量评价，不需要对比参考图像，仅根据失真图像得到其质量分数。
使用最早也较为广泛的全参考图像质量评价指标，如PSNR(peak signal tonoise ratio)和MSE(mean squared error)等，计算简单，物理意义直观，但是它们只是对像素点间的误差做数学统计，没有考虑到像素点间的相关性和人类视觉系统(HumanVisual System，HVS)的感知特性，因此在很多情况下评价结果与人类的主观感受并不符合。随着人们对人类视觉系统的研究越来越深入，很多学者提出了一些基于HVS的方法来评价图像质量，提取与图像质量密切相关的特征信息，如边缘、纹理等，对图像质量进行度量。然而，HVS是一个极其复杂的系统，仅根据目前对其有限的理解还不足以构建与人类感知结果高度一致的图像质量评价方法。
发明内容
本发明的目的是针对现有图像质量评价方法的不足，提供一种基于视差图立体结构信息的全参考3D图像质量评价方法。
本发明采取的技术方案是：
首先，采用SSIM算法分别对参考图像与失真图像进行处理，得到对应的视差图。同时，根据人眼对轮廓信息敏感的特性，利用梯度信息来融合左右视图。结合上一步得到的参考图像和失真图像的视差图，可以得到最终的融合图像。接着从融合图中提取轮廓、纹理和对比度特征，同时，从视差图中提取深度特征，将这些提取到的特征送入支持向量回归模型，在主观评分值与特征之间建立映射关系，从而得到最终质量评价分数。
本发明解决其技术问题所采用的技术方案如下：
步骤(1).输入失真图像ID和参考图像IR；
步骤(2).分别计算失真图像ID和参考图像IR的结构相似度SSIM(Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Image quality assessment:from errorvisibility to structural similarity,”IEEE Transactions on Image Processing,vol.13,no.4,pp.600-612,2004)，以此选择最佳匹配的视差图。
SSIM(x,y)＝[l(x,y)]α[c(x,y)]β[s(x,y)]γ (1)
Figure GDA0002681860740000021
Figure GDA0002681860740000022
Figure GDA0002681860740000023
其中，C1、C2、C3是很小的正数，防止分母为零。C1＝(k1L)2、C2＝(k2L)2、C3＝(C2/2)2、k1、k2均为远小于1的正数，L为图像的最大灰度级，α、β、γ表示三个函数间权重的系数，均大于零，一般取1。l(x,y)、c(x,y)、s(x,y)分别为左视图与右视图在一个图像块中的亮度函数、对比度函数和结构相似度函数，μa、μb、σa、σb、σab分别为整幅图像的一个图像块内的像素均值、方差和协方差。其具体计算公式为：
Figure GDA0002681860740000031
Figure GDA0002681860740000032
Figure GDA0002681860740000033
步骤(3).对失真图像ID和参考图像IR的左视图中某像素，多次按照步骤(2)计算以其为中心的归一化对称高斯加权窗和右视图中相同纵坐标、不同横坐标的某像素为中心的高斯加权窗的结构相似度，选择结构相似度最高的右视图像素点为该左视图像素点的匹配点，两点间横坐标差异即为该点视差，记为d，以此类推计算左视图中所有像素点的对应视差值，即可由像素点一一映射到视差，进而形成参考图像和失真图像的视差图。
步骤(4).将步骤(1)输入的失真图像ID和参考图像IR分别与Sobel一阶微分算子进行卷积，得到边缘检测结果，即梯度幅度图：
Figure GDA0002681860740000034
其中，f(x,y)表示图像上的像素点，
Figure GDA0002681860740000035
代表卷积运算，hx和hy为Sobel算子的卷积模板：
Figure GDA0002681860740000036
步骤(5).将步骤(1)输入的失真图像ID和参考图像IR分别与LoG二阶拉普拉斯高斯算子卷积，得到边缘检测结果，即LoG边缘图：
Figure GDA0002681860740000037
其中，hLoG为LoG算子，可表示如下：
Figure GDA0002681860740000038
步骤(6).将步骤(4)中得到的梯度幅度图和步骤(5)中得到的LoG边缘图结合起来，计算得到用来指导双目图像融合的权重图：
Figure GDA0002681860740000041
其中，ε是很小的正常数，防止分母为零造成不稳定。
步骤(7).根据步骤(3)得到的视差图分别对失真图像ID和参考图像IR进行左、右视图的配准，将右视图上的点和其对应的视差进行计算得到其在左视图上的对应点位置，对步骤(6)得到的右视图的权重图进行同样的操作得到其校准后的右视图权重图。
步骤(8).分别对步骤(6)得到的左视图权重图和步骤(7)校准后的右视图权重图进行归一化，计算得到双目融合图：
CI(x,y)＝WL(x,y)×IL(x,y)+WR((x+d),y)×IR((x+d),y) (12)
其中CI(x,y)为双目融合图，WL(x,y)和WR((x+d),y)分别为归一化的左视图权重图和校准后的右视图权重图，IL(x,y)和IR((x+d,y))分别为左视图和校准后的右视图。归一化权重图的计算表达式如下：
Figure GDA0002681860740000042
Figure GDA0002681860740000043
步骤(9).从步骤(8)得到的失真图像ID和参考图像IR的双目融合图中提取梯度幅值信息G(x,y)和方向信息θ(x,y)，使用Sobel算子对双目融合图进行卷积，计算垂直方向卷积结果和水平方向卷积结果的均方根和正切函数，即得每个像素点的梯度幅值和方向。
Figure GDA0002681860740000044
Figure GDA0002681860740000045
Figure GDA0002681860740000046
步骤(10).利用局部二值模式来表示步骤(8)得到的失真图像ID和参考图像IR的双目融合图中的纹理信息。将一个3×3的窗口放到被测图像中，以中心的像素点的灰度值作为阈值，然后把周围8个相邻像素点的灰度值与中心的阈值进行比较，如果周围像素点的灰度值大于中心的阈值，那么该像素点位置标记为1，如果周围像素点的灰度值小于中心的阈值，那么标记为0。这样我们就可以得到8个点的值，从该像素的水平方向(即方位角为0°)开始按照逆时针的顺序读取，组成8位的二进制无符号数，定义为该窗口的LBP值。
步骤(11).采用步骤(2)中结构相似度的计算方法分别对融合后的参考图像和失真图像进行结构相似度度量。
步骤(12).对于步骤(3)得到的失真图像ID和参考图像IR的视差图，提取它们的深度信息特征，从而对失真图像进行质量评价。
Figure GDA0002681860740000051
其中Dref代表参考图像的视差图，Ddis代表失真图像的视差图，Fd表示提取的深度信息的特征。
步骤(13).分别对步骤(8)得到失真图像ID和参考图像IR的双目融合图中的梯度幅值和方向信息，步骤(10)得到失真图像ID和参考图像IR的纹理信息，步骤(11)得到的结构相似度，以及步骤(12)得到的深度信息计算失真图像ID和参考图像IR的相似度。
Figure GDA0002681860740000052
其中，A和B是维度相同的参考图像的信息矩阵和失真图像的信息矩阵，如梯度信息、纹理信息等，m和n是矩阵维度，r是计算得到的表征相似度的相关系数，r越接近于1，表示A和B的相似度越大。
步骤(14).采用支持向量回归(Support Vector Regression,SVR)的方法将步骤(13)得到的在各种特征信息上的失真图像ID和参考图像IR之间的相似度映射到图像的主观质量评价分数，最终得到失真图像的客观质量分数。
本发明的有益效果：
本发明依据图像相似度得到被测图像和参考图像的视差图，结合人眼对轮廓信息敏感的特性使用梯度信息指导图像融合，从融合图中提取轮廓、纹理和对比度特征，同时从视差图中提取深度特征。最后利用支持向量回归在这些特征和主观质量分数之间建立映射得到最终预测分数。实验结果表明，基于本发明所提出的方法得到的图像客观质量与主观评价结果具有很好的一致性，能够较好的评价图像的质量。
附图说明
图1为本发明一种基于视差图立体结构信息提取的立体图像质量评价方法的结构框图。
具体实施方式
下面结合附图对本发明方法作进一步说明。
如图1所示，一种基于视差图立体结构信息提取的立体参考图像质量评价方法，其具体实施步骤如下：
步骤(1).输入失真图像ID和参考图像IR；
步骤(2).分别计算失真图像ID和参考图像IR的结构相似度SSIM(Z.Wang,A.C.Bovik,H.R.Sheikh,and E.P.Simoncelli,“Image quality assessment:from errorvisibility to structural similarity,”IEEE Transactions on Image Processing,vol.13,no.4,pp.600-612,2004)，以此选择最佳匹配的视差图。
SSIM(x,y)＝[l(x,y)]α[c(x,y)]β[s(x,y)]γ (1)
Figure GDA0002681860740000061
Figure GDA0002681860740000062
Figure GDA0002681860740000063
其中，C1、C2、C3是很小的正数，防止分母为零。C1＝(k1L)2、C2＝(k2L)2、C3＝(C2/2)2、k1、k2均为远小于1的正数，L为图像的最大灰度级，α、β、γ表示三个函数间权重的系数，均大于零，一般取1。l(x,y)、c(x,y)、s(x,y)分别为左视图与右视图在一个图像块中的亮度函数、对比度函数和结构相似度函数，μa、μb、σa、σb、σab分别为整幅图像的一个图像块内的像素均值、方差和协方差。其具体计算公式为：
Figure GDA0002681860740000064
Figure GDA0002681860740000065
Figure GDA0002681860740000071
为避免结构相似度指标示意图出现块效应现象，这里使用归一化对称高斯加权窗来计算各个图像块的均值、方差与协方差。其中，ω是大小为11×11，标准差为1.5的归一化对称高斯加权窗，N＝11×11＝121。
步骤(3).对失真图像ID和参考图像IR的左视图中某像素，多次按照步骤(2)计算以其为中心的归一化对称高斯加权窗和右视图中相同纵坐标、不同横坐标的某像素为中心的高斯加权窗的结构相似度，选择结构相似度最高的右视图像素点为该左视图像素点的匹配点，两点间横坐标差异即为该点视差，记为d，以此类推计算左视图中所有像素点的对应视差值，即可由像素点一一映射到视差，进而形成参考图像和失真图像的视差图。
步骤(4).将步骤(1)输入的失真图像ID和参考图像IR分别与Sobel一阶微分算子进行卷积，得到边缘检测结果，即梯度幅度图：
Figure GDA0002681860740000072
其中，f(x,y)表示图像上的像素点，
Figure GDA0002681860740000073
代表卷积运算，hx和hy为Sobel算子的卷积模板：
Figure GDA0002681860740000074
步骤(5).将步骤(1)输入的失真图像ID和参考图像IR分别与LoG二阶拉普拉斯高斯算子卷积，得到边缘检测结果，即LoG边缘图：
Figure GDA0002681860740000075
其中，hLoG为LoG算子，可表示如下：
Figure GDA0002681860740000076
其中高斯模糊函数表达式为：
Figure GDA0002681860740000077
二阶导数拉普拉斯函数的表达式为：
Figure GDA0002681860740000081
步骤(6).将步骤(4)中得到的梯度幅度图和步骤(5)中得到的LoG边缘图结合起来，计算得到用来指导双目图像融合的权重图：
Figure GDA0002681860740000082
其中，ε是很小的正常数，防止分母为零造成不稳定。
步骤(7).根据步骤(3)得到的视差图分别对失真图像ID和参考图像IR进行左、右视图的配准，将右视图上的点和其对应的视差进行计算得到其在左视图上的对应点位置，对步骤(6)得到的右视图的权重图进行同样的操作得到其校准后的右视图权重图。
步骤(8).分别对步骤(6)得到的左视图权重图和步骤(7)校准后的右视图权重图进行归一化，计算得到双目融合图：
CI(x,y)＝WL(x,y)×IL(x,y)+WR((x+d),y)×IR((x+d),y) (14)
其中CI(x,y)为双目融合图，WL(x,y)和WR((x+d),y)分别为归一化的左视图权重图和校准后的右视图权重图，IL(x,y)和IR((x+d,y))分别为左视图和校准后的右视图。归一化权重图的计算表达式如下：
Figure GDA0002681860740000083
Figure GDA0002681860740000084
步骤(9).从步骤(8)得到的失真图像ID和参考图像IR的双目融合图中提取梯度幅值信息G(x,y)和方向信息θ(x,y)，使用Sobel算子对双目融合图进行卷积，计算垂直方向卷积结果和水平方向卷积结果的均方根和正切函数，即得每个像素点的梯度幅值和方向。
Figure GDA0002681860740000085
Figure GDA0002681860740000086
Figure GDA0002681860740000087
步骤(10).利用局部二值模式来表示步骤(8)得到的失真图像ID和参考图像IR的双目融合图中的纹理信息。将一个3×3的窗口放到被测图像中，以中心的像素点的灰度值作为阈值，然后把周围8个相邻像素点的灰度值与中心的阈值进行比较，如果周围像素点的灰度值大于中心的阈值，那么该像素点位置标记为1，如果周围像素点的灰度值小于中心的阈值，那么标记为0。这样我们就可以得到8个点的值，从该像素的水平方向(即方位角为0°)开始按照逆时针的顺序读取，组成8位的二进制无符号数，定义为该窗口的LBP值。
步骤(11).采用步骤(2)中结构相似度的计算方法分别对融合后的参考图像和失真图像进行结构相似度度量。
步骤(12).对于步骤(3)得到的失真图像ID和参考图像IR的视差图，提取它们的深度信息特征，从而对失真图像进行质量评价。
Figure GDA0002681860740000091
其中Dref代表参考图像的视差图，Ddis代表失真图像的视差图，Fd表示提取的深度信息的特征。
步骤(13).分别对步骤(8)得到失真图像ID和参考图像IR的双目融合图中的梯度幅值和方向信息，步骤(10)得到失真图像ID和参考图像IR的纹理信息，步骤(11)得到的结构相似度，以及步骤(12)得到的深度信息计算失真图像ID和参考图像IR的相似度。
Figure GDA0002681860740000092
其中，A和B是维度相同的参考图像的信息矩阵和失真图像的信息矩阵，如梯度信息、纹理信息等，m和n是矩阵维度，r是计算得到的表征相似度的相关系数，r越接近于1，表示A和B的相似度越大。
步骤(14).采用支持向量回归(Support Vector Regression,SVR)的方法将步骤(13)得到的在各种特征信息上的失真图像ID和参考图像IR之间的相似度映射到图像的主观质量评价分数，最终得到失真图像的客观质量分数。
为了验证本发明所述3D图像质量评价方法的优越性能，我们在德克萨斯大学奥斯汀分校图像和视频工程实验室建立的LIVE 3D数据库阶段I和阶段II(http://live.ece.utexas.edu/research/Quality/live_3dimage.html)上进行了实验。
LIVE 3D IQA Phase I数据库由365张对称失真的3D图像组成，这些图像是20张原始立体图像经过5种常见的失真类型处理后产生的。JPEG2000(JP2K)，JPEG，白噪声(WhiteNoise,WN)和瑞利快速衰落信道模拟(Fast Fading,FF)各有80张失真图像；高斯模糊(Gaussian Blur,GB)有45张失真图像。每种对称失真的3D图像都由实验对象打分，得到主观评价分数，即DMOS(Differential Mean Opinion Score)值。
LIVE 3D IQA Phase II数据库同样包括上述五种失真类型：JPEG，JP2K，Gblur，WN和FF，每种类型包含72张失真图像。每种失真类型都被应用于8张参考立体图像，以产生3张对称的失真3D图像和6张不对称的失真3D图像。共产生120张对称失真和240张不对称失真的3D图像。每张失真的3D图像都有相应的DMOS值。
表1给出了本发明所述方法在LIVE 3D数据库上的整体性能及针对各失真类型的性能。表中的皮尔森相关系数(Pearson Linear Correlation Coefficient,PLCC)和斯皮尔曼相关系数(Spearman Rank-Order Correlation Coefficient,SROCC)是验证图像质量评价算法性能的重要指标，PLCC和SROCC的值越高，表示算法性能越好。PLCC和SROCC计算公式如下：
Figure GDA0002681860740000101
Figure GDA0002681860740000102
其中，n为图像总数量，xi和yi分别为主观质量分数和预测客观质量评价分数，Xi和Yi分别为xi和yi在主观质量分数和客观质量分数中的排名。
实验结果表明，本发明的算法在LIVE 3D数据库阶段I和阶段II上都达到了很好的预测效果。
表1本发明所述算法模型在LIVE 3D数据库中的实验结果
Figure GDA0002681860740000103
Figure GDA0002681860740000111

Claims (5)

1.一种基于视差图立体结构信息提取的立体图像质量评价方法，其特征在于包括如下步骤：
步骤(1).输入失真图像ID和参考图像IR；
步骤(2).分别计算失真图像ID和参考图像IR的结构相似度SSIM，以此选择最佳匹配的视差图；
步骤(3).对失真图像ID和参考图像IR的左视图中某像素，多次按照步骤(2)计算以其为中心的归一化对称高斯加权窗和右视图中相同纵坐标、不同横坐标的某像素为中心的高斯加权窗的结构相似度，选择结构相似度最高的右视图像素点为该左视图像素点的匹配点，两点间横坐标差异即为该点视差，记为d，以此类推计算左视图中所有像素点的对应视差值，即可由像素点一一映射到视差，进而形成参考图像和失真图像的视差图；
步骤(4).将步骤(1)输入的失真图像ID和参考图像IR分别与Sobel一阶微分算子进行卷积，得到边缘检测结果，即梯度幅度图：
Figure FDA0002883191560000011
其中，f(x,y)表示图像上的像素点，
Figure FDA0002883191560000012
代表卷积运算，hx和hy为Sobel算子的卷积模板：
步骤(5).将步骤(1)输入的失真图像ID和参考图像IR分别与LoG二阶拉普拉斯高斯算子卷积，得到边缘检测结果，即LoG边缘图：
Figure FDA0002883191560000013
其中，hLoG为LoG算子，表示如下：
Figure FDA0002883191560000014
步骤(6).将步骤(4)中得到的梯度幅度图和步骤(5)中得到的LoG边缘图结合起来，计算得到用来指导双目图像融合的权重图：
Figure FDA0002883191560000015
其中，ε是正常数，防止分母为零造成不稳定；
步骤(7).根据步骤(3)得到的视差图分别对失真图像ID和参考图像IR进行左、右视图的配准，将右视图上的点和其对应的视差进行计算得到其在左视图上的对应点位置，对步骤(6)得到的右视图的权重图进行同样的操作得到其校准后的右视图权重图；
步骤(8).分别对步骤(6)得到的左视图权重图和步骤(7)校准后的右视图权重图进行归一化，计算得到双目融合图：
步骤(9).从步骤(8)得到的失真图像ID和参考图像IR的双目融合图中提取梯度幅值信息G(x,y)和方向信息θ(x,y)，使用Sobel算子对双目融合图进行卷积，计算垂直方向卷积结果和水平方向卷积结果的均方根和正切函数，即得每个像素点的梯度幅值和方向，
Figure FDA0002883191560000021
Figure FDA0002883191560000022
Figure FDA0002883191560000023
步骤(10).利用局部二值模式来表示步骤(8)得到的失真图像ID和参考图像IR的双目融合图中的纹理信息；
步骤(11).采用步骤(2)中结构相似度的计算方法分别对融合后的参考图像和失真图像进行结构相似度度量；
步骤(12).对于步骤(3)得到的失真图像ID和参考图像IR的视差图，提取它们的深度信息特征，从而对失真图像进行质量评价，
Figure FDA0002883191560000024
其中Dref代表参考图像的视差图，Ddis代表失真图像的视差图，Fd表示提取的深度信息的特征；
步骤(13).分别对步骤(8)得到的失真图像ID和参考图像IR的双目融合图中的梯度幅值和方向信息，步骤(10)得到失真图像ID和参考图像IR的纹理信息，步骤(11)得到的结构相似度，以及步骤(12)得到的深度信息计算失真图像ID和参考图像IR的相似度；
Figure FDA0002883191560000025
其中，A和B是维度相同的参考图像的信息矩阵和失真图像的信息矩阵，m和n是矩阵维度，r是计算得到的表征相似度的相关系数；
步骤(14).采用支持向量回归的方法将步骤(13)得到的在各种特征信息上的失真图像ID和参考图像IR之间的相似度映射到图像的主观质量评价分数，最终得到失真图像的客观质量分数。
2.根据权利要求1所述的一种基于视差图立体结构信息提取的立体图像质量评价方法，其特征在于所述的步骤(2)结构相似度SSIM计算方法如下：
SSIM(x,y)＝[l(x,y)]α[c(x,y)]β[s(x,y)]γ (1)
Figure FDA0002883191560000031
Figure FDA0002883191560000032
Figure FDA0002883191560000033
其中，C1、C2、C3是很小的正数，防止分母为零,C1＝(k1L)2、C2＝(k2L)2、C3＝(C2/2)2、k1、k2均为远小于1的正数，L为图像的最大灰度级，α、β、γ表示三个函数间权重的系数，均大于零，l(x,y)、c(x,y)、s(x,y)分别为左视图与右视图在一个图像块中的亮度函数、对比度函数和结构相似度函数，μa、μb、σa、σb、σab分别为整幅图像的一个图像块内的像素均值、方差和协方差,其具体计算公式为：
Figure FDA0002883191560000034
Figure FDA0002883191560000035
Figure FDA0002883191560000036
3.根据权利要求1所述的一种基于视差图立体结构信息提取的立体图像质量评价方法，其特征在于所述的Sobel算子的卷积模板hx和hy分别为：
Figure FDA0002883191560000041
4.根据权利要求1所述的一种基于视差图立体结构信息提取的立体图像质量评价方法，其特征在于所述的步骤(8)双目融合图的计算方法为：
CI(x,y)＝WL(x,y)×IL(x,y)+WR((x+d),y)×IR((x+d),y) (12)
其中CI(x,y)为双目融合图，WL(x,y)和WR((x+d),y)分别为归一化的左视图权重图和校准后的右视图权重图，IL(x,y)和IR((x+d,y))分别为左视图和校准后的右视图，归一化权重图的计算表达式如下：
Figure FDA0002883191560000042
Figure FDA0002883191560000043
5.根据权利要求1所述的一种基于视差图立体结构信息提取的立体图像质量评价方法，其特征在于所述的步骤(10)具体为：将一个3×3的窗口放到被测图像中，以中心的像素点的灰度值作为阈值，然后把周围8个相邻像素点的灰度值与中心的阈值进行比较，如果周围像素点的灰度值大于中心的阈值，那么该像素点位置标记为1，如果周围像素点的灰度值小于中心的阈值，那么标记为0；这样就得到8个点的值，从该像素的水平方向开始按照逆时针的顺序读取，组成8位的二进制无符号数，定义为该窗口的LBP值。
CN201810885954.3A 2018-08-06 2018-08-06 一种基于视差图立体结构信息提取的立体图像质量评价方法 Active CN109345502B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810885954.3A CN109345502B (zh) 2018-08-06 2018-08-06 一种基于视差图立体结构信息提取的立体图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810885954.3A CN109345502B (zh) 2018-08-06 2018-08-06 一种基于视差图立体结构信息提取的立体图像质量评价方法

Publications (2)

Publication Number Publication Date
CN109345502A CN109345502A (zh) 2019-02-15
CN109345502B true CN109345502B (zh) 2021-03-26

Family

ID=65291288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810885954.3A Active CN109345502B (zh) 2018-08-06 2018-08-06 一种基于视差图立体结构信息提取的立体图像质量评价方法

Country Status (1)

Country Link
CN (1) CN109345502B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127298B (zh) * 2019-06-12 2023-05-16 上海大学 一种全景图像盲质量评估方法
CN110351548B (zh) * 2019-06-27 2020-12-11 天津大学 一种深度学习及视差图加权指导的立体图像质量评价方法
CN110766657B (zh) * 2019-09-20 2022-03-18 华中科技大学 一种激光干扰图像质量评价方法
CN111028195B (zh) * 2019-10-24 2023-03-24 西安电子科技大学 一种基于实例分割的重定向图像质量信息处理方法及系统
CN113658091A (zh) * 2020-05-12 2021-11-16 Tcl科技集团股份有限公司 一种图像评价方法、存储介质及终端设备
CN112233089B (zh) * 2020-10-14 2022-10-25 西安交通大学 一种无参考立体混合失真图像质量评价方法
CN113034463A (zh) * 2021-03-22 2021-06-25 太原科技大学 多曝光x射线融合图像的质量评价方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104023230A (zh) * 2014-06-23 2014-09-03 北京理工大学 一种基于梯度关联性的无参考图像质量评价方法
CN107578403A (zh) * 2017-08-22 2018-01-12 浙江大学 基于梯度信息指导双目视图融合的立体图像质量评价方法
CN107578404A (zh) * 2017-08-22 2018-01-12 浙江大学 基于视觉显著特征提取的全参考立体图像质量客观评价方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9030530B2 (en) * 2009-12-15 2015-05-12 Thomson Licensing Stereo-image quality and disparity/depth indications
US20120044323A1 (en) * 2010-08-20 2012-02-23 Texas Instruments Incorporated Method and Apparatus for 3D Image and Video Assessment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104023230A (zh) * 2014-06-23 2014-09-03 北京理工大学 一种基于梯度关联性的无参考图像质量评价方法
CN107578403A (zh) * 2017-08-22 2018-01-12 浙江大学 基于梯度信息指导双目视图融合的立体图像质量评价方法
CN107578404A (zh) * 2017-08-22 2018-01-12 浙江大学 基于视觉显著特征提取的全参考立体图像质量客观评价方法

Also Published As

Publication number Publication date
CN109345502A (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN109345502B (zh) 一种基于视差图立体结构信息提取的立体图像质量评价方法
US10346997B2 (en) Depth estimation method based on light-field data distribution
CN109360178B (zh) 基于融合图像的无参考立体图像质量评价方法
WO2016176840A1 (zh) 深度图/视差图的后处理方法和装置
CN102663747B (zh) 一种基于视觉感知的立体图像客观质量评价方法
CN103152600B (zh) 一种立体视频质量评价方法
CN107578403A (zh) 基于梯度信息指导双目视图融合的立体图像质量评价方法
CN102665086B (zh) 利用基于区域的局部立体匹配获取视差的方法
US20110032341A1 (en) Method and system to transform stereo content
CN105654142B (zh) 基于自然场景统计的无参考立体图像质量评价方法
CN110246111B (zh) 基于融合图像和强化图像的无参考立体图像质量评价方法
CN104394403B (zh) 一种面向压缩失真的立体视频质量客观评价方法
Khan et al. Estimating depth-salient edges and its application to stereoscopic image quality assessment
CN109242834A (zh) 一种基于卷积神经网络的无参考立体图像质量评价方法
CN108596975A (zh) 一种针对弱纹理区域的立体匹配算法
CN109831664B (zh) 基于深度学习的快速压缩立体视频质量评价方法
CN103780895B (zh) 一种立体视频质量评价方法
WO2022126674A1 (zh) 立体全景图像的质量评价方法、系统
CN109788275A (zh) 自然性、结构和双目不对称无参考立体图像质量评价方法
CN112950596A (zh) 基于多区域多层次的色调映射全向图像质量评价方法
CN104243970A (zh) 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法
Liu et al. Blind stereoscopic image quality assessment accounting for human monocular visual properties and binocular interactions
Tian et al. SC-IQA: Shift compensation based image quality assessment for DIBR-synthesized views
CN103841411B (zh) 一种基于双目信息处理的立体图像质量评价方法
CN108682005B (zh) 基于协方差矩阵特征的半参考3d合成图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant