CN104853182B - 基于幅度和相位的立体图像质量客观评价方法 - Google Patents
基于幅度和相位的立体图像质量客观评价方法 Download PDFInfo
- Publication number
- CN104853182B CN104853182B CN201510264203.6A CN201510264203A CN104853182B CN 104853182 B CN104853182 B CN 104853182B CN 201510264203 A CN201510264203 A CN 201510264203A CN 104853182 B CN104853182 B CN 104853182B
- Authority
- CN
- China
- Prior art keywords
- phase
- visually
- amplitude
- perceptible
- magnitudes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于幅度和相位的立体图像质量客观评价方法,分别提取失真图像对左图和右图的幅度图和相位图并进行加权运算,得到失真图像对的视觉感知幅度图和视觉感知相位图;对参考图像对的左图和右图进行运算,得到参考图像对的视觉感知幅度图和视觉感知相位图;分别计算参考图像对和失真图像对视觉感知幅度图和视觉感知相位图的相似性;对参考图像对和失真图像对之间的幅度相似性指标和相位相似性指标进行评价;最后对幅度相似性指标和相位相似性指标进行线性拟合,得到立体图像相似性指标参数。本发明的评价方法,把图像基本特征与视觉感知过程相结合,充分模拟了立体图像主观评价的过程,得到的立体图像质量客观评价结果与主观评价结果具有很高的一致性,能够较为准确的反映图像的质量。
Description
技术领域
本发明属图像处理领域,涉及一种立体图像质量客观评价方法。
背景技术
近年来,三维技术逐渐普及,步入大众生活,为观众带来了更好的视觉体验和临场感,但同时也对立体图像的质量提出了更高的要求。由于立体图像的不恰当处理可能会引起观看者的视觉疲劳与不适,因此十分有必要提出一种统一、客观、有效的立体图像质量评价方法对立体图像质量进行准确的预测。
现有的立体图像质量评价方法主要包括基于平面图像质量参数的评价方法和基于人类视觉基本特性的评价方法两种。但是,基于平面图像质量参数的评价方法没有充分考虑人类视觉特性,缺少对立体信息有效利用,因而难以投入实践。现有的基于人类视觉基本特性的评价方法中最重要的一步是立体匹配,但是如何有效地提取立体信息,合理地进行匹配,仍然是立体图像领域关注的焦点。因此,很有必要建立一个以立体图像基本信息为基础,又充分考虑人类视觉特性的立体图像质量客观评价方法。
发明内容
为了解决现有技术中存在的问题,本发明提供一种基于幅度和相位的立体图像质量客观评价方法,克服现有技术中立体图像质量评价方法不能有效地提取立体信息,合理地进行匹配的问题。
本发明的技术方案是:
一种基于幅度和相位的立体图像质量客观评价方法,每个立体图像对由左图和右图组成,设参考图像对和失真图像对,包括以下步骤:
(1)分别提取失真图像对左图和右图的幅度图和相位图并进行加权运算,分别得到失真图像对的视觉感知幅度图和视觉感知相位图;
(2)对参考图像对的左图和右图进行步骤(1)的运算,得到参考图像对的视觉感知幅度图和视觉感知相位图;
(3)分别计算参考图像对和失真图像对视觉感知幅度图的相似性,以及参考图像对和失真图像对的视觉感知相位图的相似性;
(4)利用失真图像对的双眼空间敏感特性,对参考图像对和失真图像对之间的幅度相似性指标和相位相似性指标进行评价;
(5)对幅度相似性指标和相位相似性指标进行线性拟合,得到立体图像相似性指标参数。
所述步骤(1)具体包括如下步骤:
①利用相位一致性算法分别提取失真图像对左图和右图的幅度图和相位图;步骤如下:
A.图像经log-Gabor滤波器滤波,得到相应的响应,滤波器设计如下;
其中,ω和θ是归一化的滤波器径向频率和滤波器相位角,ωs和θs是相应的中心频率和中心相位角,σs和σo是滤波器的响应强度;
B.滤波器在x点,s尺度,沿ο方向的局部幅度定义为:
相应的局部能量响应定义为:
其中,Fo(x)=Σsηs,o(x),Ho(x)=Σsξs,o(x),ηs,o(x)和ξs,o(x)代表滤波器在不同尺度,不同方向上的响应;
C.沿ο方向的相位一致性PCo(x)定义为:
其中,ε是常数;
D.相位图P(x)定义为Ho(x)和Fo(x)沿ο方向相位一致性取得最大值时所对应的相位角,
计算方法如公式(5)所示;
幅度图A(x)定义为沿ο方向相位一致性取得最大值时沿各个尺度的局部幅度值的和,计算方法如公式(6)所示;
其中,om表示相位一致性值取得最大值时的方向值;
E.在计算过程中各参数取值如下:ωs=1/6,θo=0,σs=0.3,σo=0.4。滤波器的尺度s和方向ο均设定为4。
②模拟人类视觉特性,分别对失真图像对的左右图进行二维滤波和视差补偿,进而得到左右图相对应的加权因子;
具体步骤如下:
A.所采用的二维Gabor滤波器定义为:
其中,G(x,y,σx,σy,ζx,ζy,θ)是Gabor滤波器的响应值,x,y,σx,σy,ζx,ζy,θ分别代表Gabor滤波器的x方向、y方向、椭圆高斯包络沿x方向的标准差、椭圆高斯包络沿y方向的标准差、x方向的频率、y方向的频率和相位角,R1=xcosθ+ysinθ,R1=xcosθ+ysinθ;
B.Gabor滤波器的能量响应是以3.67次/度的空间频率循环,叠加滤波器沿水平、竖直和两个对角线方向的幅度响应得到的;
C.能量响应经卷积和计算后得到GEL(x,y)与GER(x,y),并进行视差补偿得到GER((x+d),y),其中,(x+d)表示视差补偿,d表示对右图进行视差补偿的像素点横坐标差值;
D.经公式(8)和(9)所定义的归一化运算得到左图和右图的加权因子WL(x,y)和WR((x+d),y)。
③将左图和右图的幅度图按照相应的加权因子进行加权运算,得到失真图像对的视觉感知幅度图,同理,左图和右图的相位图经加权运算后得到视觉感知相位图。
所述步骤(4)中双眼空间敏感特性是由立体图像对左图和右图的单视点最小可视失真以及双视点最小可视失真加权计算得到的。
本发明的有益效果为:本发明所提出的立体图像客观质量评价方法以立体图像的相位和幅度特征为基础,以人类视觉特性为评价依据,把图像基本特征与视觉感知过程相结合,充分模拟了立体图像主观评价的过程,得到的立体图像质量客观评价结果与主观评价结果具有很高的一致性,能够较为准确的反映图像的质量。
附图说明
图1模拟视觉感知过程基本流程图;
图2立体图像质量评价方法基本流程图。
具体实施方式
下面结合附图对本发明进一步详细的说明。
基于幅度和相位的立体图像质量客观评价方法,每个立体图像对由左图和右图组成,设参考图像对为(ol,or),失真图像对为(tl,tr),具体实施步骤如下:
第一步:利用相位一致性算法分别提取失真图像对(tl,tr)左、右图的幅度图AL(x,y)、AR(x,y)和相位图PL(x,y)、PR(x,y),(x,y)为像素点坐标;计算方法如下:
(1)图像首先经log-Gabor滤波器滤波,得到相应的滤波器响应,
其中,ω和θ是归一化的滤波器径向频率和滤波器相位角,ωs和θs是相应的中心频率和中心相位角,σs和σo是滤波器的响应强度;
(2)滤波器在x点,s尺度,沿ο方向的局部幅度定义为:
相应的局部能量响应定义为:
其中,Fo(x)=Σsηs,o(x),Ho(x)=Σsξs,o(x),ηs,o(x)和ξs,o(x)代表滤波器在不同尺度,不同方向时的响应;
(3)沿ο方向的相位一致性PCo(x)定义为:
其中,ε是常数;
(4)相位P(x)定义为Ho(x)和Fo(x)沿ο方向相位一致性取得最大值时所对应的相位角,计算方法如公式(5)所示,
幅度A(x)定义为沿ο方向相位一致性取得最大值时沿各个尺度的局部幅度值的和,计算方法如公式(6)所示,
其中,om表示相位一致性值取得最大值时的方向值;
(5).在计算过程中各参数取值如下:ωs=1/6,θo=0,σs=0.3,σo=0.4,滤波器的尺度s和方向ο均设定为4。
第二步:模拟人类视觉特性,对失真图像对(ol,or)的左图和右图分别进行二维Gabor滤波,得到相应的能量响应,并进行卷积和处理,经归一化运算分别后得到左图和右图的加权因子:WL(x,y)和WR((x+d),y),其中,(x+d)表示视差补偿,d表示对右图进行视差补偿的像素点横坐标差值;计算方法如下
(1)二维Gabor滤波器为:
其中,G(x,y,σx,σy,ζx,ζy,θ)是Gabor滤波器的响应值,x,y,σx,σy,ζx,ζy,θ分别代表Gabor滤波器的x方向、y方向、椭圆高斯包络沿x方向的标准差、椭圆高斯包络沿y方向的标准差、x方向的频率、y方向的频率和相位角,R1=xcosθ+ysinθ,R1=xcosθ+ysinθ;
(2)Gabor滤波器的能量响应是以3.67次/度的空间频率循环,叠加滤波器沿水平、竖直和两个对角线方向的幅度响应得到的;
(3)能量响应经卷积和计算后得到GEL(x,y)与GER(x,y),并进行视差补偿得到GER((x+d),y),其中,(x+d)表示视差补偿,d表示对右图进行视差补偿的像素点横坐标差值;
(4)经公式(8)和(9)所定义的归一化运算得到左图和右图的加权因子WL(x,y)和WR((x+d),y)。
第三步:将步骤一中的得到的幅度图和相位图进行加权运算,得到失真图像对的视觉感知幅度图CAdis(x,y)和视觉感知相位图CPdis(x,y),计算如公式(10)和(11)所示;
CPdis(x,y)=WL(x,y)×PL(x,y)+WR(x+d,y)×PR((x+d),y) (10)
CAdis(x,y)=WL(x,y)×AL(x,y)+WR(x+d,y)×AR((x+d),y) (11)
第四步:对参考图像对(ol,or)的左、右图进行上述第一、二、三步运算,得到失真图像对的视觉感知幅度图CAdis(x,y)和视觉感知相位图CPdis(x,y);
第五步:计算参考图像对和失真图像对视觉感知幅度的相似性SA,以及参考图像对和失真图像对的视觉感知相位的相似性SP,计算方法如公式(12)和(13)所示,T1和T2为常数,取1×10-6;
第六步:分别计算失真图像对(tl,tr)左图和右图的双眼空间敏感特性BSSL(x,y)和BSSR((x+d),y),其中,
对于左图,提取左图的单视点最小可视失真(JND)和双视点最小可视失真(BJND),然后按照公式(14)所示方法进行计算。最小可视失真是指人眼对最小差别量的感知能力,即人类视觉系统能够感觉到的最小失真变化量,该模型较好地反映了人眼的视觉系统的基本特征,如亮度掩盖、纹理掩盖和时间掩盖等。其中,CR表示双视点对应区域,NCR代表单视点对应区域:
对于右图,按照与左图相同的方法得到视差补偿后的BSSR((x+d),y);
第七步:利用步骤二中得到的失真图像对左、右图加权因子WL(x,y)和WR((x+d),y),对失真图像对的左、右图的双眼空间敏感特性进行加权计算,得到失真图像对的双眼空间敏感特性BSS(x,y),计算方法如公式(15)所示;
BSS(x,y)=WL(x,y)×BSSL(x,y)+WR(x+d,y)×BSSR((x+d),y) (15)
第八步:利用失真图像对的双眼空间敏感特性计算参考图像对和失真图像对之间的幅度相似性指标QA和相位相似性指标QP,计算方法如公式(16)和(17)所示;
第九步:按照公式(18)所示的线性运算对幅度相似性指标QA和相位相似性指标QP进行加权计算,得到立体图像相似性指标参数QS。
QS=ωPQP+ωAQA (18)
其中,相位加权值ωP和幅度加权值ωA满足:
第十步:对立体图像相似性指标参数Qs进行非线性映射,使立体图像的主观值和客观值呈线性关系,得到最终的立体图像质量Q。采用的非线性映射如下:
其中,参数β1,β2,β3,β4,β5通过最小化主观评价值和客观评价值差的均方误差算法确定。
Claims (4)
1.一种基于幅度和相位的立体图像质量客观评价方法,其特征在于,每个立体图像对由左图和右图组成,设参考图像对和失真图像对,包括以下步骤:
(1)分别提取失真图像对左图和右图的幅度图和相位图并进行加权运算,分别得到失真图像对的视觉感知幅度图和视觉感知相位图;
(2)对参考图像对的左图和右图进行步骤(1)的运算,得到参考图像对的视觉感知幅度图和视觉感知相位图;
(3)分别计算参考图像对和失真图像对视觉感知幅度图的相似性,以及参考图像对和失真图像对的视觉感知相位图的相似性;
(4)利用失真图像对的双眼空间敏感特性,对参考图像对和失真图像对之间的幅度相似性指标和相位相似性指标进行评价;所述双眼空间敏感特性是由立体图像对左图和右图的单视点最小可视失真以及双视点最小可视失真加权计算得到的;
(5)对幅度相似性指标和相位相似性指标进行线性拟合,得到立体图像相似性指标参数。
2.根据权利要求1所述基于幅度和相位的立体图像质量客观评价方法,其特征在于,所述步骤(1)具体包括如下步骤:
(A)利用相位一致性算法分别提取失真图像对左图和右图的幅度图和相位图;
(B)模拟人类视觉特性,分别对失真图像对的左右图进行二维滤波和视差补偿,进而得到左右图相对应的加权因子;
(C)将左图和右图的幅度图按照相应的加权因子进行加权运算,得到失真图像对的视觉感知幅度图,同理,左图和右图的相位图经加权运算后得到视觉感知相位图。
3.根据权利要求2所述基于幅度和相位的立体图像质量客观评价方法,其特征在于,所述步骤(A)利用相位一致性算法分别提取失真图像对左图和右图的幅度图和相位图步骤如下:
(a)图像经log-Gabor滤波器滤波,得到相应的响应,滤波器设计如下;
其中,ω和θ是归一化的滤波器径向频率和滤波器相位角,ωs和θs是相应的中心频率和中心相位角,σs和σo是滤波器的响应强度;
(b)滤波器在x点,s尺度,沿O方向的局部幅度定义为:
相应的局部能量响应定义为:
其中,Fo(x)=∑sηs,o(x),Ho(x)=∑sξs,o(x),ηs,o(x)和ξs,o(x)代表滤波器在不同尺度,不同方向上的响应;
(c)沿O方向的相位一致性PCo(x)定义为:
其中,ε是常数;
(d)相位图P(x)定义为Ho(x)和Fo(x)沿O方向相位一致性取得最大值时所对应的相位角,计算方法如公式(5)所示;
幅度图A(x)定义为沿O方向相位一致性取得最大值时沿各个尺度的局部幅度值的和,计算方法如公式(6)所示;
其中,om表示相位一致性值取得最大值时的方向值;
(e)在计算过程中各参数取值如下:ωs=1/6,θo=0,σs=0.3,σo=0.4。滤波器的尺度s和方向O均设定为4。
4.根据权利要求2所述基于幅度和相位的立体图像质量客观评价方法,其特征在于,所述步骤(B)具体步骤如下:
(i)所采用的二维Gabor滤波器定义为:
其中,G(x,y,σx,σy,ζx,ζy,θ)是Gabor滤波器的响应值,x,y,σx,σy,ζx,ζy,θ分别代表Gabor滤波器的x方向、y方向、椭圆高斯包络沿x方向的标准差、椭圆高斯包络沿y方向的标准差、x方向的频率、y方向的频率和相位角,R1=xcosθ+ysinθ,R1=xcosθ+ysinθ;
(ii)Gabor滤波器的能量响应是以3.67次/度的空间频率循环,叠加滤波器沿水平、竖直和两个对角线方向的幅度响应得到的;
(iii)能量响应经卷积和计算后得到GEL(x,y)与GER(x,y),并进行视差补偿得到GER((x+d),y),其中,(x+d)表示视差补偿,d表示对右图进行视差补偿的像素点横坐标差值;
(iv)经公式(8)和(9)所定义的归一化运算得到左图和右图的加权因子WL(x,y)和WR((x+d),y)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510264203.6A CN104853182B (zh) | 2015-05-21 | 2015-05-21 | 基于幅度和相位的立体图像质量客观评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510264203.6A CN104853182B (zh) | 2015-05-21 | 2015-05-21 | 基于幅度和相位的立体图像质量客观评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104853182A CN104853182A (zh) | 2015-08-19 |
CN104853182B true CN104853182B (zh) | 2017-03-29 |
Family
ID=53852500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510264203.6A Active CN104853182B (zh) | 2015-05-21 | 2015-05-21 | 基于幅度和相位的立体图像质量客观评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104853182B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108510511A (zh) * | 2017-02-24 | 2018-09-07 | 南宁市富久信息技术有限公司 | 基于角相位的图像边缘检测方法 |
CN109257591A (zh) * | 2017-07-12 | 2019-01-22 | 天津大学 | 基于稀疏表示的无参考立体视频质量客观评价方法 |
CN107360416A (zh) * | 2017-07-12 | 2017-11-17 | 天津大学 | 基于局部多元高斯描述子的立体图像质量评价方法 |
CN107609492B (zh) * | 2017-08-25 | 2019-06-21 | 西安电子科技大学 | 基于脑电信号的失真图像质量感知评价方法 |
CN108564580B (zh) * | 2018-04-23 | 2022-05-10 | 朱苗 | 基于人类视觉系统的图像质量评价方法 |
CN109525838A (zh) * | 2018-11-28 | 2019-03-26 | 上饶师范学院 | 基于双目竞争的立体图像质量评价方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103281556A (zh) * | 2013-05-13 | 2013-09-04 | 宁波大学 | 一种基于图像分解的立体图像质量客观评价方法 |
CN103327359A (zh) * | 2013-06-14 | 2013-09-25 | 中国计量学院 | 一种应用于视频质量评价的视频显著性区域搜索方法 |
CN104243976A (zh) * | 2014-09-23 | 2014-12-24 | 浙江科技学院 | 一种立体图像客观质量评价方法 |
-
2015
- 2015-05-21 CN CN201510264203.6A patent/CN104853182B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103281556A (zh) * | 2013-05-13 | 2013-09-04 | 宁波大学 | 一种基于图像分解的立体图像质量客观评价方法 |
CN103327359A (zh) * | 2013-06-14 | 2013-09-25 | 中国计量学院 | 一种应用于视频质量评价的视频显著性区域搜索方法 |
CN104243976A (zh) * | 2014-09-23 | 2014-12-24 | 浙江科技学院 | 一种立体图像客观质量评价方法 |
Non-Patent Citations (1)
Title |
---|
《基于人眼视觉特征的立体图像质量客观评价方法》;杨嘉琛等;《天津大学学报》;20090715;第2卷(第7期);第622-627页 * |
Also Published As
Publication number | Publication date |
---|---|
CN104853182A (zh) | 2015-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104853182B (zh) | 基于幅度和相位的立体图像质量客观评价方法 | |
CN105744256B (zh) | 基于图谱视觉显著的立体图像质量客观评价方法 | |
CN102930252B (zh) | 一种基于神经网络头部运动补偿的视线跟踪方法 | |
CN104811693B (zh) | 一种立体图像视觉舒适度客观评价方法 | |
CN106530282B (zh) | 基于空域特征的无参考立体图像质量客观评价方法 | |
CN103581661B (zh) | 一种立体图像视觉舒适度评价方法 | |
CN102750731B (zh) | 基于左右单眼感受野和双目融合的立体视觉显著计算方法 | |
CN107767413A (zh) | 一种基于卷积神经网络的图像深度估计方法 | |
CN103116875B (zh) | 自适应双边滤波图像去噪方法 | |
CN101877143B (zh) | 一种二维图像组的三维场景重建方法 | |
CN105407349B (zh) | 基于双目视觉感知的无参考立体图像质量客观评价方法 | |
CN106910242A (zh) | 基于深度相机进行室内完整场景三维重建的方法及系统 | |
CN105957063A (zh) | 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统 | |
CN105956597A (zh) | 一种基于卷积神经网络的双目立体匹配方法 | |
CN107635136B (zh) | 基于视觉感知和双目竞争的无参考立体图像质量评价方法 | |
CN106651835A (zh) | 基于熵的双视点无参考立体图像质量客观评价方法 | |
CN102222323A (zh) | 基于直方图统计拉伸和梯度滤波的红外图像细节增强方法 | |
CN104902268B (zh) | 基于局部三元模式的无参考立体图像客观质量评价方法 | |
CN107360416A (zh) | 基于局部多元高斯描述子的立体图像质量评价方法 | |
CN104050683A (zh) | 一种基于单幅图像分数阶处理的纹理力触觉感知方法 | |
CN106599878A (zh) | 一种基于深度学习的人脸重建矫正方法及装置 | |
CN107767387A (zh) | 基于可变感受野尺度全局调制的轮廓检测方法 | |
CN108520510B (zh) | 一种基于整体和局部分析的无参考立体图像质量评价方法 | |
CN111292336B (zh) | 基于分段式球面投影格式的全向图像无参考质量评价方法 | |
CN110458802A (zh) | 基于投影权值归一化的立体图像质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |