CN107578403A - 基于梯度信息指导双目视图融合的立体图像质量评价方法 - Google Patents
基于梯度信息指导双目视图融合的立体图像质量评价方法 Download PDFInfo
- Publication number
- CN107578403A CN107578403A CN201710721537.0A CN201710721537A CN107578403A CN 107578403 A CN107578403 A CN 107578403A CN 201710721537 A CN201710721537 A CN 201710721537A CN 107578403 A CN107578403 A CN 107578403A
- Authority
- CN
- China
- Prior art keywords
- image
- stereo image
- information
- gradient
- image pair
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Other Investigation Or Analysis Of Materials By Electrical Means (AREA)
Abstract
本发明公开了一种基于梯度信息指导双目视图融合的立体图像质量评价方法。本发明利用Sobel算子和LoG算子构造联合统计梯度图以作为双目视图融合的权重图,得到对应的中间参考图像和中间失真图像。进而,对中间图像进行图像特征信息的提取,包括边缘、纹理、对比度信息,对参考和失真立体图像对视差图提取深度信息。最后,通过对特征相似性的度量和基于SVR的特征综合与质量映射,从而得到最终的图像质量客观评价分数,实现对立体图像质量损失的度量。实验结果表明,基于本发明所提出算法具有良好的准确性和鲁棒性。
Description
技术领域
本发明属于图像处理技术领域,尤其涉及一种基于梯度信息指导双目视图融合的立体图像质量评价方法。
背景技术
一个完整的立体视频系统由采集、编码、传输、解码和显示等环节构成。相较于我们日常的平面拍摄,立体图像视频采集系统有很大不同,它采用多个相机同时拍摄同一场景的方法,分为汇聚相机和平行相机两种模式。编码环节用来实现对采集的视频压缩编码,目的在于便于压缩和传输。解码环节用来实现对传输的视频快速解码,目的在于使立体视频快速显示。
然而,3D立体图像与视频在场景采集、编码、网络传输、解码、后期处理、压缩存储和放映等各个阶段都可能引入不同类型、不同程度的失真。例如:在图像或视频拍摄过程中由于设备晃动、参数设定不当引起的模糊失真;图像压缩存储引起的压缩失真;传输过程中的噪声干扰等。由于技术水平的局限,处理不当的立体视频不仅会使人眼感到疲劳,还可能危害我们的身心健康。所以,如何来客观评价立体图像质量,即辨别图像中可能存在的不同类型的失真并对其程度进行预测,已经成为图像处理领域中一个迫在眉睫的热点问题。
立体图像质量客观评价方法可以分为两类,一类是将2D平面图像的质量评价方法迁移应用到3D立体图像质量评价中,但由于未充分考虑视差信息和深度信息,评价准确度较低,与主观评价效果偏差较大。第二类方法通过分析人类视觉系统对深度的感知和立体成像原理,建立立体图像感知模型,实现对3D立体图像质量的评价,但目前视差和深度信息的估计并不精确,因此3D立体图像客观质量评价依然是当今研究的热点和难点。
发明内容
本发明方法的目的是针对现有立体图像质量评价方法的不足,提供一种基于梯度信息指导双目视图融合的立体图像质量评价方法。
本发明的具体实施步骤是:
步骤(1).输入参考立体图像对和失真立体图像对,其中每个立体图像对分别包括左视图和右视图图像;
步骤(2).利用Sobel算子对步骤(1)中输入的立体图像对进行卷积运算处理,分别得到立体图像对中左、右视图的梯度图GM;
步骤(3).利用LoG算子对步骤(1)中输入的立体图像对进行卷积运算处理,分别得到立体图像对中左、右视图的梯度图LoG;
步骤(4).基于步骤(2)和步骤(3)中得到的梯度图,计算联合统计的梯度图,联合统计过程的具体表达式如下:
其中,F(x,y)表示联合Sobel算子和LoG算子得到的联合统计梯度图,ε表示很小的正常数,防止分母为零;GM(x,y)表示步骤(2)中利用Sobel算子卷积图像得到的梯度图,LoG(x,y)表示步骤(3)中利用LoG算子卷积图像得到的梯度图;
步骤(5).分别对步骤(1)输入的参考立体图像对和失真立体图像对提取对应的视差图,步骤如下:
将参考立体图像对和失真立体图像对中的右视图以s像素点的步长右移n次,得到右移后的k幅修正右视图,则k=n/s;进而利用结构相似度SSIM算法分别计算所有立体图像对中的左视图和k幅修正右视图的结构相似度,得到k幅结构相似性图,其中,SSIM算法的表达式如下:
SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ (5-1)
其中,μx和μy分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的均值;、σx和σy分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的方差值;σxy为立体图像对的左视图和修正右视图图像的一个图像块之间的协方差内的协方差。l(x,y)、c(x,y)和s(x,y)分别表示图像的亮度,对比度和结构信息,α、β和γ分别代表图像的亮度、对比度和结构信息在结构相似度中所占的权重,C1、C2和C3为大于零的常数,防止分母为零;
最后,对于左视图的每一个像素点,取其k幅结构相似性图中局部结构相似性值最大的一幅所对应的右移像素量作为该像素点的视差值;
步骤(6).将步骤(5)中获得的视差图信息和右视图结合,建立和左视图坐标对应的校准右视图,然后基于步骤(4)得到的左视图和右视图联合梯度图,计算归一化的左视图权重图WL(x,y)和校准右视图权重图WR((x+d),y),具体表达式如下:
其中,FL(x,y)、FR((x+d),y)分别为步骤(4)得到的左视图和校准右视图的联合梯度图,d为步骤(5)计算得到的视差图中的视差值;
步骤(7).基于步骤(1)中的参考立体图像对和失真立体图像对的左视图IL(x,y)和步骤(6)得到的参考立体图像对和失真立体图像对的校准右视图IR((x+d),y)以及左右视图权重图,实现立体图像的双目融合,分别得到中间参考和失真图像;
双目融合的公式如下:
CI(x,y)=WL(x,y)×IL(x,y)+WR((x+d),y)×IR((x+d),y) (7-1)
其中,CI(x,y)即是融合后的中间参考和失真图像;
步骤(8).利用步骤(6)得到的参考立体图像对和失真立体图像对的视差图提取深度特征信息,采用像素域误差的方法提取参考立体图像对和失真立体图像对的深度特征信息的相似性,作为度量失真的立体图像对的质量失真程度:
Index1=mean(Dref-Ddis)2 (8-1)
其中,Dref代表参考图像的视差图,Ddis代表失真图像的视差图,Index1和Index2是深度特征信息的两个相似性度量;
步骤(9).对步骤(7)得到的中间参考和失真图像分别提取边缘、纹理、对比度信息;
步骤(10).对步骤(9)中提取的图像信息特征进行相似性度量,表达式如下:
其中,GMref、TIref、cref分别表示参考中间图像的边缘、纹理和对比度信息,GMdis、TIdis、cdis表示失真中间图像的边缘、纹理和对比度信息,Index3、Index4和Index5,分别代表边缘、纹理和对比度的相似性度量指标;
步骤(11).整合步骤(8)和(10)中得到的各个度量指标,进行支持向量机训练预测,获得最佳预测模型,并映射为图像质量的客观评价分数。
Q=SVR(Index1,Index2,…,Index5) (11-1)
其中,Q为客观质量评价分数。
其中,根据专利所述的基于梯度信息指导图像融合的全参考立体图像质量评价方法,其特征在于所述的步骤(2)具体为:
Sobel算子的表达式如下:
其中,f(x,y)为立体图像对的左视图或右视图,为卷积运算,Gx(x,y)和Gy(x,y)为分别利用Sobel水平模板和垂直模板卷积图像得到的水平和垂直梯度图,GM(x,y)是利用Sobel算子卷积图像得到的梯度图,hx和hy是3×3的Sobel垂直模板和水平模板,分别用来检测图像的水平边缘和垂直边缘,模板表达式如下:
根据专利所述的基于梯度信息指导图像融合的全参考立体图像质量评价方法,其特征在于所述的步骤(3)具体为:
LoG算子表达式如下:
其中,G(x,y)为高斯模糊函数,表达式如下:
其中,x和y为图像坐标,σ是概率分布中的标准偏差;
表示二阶导数拉普拉斯函数,表达式为:
将LoG算子与立体图像对中左视图或右视图进行卷积后,得到相应的梯度图,表达式如下:
其中,f(x,y)为立体图像对的左视图或右视图。
根据专利所述的基于梯度信息指导图像融合的全参考立体图像质量评价方法,其特征在于所述的步骤(9)中:
提取边缘信息的方法与步骤(2)中利用Sobel算子卷积图像得到对应梯度图的方法相同;
提取纹理信息的方法为:采用局部二值模式LBP来提取图像的纹理信息,LBP的表达式如下:
其中,gc是图像的中心像素点的灰度值,gc是图像的相邻像素点的灰度值,sgn(x)是阶跃函数,当x≥0时,sgn(x)=1;当x<0时,sgn(x)=0;
提取对比度信息的方法为:利用步骤(5)中的公式(5-3)提取图像的对比度信息。
本发明的有益效果:
本发明利用Sobel算子和LoG算子构造联合统计梯度图以作为双目视图融合的权重图,得到对应的中间参考图像和中间失真图像。进而,对中间图像进行图像特征信息的提取,包括边缘、纹理、对比度信息,对参考和失真立体图像对视差图提取深度信息。最后,通过对特征相似性的度量和基于SVR的特征综合与质量映射,从而得到最终的图像质量客观评价分数,实现对立体图像质量损失的度量。实验结果表明,基于本发明所提出算法具有良好的准确性和鲁棒性。
附图说明
图1为本发明基于梯度信息指导双目视图融合的立体图像质量评价方法的原理图。
具体实施方式
下面结合附图对本发明方法作进一步说明。
如图1所示,基于梯度信息指导双目视图融合的立体图像质量评价算法,其具体实施步骤如下:
步骤(1).利用Matlab软件依次读入美国德州大学奥斯汀分校的3D LIVE图像数据库中阶段I和阶段II的参考立体图像对和对应的失真立体图像对,其中每个立体图像对分别包括左右视图图像.
步骤(2).利用Sobel算子对步骤(1)中输入的立体图像对进行卷积运算处理,分别得到立体图像对中左、右视图的梯度图GM;
步骤(3).利用LoG算子对步骤(1)中输入的立体图像对进行卷积运算处理,分别得到立体图像对中左、右视图的梯度图LoG;
步骤(4).基于步骤(2)和步骤(3)中得到的梯度图,计算联合统计的梯度图,联合统计过程的具体表达式如下:
其中,F(x,y)表示联合Sobel算子和LoG算子得到的联合统计梯度图,ε表示很小的正常数,防止分母为零;GM(x,y)表示步骤(2)中利用Sobel算子卷积图像得到的梯度图,LoG(x,y)表示步骤(3)中利用LoG算子卷积图像得到的梯度图;
步骤(5).分别对步骤(1)输入的参考立体图像对和失真立体图像对提取对应的视差图,步骤如下:
将参考立体图像对和失真立体图像对中的右视图以s像素点的步长右移n次,得到右移后的k幅修正右视图,则k=n/s,在此s=1,n=25,则k=25;进而利用结构相似度SSIM算法分别计算所有立体图像对中的左视图和k幅修正右视图的结构相似度,得到k幅结构相似性图,其中,SSIM算法的表达式如下:
SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ (5-1)
其中,μx和μy分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的均值;、σx和σy分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的方差值;σxy为立体图像对的左视图和修正右视图图像的一个图像块之间的协方差内的协方差。l(x,y)、c(x,y)和s(x,y)分别表示图像的亮度,对比度和结构信息,α、β和γ分别代表图像的亮度、对比度和结构信息在结构相似度中所占的权重,C1、C2和C3为大于零的常数,防止分母为零,在此α=β=γ=1,C1=6.5025,C2=58.5225;
最后,对于左视图的每一个像素点,取其k幅结构相似性图中局部结构相似性值最大的一幅所对应的右移像素量作为该像素点的视差值;
步骤(6).将步骤(5)中获得的视差图信息和右视图结合,建立和左视图坐标对应的校准右视图,然后基于步骤(4)得到的左视图和右视图联合梯度图,计算归一化的左视图权重图WL(x,y)和校准右视图权重图WR((x+d),y),具体表达式如下:
其中,FL(x,y)、FR((x+d),y)分别为步骤(4)得到的左视图和校准右视图的联合梯度图,d为步骤(5)计算得到的视差图中的视差值;
步骤(7).基于步骤(1)中的参考立体图像对和失真立体图像对的左视图IL(x,y)和步骤(6)得到的参考立体图像对和失真立体图像对的校准右视图IR((x+d),y)以及左右视图权重图,实现立体图像的双目融合,分别得到中间参考和失真图像;
双目融合的公式如下:
CI(x,y)=WL(x,y)×IL(x,y)+WR((x+d),y)×IR((x+d),y) (7-1)
其中,CI(x,y)即是融合后的中间参考和失真图像;
步骤(8).利用步骤(6)得到的参考立体图像对和失真立体图像对的视差图提取深度特征信息,采用像素域误差的方法提取参考立体图像对和失真立体图像对的深度特征信息的相似性,作为度量失真的立体图像对的质量失真程度:
Index1=mean(Dref-Ddis)2 (8-1)
其中,Dref代表参考图像的视差图,Ddis代表失真图像的视差图,Index1和Index2是深度特征信息的两个相似性度量;
步骤(9).对步骤(7)得到的中间参考和失真图像分别提取边缘、纹理、对比度信息;
步骤(10).对步骤(9)中提取的图像信息特征进行相似性度量,表达式如下:
其中,GMref、TIref、cref分别表示参考中间图像的边缘、纹理和对比度信息,GMdis、TIdis、cdis表示失真中间图像的边缘、纹理和对比度信息,Index3、Index4和Index5,分别代表边缘、纹理和对比度的相似性度量指标;
步骤(11).整合步骤(8)和(10)中得到的各个度量指标,进行支持向量机训练预测,获得最佳预测模型,并映射为图像质量的客观评价分数。
Q=SVR(Index1,Index2,…,Index5) (11-1)
其中,Q为客观质量评价分数。
其中,根据专利所述的基于梯度信息指导图像融合的全参考立体图像质量评价方法,其特征在于所述的步骤(2)具体为:
Sobel算子的表达式如下:
其中,f(x,y)为立体图像对的左视图或右视图,为卷积运算,Gx(x,y)和Gy(x,y)为分别利用Sobel水平模板和垂直模板卷积图像得到的水平和垂直梯度图,GM(x,y)是利用Sobel算子卷积图像得到的梯度图,hx和hy是3×3的Sobel垂直模板和水平模板,分别用来检测图像的水平边缘和垂直边缘,模板表达式如下:
根据专利所述的基于梯度信息指导图像融合的全参考立体图像质量评价方法,其特征在于所述的步骤(3)具体为:
LoG算子表达式如下:
其中,G(x,y)为高斯模糊函数,表达式如下:
其中,x和y为图像坐标,σ是概率分布中的标准偏差,σ=1.5;
表示二阶导数拉普拉斯函数,表达式为:
将LoG算子与立体图像对中左视图或右视图进行卷积后,得到相应的梯度图,表达式如下:
其中,f(x,y)为立体图像对的左视图或右视图。
根据专利所述的基于梯度信息指导图像融合的全参考立体图像质量评价方法,其特征在于所述的步骤(9)中:
提取边缘信息的方法与步骤(2)中利用Sobel算子卷积图像得到对应梯度图的方法相同;
提取纹理信息的方法为:采用局部二值模式LBP来提取图像的纹理信息,LBP的表达式如下:
其中,gc是图像的中心像素点的灰度值,gc是图像的相邻像素点的灰度值,sgn(x)是阶跃函数,当x≥0时,sgn(x)=1;当x<0时,sgn(x)=0;
提取对比度信息的方法为:利用步骤(5)中的公式(5-3)提取图像的对比度信息。
Claims (4)
1.一种基于梯度信息指导双目视图融合的立体图像质量评价方法,其特征在于它包括以下步骤:
步骤(1).输入参考立体图像对和失真立体图像对,其中每个立体图像对分别包括左视图和右视图图像;
步骤(2).利用Sobel算子对步骤(1)中输入的立体图像对进行卷积运算处理,分别得到立体图像对中左、右视图的梯度图GM;
步骤(3).利用LoG算子对步骤(1)中输入的立体图像对进行卷积运算处理,分别得到立体图像对中左、右视图的梯度图LoG;
步骤(4).基于步骤(2)和步骤(3)中得到的梯度图,计算联合统计的梯度图,联合统计过程的具体表达式如下:
<mrow>
<mi>F</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>G</mi>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msqrt>
<mrow>
<msup>
<mi>GM</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msup>
<mi>LoG</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
<mo>+</mo>
<mi>&epsiv;</mi>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,F(x,y)表示联合Sobel算子和LoG算子得到的联合统计梯度图,ε表示很小的正常数,防止分母为零;GM(x,y)表示步骤(2)中利用Sobel算子卷积图像得到的梯度图,LoG(x,y)表示步骤(3)中利用LoG算子卷积图像得到的梯度图;
步骤(5).分别对步骤(1)输入的参考立体图像对和失真立体图像对提取对应的视差图,步骤如下:
将参考立体图像对和失真立体图像对中的右视图以s像素点的步长右移n次,得到右移后的k幅修正右视图,则k=n/s;进而利用结构相似度SSIM算法分别计算所有立体图像对中的左视图和k幅修正右视图的结构相似度,得到k幅结构相似性图,其中,SSIM算法的表达式如下:
SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ (5-1)
<mrow>
<mi>l</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>&mu;</mi>
<mi>x</mi>
</msub>
<msub>
<mi>&mu;</mi>
<mi>y</mi>
</msub>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>1</mn>
</msub>
</mrow>
<mrow>
<msubsup>
<mi>&mu;</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>&mu;</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>1</mn>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>c</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mn>2</mn>
<msub>
<mi>&sigma;</mi>
<mi>x</mi>
</msub>
<msub>
<mi>&sigma;</mi>
<mi>y</mi>
</msub>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>2</mn>
</msub>
</mrow>
<mrow>
<msubsup>
<mi>&sigma;</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>&sigma;</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>2</mn>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>-</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>&sigma;</mi>
<mrow>
<mi>x</mi>
<mi>y</mi>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>3</mn>
</msub>
</mrow>
<mrow>
<msub>
<mi>&sigma;</mi>
<mi>x</mi>
</msub>
<msub>
<mi>&sigma;</mi>
<mi>y</mi>
</msub>
<mo>+</mo>
<msub>
<mi>C</mi>
<mn>3</mn>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>-</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,μx和μy分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的均值;、σx和σy分别表示立体图像对的左视图和修正右视图图像中对应的一个图像块内的方差值;σxy为立体图像对的左视图和修正右视图图像的一个图像块之间的协方差内的协方差,l(x,y)、c(x,y)和s(x,y)分别表示图像的亮度,对比度和结构信息,α、β和γ分别代表图像的亮度、对比度和结构信息在结构相似度中所占的权重,C1、C2和C3为大于零的常数,防止分母为零;
最后,对于左视图的每一个像素点,取其k幅结构相似性图中局部结构相似性值最大的一幅所对应的右移像素量作为该像素点的视差值;
步骤(6).将步骤(5)中获得的视差图信息和右视图结合,建立和左视图坐标对应的校准右视图,然后基于步骤(4)得到的左视图和右视图联合梯度图,计算归一化的左视图权重图WL(x,y)和校准右视图权重图WR((x+d),y),具体表达式如下:
<mrow>
<msub>
<mi>W</mi>
<mi>L</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>F</mi>
<mi>L</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>F</mi>
<mi>L</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>F</mi>
<mi>R</mi>
</msub>
<mrow>
<mo>(</mo>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mi>d</mi>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>W</mi>
<mi>R</mi>
</msub>
<mrow>
<mo>(</mo>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mi>d</mi>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>F</mi>
<mi>R</mi>
</msub>
<mrow>
<mo>(</mo>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mi>d</mi>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>F</mi>
<mi>L</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>F</mi>
<mi>R</mi>
</msub>
<mrow>
<mo>(</mo>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mi>d</mi>
</mrow>
<mo>)</mo>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,FL(x,y)、FR((x+d),y)分别为步骤(4)得到的左视图和校准右视图的联合梯度图,d为步骤(5)计算得到的视差图中的视差值;
步骤(7).基于步骤(1)中的参考立体图像对和失真立体图像对的左视图IL(x,y)和步骤(6)得到的参考立体图像对和失真立体图像对的校准右视图IR((x+d),y)以及左右视图权重图,实现立体图像的双目融合,分别得到中间参考和失真图像;
双目融合的公式如下:
CI(x,y)=WL(x,y)×IL(x,y)+WR((x+d),y)×IR((x+d),y) (7-1)
其中,CI(x,y)即是融合后的中间参考和失真图像;
步骤(8).利用步骤(6)得到的参考立体图像对和失真立体图像对的视差图提取深度特征信息,采用像素域误差的方法提取参考立体图像对和失真立体图像对的深度特征信息的相似性,作为度量失真的立体图像对的质量失真程度:
Index1=mean(Dref-Ddis)2 (8-1)
<mrow>
<msub>
<mi>Index</mi>
<mn>2</mn>
</msub>
<mo>=</mo>
<mi>m</mi>
<mi>e</mi>
<mi>a</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>-</mo>
<mfrac>
<msqrt>
<mrow>
<mo>|</mo>
<mrow>
<msubsup>
<mi>D</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
<mn>2</mn>
</msubsup>
<mo>-</mo>
<msubsup>
<mi>D</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
<mn>2</mn>
</msubsup>
</mrow>
<mo>|</mo>
</mrow>
</msqrt>
<mn>255</mn>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>8</mn>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,Dref代表参考图像的视差图,Ddis代表失真图像的视差图,Index1和Index2是深度特征信息的两个相似性度量;
步骤(9).对步骤(7)得到的中间参考和失真图像分别提取边缘、纹理、对比度信息;
步骤(10).对步骤(9)中提取的图像信息特征进行相似性度量,表达式如下:
<mrow>
<msub>
<mi>Index</mi>
<mn>3</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mi>m</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>n</mi>
</munder>
<mrow>
<mo>(</mo>
<msub>
<mi>GM</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
<mo>(</mo>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mover>
<mrow>
<msub>
<mi>GM</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<msub>
<mi>GM</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msub>
<mo>(</mo>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mover>
<mrow>
<msub>
<mi>GM</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
</mrow>
<msqrt>
<mrow>
<mo>(</mo>
<munder>
<mo>&Sigma;</mo>
<mi>m</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>n</mi>
</munder>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>GM</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<mrow>
<msub>
<mi>GM</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>)</mo>
<mo>(</mo>
<munder>
<mo>&Sigma;</mo>
<mi>m</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>n</mi>
</munder>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>GM</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<mrow>
<msub>
<mi>GM</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
</msqrt>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>Index</mi>
<mn>4</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mi>m</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>n</mi>
</munder>
<mrow>
<mo>(</mo>
<msub>
<mi>TI</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
<mo>(</mo>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mover>
<mrow>
<msub>
<mi>TI</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<msub>
<mi>TI</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msub>
<mo>(</mo>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mover>
<mrow>
<msub>
<mi>TI</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
</mrow>
<msqrt>
<mrow>
<mo>(</mo>
<munder>
<mo>&Sigma;</mo>
<mi>m</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>n</mi>
</munder>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>TI</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<mrow>
<msub>
<mi>TI</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>)</mo>
<mo>(</mo>
<munder>
<mo>&Sigma;</mo>
<mi>m</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>n</mi>
</munder>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>TI</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<mrow>
<msub>
<mi>TI</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msub>
</mrow>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
</msqrt>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>Index</mi>
<mn>5</mn>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mi>m</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>n</mi>
</munder>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
<mo>(</mo>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mover>
<msub>
<mi>c</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
<mrow>
<mo>(</mo>
<msub>
<mi>c</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msub>
<mo>(</mo>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mover>
<msub>
<mi>c</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msub>
<mo>&OverBar;</mo>
</mover>
<mo>)</mo>
</mrow>
</mrow>
<msqrt>
<mrow>
<mo>(</mo>
<munder>
<mo>&Sigma;</mo>
<mi>m</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>n</mi>
</munder>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>c</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<msub>
<mi>c</mi>
<mrow>
<mi>r</mi>
<mi>e</mi>
<mi>f</mi>
</mrow>
</msub>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>)</mo>
<mo>(</mo>
<munder>
<mo>&Sigma;</mo>
<mi>m</mi>
</munder>
<munder>
<mo>&Sigma;</mo>
<mi>n</mi>
</munder>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mi>c</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>m</mi>
<mo>,</mo>
<mi>n</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mover>
<msub>
<mi>c</mi>
<mrow>
<mi>d</mi>
<mi>i</mi>
<mi>s</mi>
</mrow>
</msub>
<mo>&OverBar;</mo>
</mover>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
</msqrt>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>10</mn>
<mo>-</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,GMref、TIref、cref分别表示参考中间图像的边缘、纹理和对比度信息,GMdis、TIdis、cdis表示失真中间图像的边缘、纹理和对比度信息,Index3、Index4和Index5,分别代表边缘、纹理和对比度的相似性度量指标;
步骤(11).整合步骤(8)和(10)中得到的各个度量指标,进行支持向量机训练预测,获得最佳预测模型,并映射为图像质量的客观评价分数;
Q=SVR(Index1,Index2,…,Index5) (11-1)
其中,Q为客观质量评价分数。
2.根据权利要求1所述的基于梯度信息指导双目视图融合的立体图像质量评价方法,其特征在于所述的步骤(2)具体为:
Sobel算子的表达式如下:
<mrow>
<msub>
<mi>G</mi>
<mi>x</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<msub>
<mi>h</mi>
<mi>x</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>G</mi>
<mi>y</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<msub>
<mi>h</mi>
<mi>y</mi>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>G</mi>
<mi>M</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msqrt>
<mrow>
<msubsup>
<mi>G</mi>
<mi>x</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msubsup>
<mi>G</mi>
<mi>y</mi>
<mn>2</mn>
</msubsup>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>-</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,f(x,y)为立体图像对的左视图或右视图,为卷积运算,Gx(x,y)和Gy(x,y)为分别利用Sobel水平模板和垂直模板卷积图像得到的水平和垂直梯度图,GM(x,y)是利用Sobel算子卷积图像得到的梯度图,hx和hy是3×3的Sobel垂直模板和水平模板,分别用来检测图像的水平边缘和垂直边缘,模板表达式如下:
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>h</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>2</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>h</mi>
<mi>y</mi>
</msub>
<mo>=</mo>
<mfenced open = "(" close = ")">
<mtable>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>2</mn>
</mtd>
<mtd>
<mn>1</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>2</mn>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>-</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
<mo>.</mo>
</mrow>
3.根据权利要求1所述的基于梯度信息指导双目视图融合的立体图像质量评价方法,其特征在于所述的步骤(3)具体为:
LoG算子表达式如下:
<mrow>
<msub>
<mi>h</mi>
<mrow>
<mi>L</mi>
<mi>o</mi>
<mi>G</mi>
</mrow>
</msub>
<mo>=</mo>
<msup>
<mo>&dtri;</mo>
<mn>2</mn>
</msup>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<msup>
<mo>&part;</mo>
<mn>2</mn>
</msup>
<mrow>
<mo>&part;</mo>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mfrac>
<msup>
<mo>&part;</mo>
<mn>2</mn>
</msup>
<mrow>
<mo>&part;</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
<mo>-</mo>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
<msup>
<mi>&sigma;</mi>
<mn>4</mn>
</msup>
</mfrac>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,G(x,y)为高斯模糊函数,表达式如下:
<mrow>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<msqrt>
<mrow>
<mn>2</mn>
<msup>
<mi>&pi;&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mfrac>
<mi>exp</mi>
<mrow>
<mo>(</mo>
<mo>-</mo>
<mfrac>
<mrow>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mn>2</mn>
<msup>
<mi>&sigma;</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>-</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,x和y为图像坐标,σ是概率分布中的标准偏差;
表示二阶导数拉普拉斯函数,表达式为:
<mrow>
<msup>
<mo>&dtri;</mo>
<mn>2</mn>
</msup>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<msup>
<mo>&part;</mo>
<mn>2</mn>
</msup>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msup>
<mi>x</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>+</mo>
<mfrac>
<mrow>
<msup>
<mo>&part;</mo>
<mn>2</mn>
</msup>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mo>&part;</mo>
<msup>
<mi>y</mi>
<mn>2</mn>
</msup>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>-</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
将LoG算子与立体图像对中左视图或右视图进行卷积后,得到相应的梯度图,表达式如下:
<mrow>
<mi>L</mi>
<mi>o</mi>
<mi>G</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>&CircleTimes;</mo>
<msub>
<mi>h</mi>
<mrow>
<mi>L</mi>
<mi>o</mi>
<mi>G</mi>
</mrow>
</msub>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>-</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,f(x,y)为立体图像对的左视图或右视图。
4.根据权利要求1所述的基于梯度信息指导双目视图融合的立体图像质量评价方法,其特征在于所述的步骤(9)中:
提取边缘信息的方法与步骤(2)中利用Sobel算子卷积图像得到对应梯度图的方法相同;
提取纹理信息的方法为:采用局部二值模式LBP来提取图像的纹理信息,LBP的表达式如下:
<mrow>
<mi>T</mi>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mi>P</mi>
</munderover>
<msup>
<mn>2</mn>
<mi>p</mi>
</msup>
<mo>&times;</mo>
<mi>sgn</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>g</mi>
<mi>c</mi>
</msub>
<mo>-</mo>
<msub>
<mi>g</mi>
<mi>p</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>9</mn>
<mo>-</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中,gc是图像的中心像素点的灰度值,gc是图像的相邻像素点的灰度值,sgn(x)是阶跃函数,当x≥0时,sgn(x)=1;当x<0时,sgn(x)=0;
提取对比度信息的方法为:利用步骤(5)中的公式(5-3)提取图像的对比度信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710721537.0A CN107578403B (zh) | 2017-08-22 | 2017-08-22 | 基于梯度信息指导双目视图融合的立体图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710721537.0A CN107578403B (zh) | 2017-08-22 | 2017-08-22 | 基于梯度信息指导双目视图融合的立体图像质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107578403A true CN107578403A (zh) | 2018-01-12 |
CN107578403B CN107578403B (zh) | 2019-11-08 |
Family
ID=61033925
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710721537.0A Active CN107578403B (zh) | 2017-08-22 | 2017-08-22 | 基于梯度信息指导双目视图融合的立体图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107578403B (zh) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108171704A (zh) * | 2018-01-19 | 2018-06-15 | 浙江大学 | 一种基于激励响应的无参考图像质量评价方法 |
CN108305236A (zh) * | 2018-01-16 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 图像增强处理方法及装置 |
CN108470336A (zh) * | 2018-03-29 | 2018-08-31 | 天津大学 | 基于堆栈式自动编码器的立体图像质量评价方法 |
CN108492275A (zh) * | 2018-01-24 | 2018-09-04 | 浙江科技学院 | 基于深度神经网络的无参考立体图像质量评价方法 |
CN108647713A (zh) * | 2018-05-07 | 2018-10-12 | 宁波华仪宁创智能科技有限公司 | 胚胎边界识别与激光轨迹拟合方法 |
CN109242834A (zh) * | 2018-08-24 | 2019-01-18 | 浙江大学 | 一种基于卷积神经网络的无参考立体图像质量评价方法 |
CN109255358A (zh) * | 2018-08-06 | 2019-01-22 | 浙江大学 | 一种基于视觉显著性和深度图的3d图像质量评价方法 |
CN109255766A (zh) * | 2018-09-18 | 2019-01-22 | 清华大学 | 一种基于Sobel边缘检测的水泥基材料CT图像中熟料相识别方法 |
CN109345502A (zh) * | 2018-08-06 | 2019-02-15 | 浙江大学 | 一种基于视差图立体结构信息提取的立体图像质量评价方法 |
CN109887023A (zh) * | 2019-01-11 | 2019-06-14 | 杭州电子科技大学 | 一种基于加权梯度幅度的双目融合立体图像质量评价方法 |
CN110335228A (zh) * | 2018-03-30 | 2019-10-15 | 杭州海康威视数字技术股份有限公司 | 一种图像视差的确定方法、装置及系统 |
CN111402309A (zh) * | 2020-03-05 | 2020-07-10 | 中国科学院上海微系统与信息技术研究所 | 一种多目立体相机的校准及深度图像处理方法 |
CN112233089A (zh) * | 2020-10-14 | 2021-01-15 | 西安交通大学 | 一种无参考立体混合失真图像质量评价方法 |
CN114782422A (zh) * | 2022-06-17 | 2022-07-22 | 电子科技大学 | 一种svr特征融合的无参考jpeg图像质量评价方法 |
CN117788461A (zh) * | 2024-02-23 | 2024-03-29 | 华中科技大学同济医学院附属同济医院 | 一种基于图像分析的磁共振图像质量评估系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105915883A (zh) * | 2016-05-25 | 2016-08-31 | 浙江科技学院 | 基于极限学习和双目融合的盲参考立体图像质量评价方法 |
US20170140518A1 (en) * | 2015-11-12 | 2017-05-18 | University Of Virginia Patent Foundation D/B/A/ University Of Virginia Licensing & Ventures Group | System and method for comparison-based image quality assessment |
CN106709958A (zh) * | 2016-12-03 | 2017-05-24 | 浙江大学 | 一种基于灰度梯度和颜色直方图的图像质量评价方法 |
CN107071423A (zh) * | 2017-04-24 | 2017-08-18 | 天津大学 | 视觉多通道模型在立体视频质量客观评价中的应用方法 |
-
2017
- 2017-08-22 CN CN201710721537.0A patent/CN107578403B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170140518A1 (en) * | 2015-11-12 | 2017-05-18 | University Of Virginia Patent Foundation D/B/A/ University Of Virginia Licensing & Ventures Group | System and method for comparison-based image quality assessment |
CN105915883A (zh) * | 2016-05-25 | 2016-08-31 | 浙江科技学院 | 基于极限学习和双目融合的盲参考立体图像质量评价方法 |
CN106709958A (zh) * | 2016-12-03 | 2017-05-24 | 浙江大学 | 一种基于灰度梯度和颜色直方图的图像质量评价方法 |
CN107071423A (zh) * | 2017-04-24 | 2017-08-18 | 天津大学 | 视觉多通道模型在立体视频质量客观评价中的应用方法 |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108305236A (zh) * | 2018-01-16 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 图像增强处理方法及装置 |
CN108171704B (zh) * | 2018-01-19 | 2019-12-20 | 浙江大学 | 一种基于激励响应的无参考图像质量评价方法 |
CN108171704A (zh) * | 2018-01-19 | 2018-06-15 | 浙江大学 | 一种基于激励响应的无参考图像质量评价方法 |
CN108492275A (zh) * | 2018-01-24 | 2018-09-04 | 浙江科技学院 | 基于深度神经网络的无参考立体图像质量评价方法 |
CN108492275B (zh) * | 2018-01-24 | 2020-08-18 | 浙江科技学院 | 基于深度神经网络的无参考立体图像质量评价方法 |
CN108470336A (zh) * | 2018-03-29 | 2018-08-31 | 天津大学 | 基于堆栈式自动编码器的立体图像质量评价方法 |
CN108470336B (zh) * | 2018-03-29 | 2021-06-29 | 天津大学 | 基于堆栈式自动编码器的立体图像质量评价方法 |
CN110335228B (zh) * | 2018-03-30 | 2021-06-25 | 杭州海康威视数字技术股份有限公司 | 一种图像视差的确定方法、装置及系统 |
CN110335228A (zh) * | 2018-03-30 | 2019-10-15 | 杭州海康威视数字技术股份有限公司 | 一种图像视差的确定方法、装置及系统 |
CN108647713A (zh) * | 2018-05-07 | 2018-10-12 | 宁波华仪宁创智能科技有限公司 | 胚胎边界识别与激光轨迹拟合方法 |
CN108647713B (zh) * | 2018-05-07 | 2021-04-02 | 宁波华仪宁创智能科技有限公司 | 胚胎边界识别与激光轨迹拟合方法 |
CN109255358A (zh) * | 2018-08-06 | 2019-01-22 | 浙江大学 | 一种基于视觉显著性和深度图的3d图像质量评价方法 |
CN109345502B (zh) * | 2018-08-06 | 2021-03-26 | 浙江大学 | 一种基于视差图立体结构信息提取的立体图像质量评价方法 |
CN109345502A (zh) * | 2018-08-06 | 2019-02-15 | 浙江大学 | 一种基于视差图立体结构信息提取的立体图像质量评价方法 |
CN109255358B (zh) * | 2018-08-06 | 2021-03-26 | 浙江大学 | 一种基于视觉显著性和深度图的3d图像质量评价方法 |
CN109242834A (zh) * | 2018-08-24 | 2019-01-18 | 浙江大学 | 一种基于卷积神经网络的无参考立体图像质量评价方法 |
CN109255766A (zh) * | 2018-09-18 | 2019-01-22 | 清华大学 | 一种基于Sobel边缘检测的水泥基材料CT图像中熟料相识别方法 |
CN109887023A (zh) * | 2019-01-11 | 2019-06-14 | 杭州电子科技大学 | 一种基于加权梯度幅度的双目融合立体图像质量评价方法 |
CN111402309A (zh) * | 2020-03-05 | 2020-07-10 | 中国科学院上海微系统与信息技术研究所 | 一种多目立体相机的校准及深度图像处理方法 |
WO2021174600A1 (zh) * | 2020-03-05 | 2021-09-10 | 中国科学院上海微系统与信息技术研究所 | 一种多目立体相机的校准及深度图像处理方法 |
CN111402309B (zh) * | 2020-03-05 | 2023-11-03 | 中国科学院上海微系统与信息技术研究所 | 一种多目立体相机的校准及深度图像处理方法 |
CN112233089A (zh) * | 2020-10-14 | 2021-01-15 | 西安交通大学 | 一种无参考立体混合失真图像质量评价方法 |
CN114782422A (zh) * | 2022-06-17 | 2022-07-22 | 电子科技大学 | 一种svr特征融合的无参考jpeg图像质量评价方法 |
CN117788461A (zh) * | 2024-02-23 | 2024-03-29 | 华中科技大学同济医学院附属同济医院 | 一种基于图像分析的磁共振图像质量评估系统 |
CN117788461B (zh) * | 2024-02-23 | 2024-05-07 | 华中科技大学同济医学院附属同济医院 | 一种基于图像分析的磁共振图像质量评估系统 |
Also Published As
Publication number | Publication date |
---|---|
CN107578403B (zh) | 2019-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107578403A (zh) | 基于梯度信息指导双目视图融合的立体图像质量评价方法 | |
CN103763552B (zh) | 基于视觉感知特性的立体图像无参考质量评价方法 | |
CN103152600B (zh) | 一种立体视频质量评价方法 | |
CN105654142B (zh) | 基于自然场景统计的无参考立体图像质量评价方法 | |
CN109345502B (zh) | 一种基于视差图立体结构信息提取的立体图像质量评价方法 | |
CN103426173B (zh) | 一种立体图像质量的客观评价方法 | |
CN107635136B (zh) | 基于视觉感知和双目竞争的无参考立体图像质量评价方法 | |
CN104954778B (zh) | 一种基于感知特征集的立体图像质量客观评价方法 | |
CN103780895B (zh) | 一种立体视频质量评价方法 | |
CN103873854A (zh) | 一种立体图像主观评价被试者数量及实验数据的确定方法 | |
Geng et al. | A stereoscopic image quality assessment model based on independent component analysis and binocular fusion property | |
CN104243970A (zh) | 基于立体视觉注意力机制和结构相似度的3d绘制图像的客观质量评价方法 | |
CN114648482A (zh) | 立体全景图像的质量评价方法、系统 | |
CN107330873A (zh) | 基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法 | |
CN103618891A (zh) | 一种立体相机微距会聚拍摄质量客观评价方法 | |
CN104394405A (zh) | 一种基于全参考图像的客观质量评价方法 | |
Devnani et al. | Comparative analysis of image quality measures | |
CN108648186B (zh) | 基于初级视觉感知机制的无参考立体图像质量评价方法 | |
Md et al. | Multiscale-ssim index based stereoscopic image quality assessment | |
CN110060291B (zh) | 一种考虑人因的立体视在距离解算方法 | |
CN107438180B (zh) | 三维视频的深度感知质量评价方法 | |
Shen et al. | Objective quality assessment of noised stereoscopic images | |
Galkandage et al. | A full-reference stereoscopic image quality metric based on binocular energy and regression analysis | |
CN110610476A (zh) | 一种视差图质量评估方法 | |
Kang et al. | 3D image quality assessment based on texture information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |