CN107330873A - 基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法 - Google Patents
基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法 Download PDFInfo
- Publication number
- CN107330873A CN107330873A CN201710312232.4A CN201710312232A CN107330873A CN 107330873 A CN107330873 A CN 107330873A CN 201710312232 A CN201710312232 A CN 201710312232A CN 107330873 A CN107330873 A CN 107330873A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- stereo
- picture
- mfrac
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 16
- 230000004927 fusion Effects 0.000 title claims abstract description 9
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000001303 quality assessment method Methods 0.000 claims abstract description 11
- 238000012706 support-vector machine Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000013441 quality evaluation Methods 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000012549 training Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 6
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 238000007500 overflow downdraw method Methods 0.000 abstract 1
- 238000003786 synthesis reaction Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 230000000007 visual effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003472 neutralizing effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000004451 qualitative analysis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法。本发明包括如下步骤：1.利用视差估计和双目融合方法，分别将待测试的立体图像对和对应的参考图像对合成一张图像。2.对二者的合成图像分别使用局部二值模式进行特征提取。3.以二者的特征的相似性作为输入，质量分数作为输出，利用支持向量机进行训练，根据图像已知的主观质量评价得分，得到能够客观评价立体图像质量的数学模型。本发明高效、准确地提取了立体图像中与图像质量有关的特征，实现了客观评价立体图像质量的功能，且基于本发明所提出方法的立体图像质量评价结果与人眼的主观判断具有很好的一致性。
Description
技术领域
本发明属于图像处理领域，涉及一种基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法。
背景技术
立体(stereoscopic/3D)图像是指通过对人的左右眼输入不同的视觉信号，使人脑的视觉皮层图像中物体的深度信息的技术。随着3D显示技术近年来的蓬勃发展，在工程中和人们的实际生活中，产生了对高质量立体图像和视频的广泛需求。但是，立体图像在获取、压缩、传输、存储和重建等各个环节中会引入失真。因此，定量评价立体图像的质量就成为评测和监控立体图像处理系统的性能的重要手段，而且，立体图像质量评价(Stereoscopic Image Quality Assessment,SIQA)可以为立体图像处理系统的设计提供必要的反馈和指导。
立体图像质量评价技术，是指以人类视觉系统(Human Visual System,HVS)对图像质量的感知为基准，对图像的质量好坏进行定量的判断和评测。SIQA可以分为主观评价方法和客观评价方法。由于主观评价方法是通过人工对图像的质量进行打分评测，非常费力耗时，而且受主观因素影响比较大，重复性差，所以无法嵌入到实时的图像视频处理系统中，也难以作为定性分析图像质量的手段。因此，研究便捷高效的客观评价方法具有更强的应用价值和理论意义。立体图像质量的客观评价是通过建立数学模型实现自动地对图像质量进行评价。相比之下，客观评价方法具有高效、可重复性强和鲁棒性好等特点。
立体图像客观质量评价方法的设计需要考虑至少两个方面的因素。一方面，需要从图像中提取与质量感知相关的特征，如结构信息、纹理信息等；另一方面，需要考虑由双眼视觉信号的差异所引起的双目竞争、视觉疲劳等可能影响HVS对图像质量感知的因素。
发明内容
本发明主要包括：基于左右视差图和Gabor滤波器实现的左右视图图像融合技术、基于局部二值模式的局部纹理特征提取技术和基于支持向量机的机器学习技术等来实现对立体图像质量的数学建模，进而提出一种针对立体图像的客观的质量评价方法。
本发明采取的技术方案是：
首先，读取大量带有参考图像信息和主观质量评价结果的立体图像。随后，对每一张图像，使用多尺度图像融合技术对图像的左右视图进行融合，并用局部二值模式对融合后的图像进行特征提取。进而，对该测试图像的参考图像也进行同样的操作，对从测试图像及其参考图像中提取到的特征进行相关性度量。最后，对每张图像，将每一个尺度上得到的度量结果和图像的主观质量评价结果形成映射，对读取的所有图像，使用支持向量机训练出一个回归函数。
本发明解决其技术问题所采用的技术方案如下：
步骤(1).读取大量立体图像以备之后的回归函数训练。每一幅立体图像由一个左视图和一个右视图组成。对每一幅立体图像，同时需要它的参考图像(即该立体图像的对应未失真立体图像)和它的主观质量评价结果(以一个数字表示)。
步骤(2).对步骤(1)中读取的每一幅立体图像及其参考图像，都进行步骤(3)到步骤(7)的操作。
步骤(3).对该立体图像或参考图像的左视图中的每一个点，找到其右视图上的对应点，这一过程基于二者的灰度图。设左右视图的灰度图分别为IL和IR，都是尺寸为M×N的矩阵，行、列坐标的起点都在左上角，则同一个物体在右视图上出现的位置的列坐标小于在左视图上的列坐标。即IL(x,y)在右视图上的对应点为IR(x,y-d)，其中x、y分别代表行、列坐标，d为相对偏移量，且d>0。对所有符合d>0条件的候选对应点，取其中与左视图中点各自的邻域的绝对误差和(sum of absolute difference,SAD)最小的点。SAD定义为
其中，L和R分别代表左右视图上的一个点，Li和Ri分别表示L和R的邻域中的各点的灰度值，n表示所选取的邻域包含的像素点数目。
步骤(4).求出该立体图像或参考图像的视差信息。以左视图为基准，视差信息可以以一个与左视图的灰度图尺寸一致，仍为M×N的矩阵D来表示，D中的每个元素D(x,y)，表示左视图上坐标(x,y)的点IL(x,y)在右视图上的对应点IR(x,y-d)的相对偏移量d。
步骤(5).对立体图像或参考图像的左右视图，分别进行多尺度的Gabor滤波。Gabor滤波器是正弦波和高斯核函数的乘积，二维直角坐标系上的Gabor滤波器定义为
其中，R1＝xcosθ+ysinθ，R2＝-xsinθ+ycosθ；σx和σy是分别是标准高斯核在x和y方向上的宽度；ζx和ζy决定了正弦波的频率(滤波器的尺度)，θ定义了滤波器的方向。
由于Gabor响应是复数，对每个像素点上的Gabor响应取模从而使其实数化。对每一个尺度，取多个方向的响应的均值。这样，左右视图在各尺度上的滤波结果分别表示为LGi和RGi，它们都是尺寸仍为M×N的矩阵。
步骤(6).将左右视图进行融合，在每一个尺度上都得到一个合成图像FI，用于之后的质量评价。使用一个线性模型进行融合，
其中D和LGi/RGi分别从步骤(4)和(5)中得到。
步骤(7).对步骤(6)中得到的合成图像使用局部二值模式(local binarypattern,LBP)进行纹理特征提取。选取一个包含k个像素的邻域，则LBP将每一个像素点转化成一个k-1位的二进制码，编码依据为
其中，gc为被编码的点的像素值，gp为它的邻域中除了该被编码点外的其余k-1个点的像素值。
步骤(8).经过以上步骤，每一幅立体图像及其参考图像最终都形成了若干个二进制码矩阵，具体的矩阵数量由选取的尺度数量决定。每一个这样的矩阵都可以用一个有2k-1个元素的直方图来表示它的分布。这两个矩阵的相似性通过它们各自的分布的直方图相交来衡量。设码的分布为Ti和Ri，直方图相交定义为
其中，和分别指尺度i上测试立体图像和参考图像经过上述处理，LBP码为j的个数。两个分布越相似，该值越接近1；否则更接近0。
步骤(9).每一幅被测试的立体图像会得到与步骤(5)中选取的Gabor滤波器尺度相同数量的similarity值。设选取了m尺度的Gabor滤波器，则该图像的客观质量得分QO由这m个输入通过一个回归函数得到，即
QO＝fregression(similarity1,similarity2,...,similaritym)(6)
采用支持向量机通过训练得到回归函数fregression。训练过程采用的样本即步骤(1)中读取的数据，训练样本的输入是读取的立体图像经过步骤(2)到(8)之后得到的m个similarity值，输出是步骤(1)中读取的主观质量评价结果。得到训练结果(即回归函数fregression)后，一个完整的立体图像客观评价方法即已实现。
本发明的有益效果：
本发明利用多尺度图像融合技术对立体图像的左右视图进行融合，并通过局部二值模式方法提取融合后的图像的结构和纹理特征，进而计算从测试图像和参考图像中提取到的特征的相关性，以相关性为输入、图像的主观评价结果为输出，利用支持向量机训练得到从特征到客观质量分数的映射，实现了对立体图像质量的客观评价。实验结果表明，基于本发明所提出的方法的对立体图像质量的客观评价，与人类视觉系统的主观判定有很高的一致性，对图像和视频处理系统可以起到很好的评价和监督作用。
具体实施方式
下面结合附图对本发明方法作进一步说明。
如图1所示，基于多尺度双目融合、局部二值模式和支持向量机的立体图像质量客观评价方法，其具体实施步骤如下：
步骤(1).读入美国德州大学奥斯汀分校图像与视频工程实验室(Laboratory forImage and Video Engineering,LIVE)设计的3D图像质量评价数据库中的所有失真图像作为待测试图像，同时读取每幅图像对应的未失真图像(参考图像)和以差异平均意见得分(differential mean opinion score,DMOS)度量的主观质量评价分数。本实施例使用计算机软件Matlab编写程序读取数据以及进行以下操作。
步骤(2).对步骤(1)中读取的每一幅立体图像及其参考图像，都进行步骤(3)到步骤(7)的操作。
步骤(3).对该立体图像或参考图像的左视图中的每一个点，找到其右视图上的对应点，这一过程基于二者的灰度图。设左右视图的灰度图分别为IL和IR，都是尺寸为M×N的矩阵，行、列坐标的起点都在左上角，则同一个物体在右视图上出现的位置的列坐标小于在左视图上的列坐标。即IL(x,y)在右视图上的对应点为IR(x,y-d)，其中x、y分别代表行、列坐标，且d>0。对所有符合d>0条件的候选对应点，在本实施例中，取其中与左视图中点各自的5×5方形邻域的绝对误差和(sum of absolute difference,SAD)最小的点。SAD定义为
其中L和R分别代表左右视图上的一个点，Li和Ri分别表示L和R的5×5邻域中的各点的灰度值。
步骤(4).求出该立体图像或参考图像为基准的视差信息。以左视图为基准，视差信息可以以一个与左视图的灰度图尺寸一致，仍为M×N的矩阵D来表示，D中的每个元素，D(x,y)，表示左视图上坐标(x,y)的点IL(x,y)在右视图上的对应点IR(x,y-d)的相对偏移量d。
步骤(5).对立体图像或参考图像的左右视图，分别进行5个尺度的Gabor滤波。Gabor滤波器是正弦波和高斯核函数的乘积，二维直角坐标系上的Gabor滤波器定义为
其中，R1＝xcosθ+ysinθ，R2＝-xsinθ+ycosθ；σx和σy是分别是标准高斯核在x和y方向上的宽度，取σx 2＝σy 2＝2π2；ζx和ζy决定了正弦波的频率(滤波器的尺度)，θ定义了滤波器的方向。本实施例采用5个尺度、4个方向的Gabor滤波，取ζx＝ζy＝{2.4,2.8,3.2,3.6,4}，θ＝{0°,45°,90°,135°}。
由于Gabor响应是复数，对每个像素点上的Gabor响应取模从而使其实数化。对每一个尺度，取四个方向的响应的均值。这样，左右视图在各尺度上的滤波结果分别表示为LGi和RGi(i＝1,2,…,5)，它们都是尺寸仍为M×N的矩阵。
步骤(6).将左右视图进行融合，在每一个尺度上都得到一个合成图像FI，用于之后的质量评价。使用一个线性模型进行融合，
其中，D和LGi/RGi分别从步骤(4)和(5)中得到。
步骤(7).对步骤(6)中得到的合成图像使用局部二值模式(local binarypattern,LBP)进行纹理特征提取。本实施例在3×3的方形邻域中提取LBP特征，将每一个像素点都转化成一个8位二进制码，编码依据为
其中，gc为被编码的点的像素值，gp为它的3×3邻域中的其余8个点的像素值。
步骤(8).经过以上步骤，每一幅立体图像及其参考图像最终都形成了5个二进制码矩阵。本实施例中，由于LBP在3×3的方形邻域中进行特征提取得到以8位二进制数表示的局部特征，每一个这样的矩阵都可以用一个有256个元素的直方图来表示它的分布。这两个矩阵的相似性通过它们各自的分布的直方图相交来衡量。设码的分布为Ti和Ri(i＝1,2,…,5)，直方图相交定义为
其中，和分别指尺度i上测试立体图像和参考图像经过上述处理，LBP码为j的个数。两个分布越相似，该值越接近1；否则更接近0。
步骤(9).本实施例中，由于在步骤(5)选取了5个尺度的Gabor滤波器，每一幅被测试的立体图像会得到5个similarity值，该图像的客观质量得分QO由这5个输入通过一个回归函数得到，即
QO＝fregression(similarity1,similarity2,similarity3,similarity4,similarity5) (6)
采用支持向量机通过训练得到回归函数fregression。本实施例的训练过程采用的样本即步骤(1)中读取的数据，训练样本的输入是读取的立体图像经过步骤(2)到(8)之后得到的五个similarity值，输出是步骤(1)中读取的DMOS值。得到训练结果(即回归函数fregression)后，一个完整的立体图像客观评价方法即已实现。
对于一张待评价的图像，输入该立体图形及其参考图像，经过步骤(2)到(8)之后得到五个similarity值，输入similarity值即可得到该图像的客观质量得分。
按本实施例中，对支持向量机的使用通过在Matlab中调用LIBSVM工具箱实现。为了测试本方法的性能，随机选择数据库中80％的图像用作训练，用剩下的图像进行测试，以测试图像的DMOS值和客观质量得分二者之间的相关性作为评价标准。本实施例的测试结果显示二者的相关系数达到0.8以上，表明本发明实现了较高的立体图像客观质量评价准确性。
Claims (2)
1.一种基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法；其特征在于包括如下步骤：
步骤(1).读取训练用立体图像，每一幅立体图像由一个左视图和一个右视图组成，对每一幅立体图像，同时读取它的参考图像和它的主观质量评价结果；
步骤(2).对步骤(1)中读取的每一幅立体图像及其参考图像，都进行步骤(3)到步骤(7)的操作；
步骤(3).对该立体图像或参考图像的左视图中的每一个点，找到其右视图上的对应点；
步骤(4).求出该立体图像或参考图像的视差信息，以左视图为基准，视差信息以一个与左视图的灰度图尺寸一致，为M×N的矩阵D来表示，D中的每个元素D(x,y)，表示左视图上坐标(x,y)的点IL(x,y)在右视图上的对应点IR(x,y-d)的相对偏移量d；
步骤(5).对立体图像或参考图像的左右视图，分别进行多尺度的Gabor滤波；Gabor滤波器是正弦波和高斯核函数的乘积，二维直角坐标系上的Gabor滤波器定义为
<mrow>
<mi>G</mi>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>;</mo>
<msub>
<mi>&sigma;</mi>
<mi>x</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&sigma;</mi>
<mi>y</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&zeta;</mi>
<mi>x</mi>
</msub>
<mo>,</mo>
<msub>
<mi>&zeta;</mi>
<mi>y</mi>
</msub>
<mo>,</mo>
<mi>&theta;</mi>
</mrow>
<mo>)</mo>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mn>2</mn>
<msub>
<mi>&pi;&sigma;</mi>
<mi>x</mi>
</msub>
<msub>
<mi>&sigma;</mi>
<mi>y</mi>
</msub>
</mrow>
</mfrac>
<mi>exp</mi>
<mo>{</mo>
<mo>-</mo>
<mfrac>
<mn>1</mn>
<mn>2</mn>
</mfrac>
<mo>&lsqb;</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>R</mi>
<mn>1</mn>
</msub>
<msub>
<mi>&sigma;</mi>
<mi>x</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mfrac>
<msub>
<mi>R</mi>
<mn>2</mn>
</msub>
<msub>
<mi>&sigma;</mi>
<mi>y</mi>
</msub>
</mfrac>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>&rsqb;</mo>
<mo>+</mo>
<mi>i</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>x&zeta;</mi>
<mi>x</mi>
</msub>
<mo>+</mo>
<msub>
<mi>y&zeta;</mi>
<mi>y</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>&rsqb;</mo>
<mo>}</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，R1＝xcosθ+ysinθ，R2＝-xsinθ+ycosθ；σx和σy是分别是标准高斯核在x和y方向上的宽度；ζx和ζy决定了正弦波的频率(滤波器的尺度)，θ定义了滤波器的方向；
由于Gabor响应是复数，对每个像素点上的Gabor响应取模从而使其实数化，对每一个尺度，取多个方向的响应的均值，这样，左右视图在各尺度上的滤波结果分别表示为LGi和RGi，它们都是尺寸仍为M×N的矩阵；
步骤(6).将左右视图进行融合，在每一个尺度上都得到一个合成图像FI，用于之后的质量评价，使用一个线性模型进行融合，
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>FI</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>=</mo>
<msub>
<mi>W</mi>
<mrow>
<mi>L</mi>
<mi>i</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<msub>
<mi>I</mi>
<mi>L</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>W</mi>
<mrow>
<mi>R</mi>
<mi>i</mi>
</mrow>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>-</mo>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
<msub>
<mi>I</mi>
<mi>R</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>-</mo>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>W</mi>
<mrow>
<mi>L</mi>
<mi>i</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>LG</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>LG</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>RG</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>-</mo>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>W</mi>
<mrow>
<mi>R</mi>
<mi>i</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>RG</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>-</mo>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>LG</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
<mo>+</mo>
<msub>
<mi>RG</mi>
<mi>i</mi>
</msub>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>-</mo>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
其中D和LGi/RGi分别从步骤(4)和(5)中得到；
步骤(7).对步骤(6)中得到的合成图像使用局部二值模式LBP进行纹理特征提取，选取一个包含k个像素的邻域，则LBP将每一个像素点转化成一个k-1位的二进制码，编码依据为
<mrow>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>L</mi>
<mi>B</mi>
<mi>P</mi>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>p</mi>
<mo>=</mo>
<mn>0</mn>
</mrow>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>2</mn>
</mrow>
</munderover>
<mi>s</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>g</mi>
<mi>p</mi>
</msub>
<mo>-</mo>
<msub>
<mi>g</mi>
<mi>c</mi>
</msub>
<mo>)</mo>
</mrow>
<msup>
<mn>2</mn>
<mi>p</mi>
</msup>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mi>s</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
<mi>x</mi>
<mo>&GreaterEqual;</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
<mi>x</mi>
<mo><</mo>
<mn>0</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，gc为被编码的点的像素值，gp为它的邻域中除了该被编码点外的其余k-1个点的像素值；
步骤(8).经过以上步骤，每一幅立体图像及其参考图像最终都形成了若干个二进制码矩阵，具体的矩阵数量由选取的尺度数量决定，每一个这样的矩阵都用一个有2k-1个元素的直方图来表示它的分布，这两个矩阵的相似性通过它们各自的分布的直方图相交来衡量。设码的分布为Ti和Ri，直方图相交定义为：
<mrow>
<msub>
<mi>similarity</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msup>
<mn>2</mn>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
</munderover>
<mi>m</mi>
<mi>i</mi>
<mi>n</mi>
<mrow>
<mo>(</mo>
<msubsup>
<mi>T</mi>
<mi>i</mi>
<mi>j</mi>
</msubsup>
<mo>,</mo>
<msubsup>
<mi>R</mi>
<mi>i</mi>
<mi>j</mi>
</msubsup>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<msup>
<mn>2</mn>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msup>
</munderover>
<msubsup>
<mi>R</mi>
<mi>i</mi>
<mi>j</mi>
</msubsup>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，和分别指尺度i上测试立体图像和参考图像经过上述处理，LBP码为j的个数。两个分布越相似，该值越接近1；否则更接近0；
步骤(9).每一幅被测试的立体图像会得到与步骤(5)中选取的Gabor滤波器尺度相同数量的similarity值，设选取了m尺度的Gabor滤波器，则该图像的客观质量得分QO由这m个输入通过一个回归函数得到，即
QO＝fregression(similarity1,similarity2,...,similaritym) (6)
采用支持向量机通过训练得到回归函数fregression，训练过程采用的样本即步骤(1)中读取的数据，训练样本的输入是读取的立体图像经过步骤(2)到(8)之后得到的m个similarity值，输出是步骤(1)中读取的主观质量评价结果，得到训练结果，即回归函数fregression；
步骤(10).对于一张待评价的立体图像，输入该立体图像及其参考图像，经过步骤(2)到(8)之后得到m个similarity值，利用步骤(9)训练得到的回归函数fregression即可得到该图像的客观质量得分。
2.根据权利要求1所述的基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法；其特征在于包括所述的步骤(3)具体为：基于左右视图的灰度图，设左右视图的灰度图分别为IL和IR，都是尺寸为M×N的矩阵，行、列坐标的起点都在左上角，则同一个物体在右视图上出现的位置的列坐标小于在左视图上的列坐标。即IL(x,y)在右视图上的对应点为IR(x,y-d)，其中x、y分别代表行、列坐标，d为相对偏移量，且d>0，对所有符合d>0条件的候选对应点，取其中与左视图中点各自的邻域的绝对误差和SAD最小的点，SAD定义为
<mrow>
<mi>S</mi>
<mi>A</mi>
<mi>D</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>,</mo>
<mi>R</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>n</mi>
</munderover>
<mo>|</mo>
<msub>
<mi>L</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>R</mi>
<mi>i</mi>
</msub>
<mo>|</mo>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，L和R分别代表左右视图上的一个点，Li和Ri分别表示L和R的邻域中的各点的灰度值，n表示所选取的邻域包含的像素点数目。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710312232.4A CN107330873B (zh) | 2017-05-05 | 2017-05-05 | 基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710312232.4A CN107330873B (zh) | 2017-05-05 | 2017-05-05 | 基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107330873A true CN107330873A (zh) | 2017-11-07 |
| CN107330873B CN107330873B (zh) | 2019-12-10 |
Family
ID=60193693
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710312232.4A Active CN107330873B (zh) | 2017-05-05 | 2017-05-05 | 基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107330873B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108269253A (zh) * | 2018-01-11 | 2018-07-10 | 天津大学 | 基于小波变换和局部结构特征的立体图像质量评价方法 |
| CN109242834A (zh) * | 2018-08-24 | 2019-01-18 | 浙江大学 | 一种基于卷积神经网络的无参考立体图像质量评价方法 |
| CN109523506A (zh) * | 2018-09-21 | 2019-03-26 | 浙江大学 | 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法 |
| CN111915589A (zh) * | 2020-07-31 | 2020-11-10 | 天津大学 | 基于空洞卷积的立体图像质量评价方法 |
| CN111915613A (zh) * | 2020-08-11 | 2020-11-10 | 华侨大学 | 一种图像实例分割方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102421007A (zh) * | 2011-11-28 | 2012-04-18 | 浙江大学 | 基于多尺度结构相似度加权综合的图像质量评价方法 |
| CN102497576A (zh) * | 2011-12-21 | 2012-06-13 | 浙江大学 | 基于Gabor特征互信息的全参考图像质量评价方法 |
| US20150110370A1 (en) * | 2013-10-22 | 2015-04-23 | Eyenuk, Inc. | Systems and methods for enhancement of retinal images |
| CN104658001A (zh) * | 2015-03-10 | 2015-05-27 | 浙江科技学院 | 一种无参考非对称失真立体图像客观质量评价方法 |
| CN106210710A (zh) * | 2016-07-25 | 2016-12-07 | 宁波大学 | 一种基于多尺度字典的立体图像视觉舒适度评价方法 |
-
2017
- 2017-05-05 CN CN201710312232.4A patent/CN107330873B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102421007A (zh) * | 2011-11-28 | 2012-04-18 | 浙江大学 | 基于多尺度结构相似度加权综合的图像质量评价方法 |
| CN102497576A (zh) * | 2011-12-21 | 2012-06-13 | 浙江大学 | 基于Gabor特征互信息的全参考图像质量评价方法 |
| US20150110370A1 (en) * | 2013-10-22 | 2015-04-23 | Eyenuk, Inc. | Systems and methods for enhancement of retinal images |
| CN104658001A (zh) * | 2015-03-10 | 2015-05-27 | 浙江科技学院 | 一种无参考非对称失真立体图像客观质量评价方法 |
| CN106210710A (zh) * | 2016-07-25 | 2016-12-07 | 宁波大学 | 一种基于多尺度字典的立体图像视觉舒适度评价方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108269253A (zh) * | 2018-01-11 | 2018-07-10 | 天津大学 | 基于小波变换和局部结构特征的立体图像质量评价方法 |
| CN109242834A (zh) * | 2018-08-24 | 2019-01-18 | 浙江大学 | 一种基于卷积神经网络的无参考立体图像质量评价方法 |
| CN109523506A (zh) * | 2018-09-21 | 2019-03-26 | 浙江大学 | 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法 |
| CN109523506B (zh) * | 2018-09-21 | 2021-03-26 | 浙江大学 | 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法 |
| CN111915589A (zh) * | 2020-07-31 | 2020-11-10 | 天津大学 | 基于空洞卷积的立体图像质量评价方法 |
| CN111915613A (zh) * | 2020-08-11 | 2020-11-10 | 华侨大学 | 一种图像实例分割方法、装置、设备及存储介质 |
| CN111915613B (zh) * | 2020-08-11 | 2023-06-13 | 华侨大学 | 一种图像实例分割方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107330873B (zh) | 2019-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107330873A (zh) | 基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法 | |
| CN103581661B (zh) | 一种立体图像视觉舒适度评价方法 | |
| CN104036501B (zh) | 一种基于稀疏表示的立体图像质量客观评价方法 | |
| CN101620669B (zh) | 一种人脸身份和表情的同步识别方法 | |
| CN107633513A (zh) | 基于深度学习的3d图像质量的度量方法 | |
| CN104902268B (zh) | 基于局部三元模式的无参考立体图像客观质量评价方法 | |
| CN106920243A (zh) | 改进的全卷积神经网络的陶瓷材质件序列图像分割方法 | |
| CN101610425B (zh) | 一种评测立体图像质量的方法和装置 | |
| CN101976444B (zh) | 一种基于像素类型的结构类似性图像质量客观评价方法 | |
| CN105744256A (zh) | 基于图谱视觉显著的立体图像质量客观评价方法 | |
| CN107610110B (zh) | 一种全局和局部特征相结合的跨尺度图像质量评价方法 | |
| CN104811691B (zh) | 一种基于小波变换的立体视频质量客观评价方法 | |
| CN105282543B (zh) | 一种基于立体视觉感知的全盲立体图像质量客观评价方法 | |
| CN105357519B (zh) | 基于自相似度特征的无参考立体图像质量客观评价方法 | |
| CN105654465B (zh) | 一种采用视差补偿视点间滤波的立体图像质量评价方法 | |
| CN104658001A (zh) | 一种无参考非对称失真立体图像客观质量评价方法 | |
| CN105407349A (zh) | 基于双目视觉感知的无参考立体图像质量客观评价方法 | |
| CN104954778A (zh) | 一种基于感知特征集的立体图像质量客观评价方法 | |
| CN104581143A (zh) | 一种基于机器学习的无参考立体图像质量客观评价方法 | |
| CN107635136A (zh) | 基于视觉感知和双目竞争的无参考立体图像质量评价方法 | |
| CN105376563A (zh) | 基于双目融合特征相似度的无参考立体图像质量评价方法 | |
| CN104574391A (zh) | 一种基于自适应特征窗口的立体视觉匹配方法 | |
| CN109409380A (zh) | 一种基于双学习网络的立体图像视觉显著提取方法 | |
| CN104144339B (zh) | 一种基于人眼感知的质降参考立体图像质量客观评价方法 | |
| CN103996188B (zh) | 一种基于Gabor加权特征的全参考型图像质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |