CN111915589A - 基于空洞卷积的立体图像质量评价方法 - Google Patents
基于空洞卷积的立体图像质量评价方法 Download PDFInfo
- Publication number
- CN111915589A CN111915589A CN202010761341.6A CN202010761341A CN111915589A CN 111915589 A CN111915589 A CN 111915589A CN 202010761341 A CN202010761341 A CN 202010761341A CN 111915589 A CN111915589 A CN 111915589A
- Authority
- CN
- China
- Prior art keywords
- scale
- image
- convolution
- image quality
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 32
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000011176 pooling Methods 0.000 claims abstract description 11
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000003062 neural network model Methods 0.000 claims abstract description 4
- 239000011800 void material Substances 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 6
- 230000035945 sensitivity Effects 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000001174 ascending effect Effects 0.000 claims description 3
- 210000004556 brain Anatomy 0.000 description 15
- 238000011156 evaluation Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 230000010365 information processing Effects 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 5
- 230000004438 eyesight Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 229940052586 pro 12 Drugs 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明属图像处理领域，为提出一种多尺度的立体图像质量评价方法。充分表征图像。为此，本发明采取的技术方案是，基于空洞卷积的立体图像质量评价方法，首先通过融合算法将左右视图处理为融合图，将其作为所搭建的多尺度卷积神经网络模型的输入，网络有三个多尺度单元，每个多尺度单元对图像进行三种不同尺度的特征提取，并将三种不同尺度的特征融合；三个多尺度单元级联，组成网络的主体，最终通过全局池化层与全连接层得到立体图像质量预测分数。本发明主要应用于图像处理场合。
Description
技术领域
本发明属图像处理领域，涉及到深度学习在立体图像质量评价中的应用与优化，以及人脑信息处理过程中的多尺度效应和人眼视觉特性在立体图像质量客观评价中的应用。
背景技术
立体成像技术是当今人类获取视觉信息的主要方式之一。如今，立体成像技术逐步发展，在影视、教育、传媒、虚拟现实技术等领域都起了至关重要的作用。立体成像技术的广泛应用使得立体图像质量评价技术受到越来越多的关注[1]。在图像处理过程中，由于压缩、传输、编码或解码等操作，图像的质量或多或少地通过图像传输通道下降。因此，有必要对图像的质量退化进行识别和评价。有效的立体图像质量评价技术不仅可以高效、准确地提供立体图像的质量分数，而且还可以指导立体图像处理和显示技术的发展。
与二维图像质量评价类似，立体图像质量评价方法可以分为两类：人工观察的主观评估和机器算法的客观评估。由于人眼是图像的最终接受者，主观评价被认为是评价图像感知质量最可靠的方法。但主观评价方法费时费力，且极不方便。因此，近年来，客观评价方法越来越受到人们的关注。
根据参考图像的可用性，立体图像质量评价算法也大致可以分为三类。第一类是全参考评价方法[2-7]。文献[1]中对双目空间敏感图进行建模，并在此基础上提出了将双目空间敏感图纳入质量评价的框架来估计立体图像的质量。文献[4]首先从训练数据库中学习多尺度字典，然后根据估计的稀疏系数向量计算稀疏特征相似度指数和全局亮度相似度指数，最后，采用基于稀疏能量和稀疏复杂度的双目组合得到最终的质量分数。第二种就是半参考评价方法[8-11]。文献[9]提出了一种基于分裂归一化图像表示的RR-IQA算法，该算法被认为是一种成功的生物视觉感知敏感性建模方法。第三种是无参考评价方法[12-18]。文献[12]中提出了一种无参考的评价方法，分别从左右视图中提取显著性和纹理信息，然后将提取的特征结合起来得到质量分数。由于在实际中获取参考图像并不容易，因此NR-SIQA得到了研究者的广泛研究。因此，本发明提出了一种NR-SIQA方法。
目前，客观的评价方法主要是有传统方法[15][19-23]和基于卷积神经网络的方法[24-28][31]两种。在传统方法中，手工提取各种特征，然后对特征进行回归处理，得到图像质量评分。文献[29]中，根据双目视觉特征，利用log-Gabor滤波器提取失真图像的局部相位、局部幅度和显著性特征，融合双目能量特征进行质量预测。文献[30]利用叠加自动编码器(SAE)将视差、深度和融合图像转换为更有意义的特征，然后将转换后的特征进行回归得到最终预测的质量分数。虽然这些方法取得了较好的效果，但都是对图像的底层信息进行处理，不能充分反映图像的整体质量。为了提取深层次的特征，大量基于卷积神经网络的方法开始出现。文献[24]中设计了一个三通道卷积神经网络模型，该模型以左右视图和视差图像为输入，利用多层感知机(MLP)得到最终的质量分数。文献[27]提出了一种基于局部到全局特征聚合的立体图像质量评价的深度学习方法。文献[31]提出了一种基于卷积神经网络的微调策略模型。该模型基于迁移学习，是用来提取质量感知特征反映图像质量,以及线性加权左和右视图是用于获取的重量显著图,视差图的统计特性被添加到获得通过SVR预测评分通过提取图像的质量感知特征，得到预测得分。虽然这些方法取得了不错的效果，但是，这些基于卷积神经网络的方法都是堆叠卷积层，提取更深层次的特征，而负责人脑信息处理的部分是一个多尺度的结构，图像的多尺度处理能更合理地反映人脑信息处理过程[32]。从图像信息到达大脑，图像被分解成不同的表达方式，因此，为了模拟人脑信息处理网络的多尺度特征，本发明设计了一个基于空洞卷积的多尺度网络模型。在标准卷积中，通过不同大小的卷积核提取特征来实现多尺度特征提取，导致模型参数急剧上升。因此，本发明使用空洞卷积来实现多尺度特征提取，不仅可以增加卷积核的感受野，而且可以保持模型参数量不变。此外，通过空洞卷积构造多尺度网络不仅可以提取不同区域的特征，而且可以更好地学习图像结构特征。
一般来说，一对左右视图模拟人眼的双目视觉。在文献[20-22][23][24-27]中，使用左右视图分别输入两个分支，提取图像特征，通过回归得到质量分数。文献[33]中提出了一种利用视差补偿左右视图质量，在将左右视图质量回归得到预测质量。文献[34]根据失真类型对立体图像进行分类，根据失真类型的不同提取图像不同的特征，并通过SVR得到其质量。文献[15]建立了一个SIQA模型，根据不同的失真类型对图像进行分类，将左右视图作为输入，然后将分类后的图像发送到SVM中估计最终的得分。文献[16]从立体图像的左右视图中提取梯度大小和梯度方向，得到差分图，然后用字典对这些特征进行训练，得到最终的分数。但是随着对人类视觉系统的进一步研究，文献[35]也证明了立体图像的质量并不等于两种视觉质量的简单结合。实际上，人类的左眼和右眼首先同时接收同一场景的信息。视网膜融合后，在我们的大脑中形成了一个双目单视觉图像，称为融合图像，产生了三维的感觉。然后融合图像在我们的大脑中被处理。因此，一些研究者也开始通过处理融合图像来评估立体图像的质量。文献[36]中利用高斯滤波器组响应差的能量得到融合图像，然后用通用图像质量算法计算梯度图像与融合图像的结构信息相似性。通过对结构信息的相似性进行加权得到最终的质量分数。文献[28]提出了一种利用PCA算法获取融合图像的方法。但上述方法得到的融合图像通常是灰度融合图像，可能会丢失相应的颜色信息。此外，这些融合方法在不对称失真的立体图像上不能很好地进行融合。因此，本文根据双目对抗、多通道和对比度敏感视觉机制中的增益控制和增益增强，提出了一种适用于对称和非对称畸变立体图像的彩色融合图像。
发明内容
为克服现有技术的不足，本发明旨在提出一种多尺度的立体图像质量评价方法。所搭建的网络为单通道，网络输入左右视图形成的融合图。网络通过空洞卷积层自动提取多种尺度的图像特征，并通过信息融合，充分表征图像。为此，本发明采取的技术方案是，基于空洞卷积的立体图像质量评价方法，首先通过融合算法将左右视图处理为融合图，将其作为所搭建的多尺度卷积神经网络模型的输入，网络有三个多尺度单元，每个多尺度单元对图像进行三种不同尺度的特征提取，并将三种不同尺度的特征融合；三个多尺度单元级联，组成网络的主体，最终通过全局池化层与全连接层得到立体图像质量预测分数。
通过融合算法将左右视图处理为融合图具体步骤如下：
首先，利用Gabor滤波器提取左右视图的幅值和相位特征，共包含6个尺度和8个方向，得到48个特征图，其次，将Gabor滤波器得到的48幅不同尺度和方向的特征图按振幅的升序排列得到集合
增益控制和增益增强由公式(1)和(2)得到；
Gabor滤波后，利用对比度敏感函数(CSF)对特征图进行处理，其处理结果可以通过
表达。每张特征图的权重为
增益控制
和增益增强
的总能对比由公式(5)得到。容和图像最终通过公式(6)得到；
A(f)＝2.6(0.192+0.114f)exp[-(0.114f)1.1] (3)
三个多尺度模块级联构成网络的主体，最后一个多尺度单元后面是标准卷积层、全局池化层和只有一个输入和一个输出的全连接层；模型中各卷积层的核均为3×3，卷积层后用整流线性单元ReLU作为激活函数。
多尺度模块结构是，输入的特征图通过空洞率分别为1,2,4的三个并行的空洞卷积层，并通过′concat′层进行融合，然后通过两个标准卷积层和一个最大池化层得到多尺度模块的输出。
本发明的特点及有益效果是：
本发明所提出的立体图像质量评价网络模型考虑了人眼视觉机制和人脑信息处理网络的多尺度特性，通过多种尺度信息提取的过程，提升表征图像的能力，提高网络的性能。实验结果表明本发明的评价结果与主观质量具有很高的一致性，且在对称失真和非对称失真的立体图像上均取得了较好的效果。
附图说明：
图1融合算法流程。
图2模型结构。
图3空洞卷积。
(a)空洞率＝1(b)空洞率＝2(c)空洞率＝4。
图3中，每个小方格表示一个像素点，(a),(b),(c)分别表示空洞率为1,2,4的空洞卷积的感受野，所有阴影部分即为卷积核的感受野，其中每个标注为实心圆点的像素点是卷积核所要进行卷积计算的像素点。
图4多尺度模块结构，输入的特征图通过空洞率分别为1,2,4的三个并行的空洞卷积层，并通过′concat′层进行融合，然后通过两个标准卷积层和一个最大池化层得到多尺度模块的输出。
具体实施方式
本发明首先通过融合算法将左右视图处理为融合图，将其作为所搭建的多尺度卷积神经网络模型的输入。网络有三个多尺度单元，每个多尺度单元对图像进行三种不同尺度的特征提取，并将三种不同尺度的特征融合；三个多尺度单元级联，组成网络的主体，最终通过全局池化层与全连接层得到立体图像质量预测分数。
1、图像融合
人类的左眼和右眼首先同时接收同一场景的信息。视网膜融合后，在我们的大脑中形成了一个双目单视觉图像，称为融合图像，产生了三维的感觉。然后融合图像在我们的大脑中被处理。因此，本发明中首先对左右视图进行融合。
2、空洞卷积
卷积层在神经网络中的作用是降低图像分辨率，提取有效的图像特征。虽然标准卷积做得很好，但几乎完全消除空间敏锐度可能会阻止这些模型获得更高的精度，比如通过保存对正确理解图像非常重要的小而薄的对象。在一些研究领域，这种保留可能不是很重要，因为在不同的场景中占主导地位的内容是不同的，而且在分析复杂的自然场景时，必须考虑多种内容及其相关结构。考虑到自然场景图像的丰富内容，我们将空洞卷积应用到立体图像质量评价领域。
空洞卷积与标准卷积的最大区别在于空洞率。空洞卷积可以使接收域在不增加参数量的情况下线性增长。在图3中，(a)空洞率＝1，(a)中每个核的感受野为3×3。(b)空洞率＝2，(b)中每个核的感受野为7×7。(c)空洞率＝4，(c)中每个核的感受野为15×15。
本发明在公开的立体图像库LIVE 3D Phase I和LIVE 3D Phase II上进行实验。其中，LIVE I有20对参考立体图像，365张对称失真立体图像对，包含5种失真；类型，分别是：高斯模糊Gblur,高斯白噪声WN,JPEG压缩,JP2K压缩和快衰退FF。LIVE II库有8对参考立体图像，120张对称失真与240张非对称失真的立体图像对，其中包含的5种失真类型与LIVE I中失真类型相同。下面结合技术方法详细说明本方法。
考虑到人脑信息处理机制，本发明提出了一种多尺度的立体图像质量评价方法。所搭建的网络为单通道，网络输入左右视图形成的融合图。网络通过空洞卷积层自动提取多种尺度的图像特征，并通过信息融合，充分表征图像。本发明所提方法的具体流程如图2所示。
具体内容如下：
1、融合图像
在人类视觉系统中，有一些细胞可以被线性建模为被细长中心包围的感受野，这些感受野在空间频率和方向上具有很强的选择性。因此，本发明中使用Gabor滤波来模拟人眼的多通道特性。我们使用Gabor滤波器对图像的RGB三个通道进行滤波。在每个频率方向上，一只眼对另一只眼接收到的信号按自身对比度能量输入比例进行增益控制，对另一只眼的增益控制。
首先，利用Gabor滤波器提取左右视图的幅值和相位特征，共包含6个尺度和8个方向，得到48个特征图。其次，将Gabor滤波器得到的48幅不同尺度和方向的特征图按振幅的升序排列得到集合
增益控制和增益增强可以由公式(1)和(2)得到。Gabor滤波后，利用对比度敏感函数(CSF)对特征图进行处理，其处理结果可以通过
表达。每张特征图的权重为
增益控制
和增益增强
的总能对比由公式(5)得到。
容和图像最终通过公式(6)得到。
A(f)＝2.6(0.192+0.114f)exp[-(0.114f)1.1] (3)
2、网络模型
网络结构如图2所示，其中，多尺度模块由空洞卷积层构成。空洞卷积原理如图3所示。多尺度模块结构如图4所示。三个多尺度模块级联构成网络的主体。最后一个多尺度单元后面是标准卷积层、全局池化层和只有一个输入和一个输出的全连接层。全局池化层替换了全连接层，大大减少了参数。模型中各卷积层的核均为3×3，卷积层后用整流线性单元(ReLU)作为激活函数。采用融合图像作为输入，更好地模拟了人脑对图像的处理过程，非常适合评价对称和非对称失真图像的质量。
本发明中使用多个空洞卷积层并行模拟人脑多尺度信息处理网络。本发明采用三个空洞卷积层来提取不同尺度的图像特征，这三个层的空洞率分别为1、2和3。根据人脑信息处理网络的结构，将三个多尺度单元级联模拟人脑，不同于传统的多尺度方法提取不同层次的多尺度信息。然后将三种不同尺度的特征通过‘Concat’进行融合，然后送入标准卷积层进行进一步的特征提取。
3、立体图像质量评价结果与分析
本发明在公开的立体图像库LIVE 3D Phase I和LIVE 3D Phase II上进行实验。为了证明本发明所提方法的有效性，本发明与文献[26-30]所提方法进行了比较。
表1展示了本发明所提方法在LIVE 3D Phase I和LIVE 3D Phase II库上的表现。
表1在LIVE 3D数据库上不同方法的性能比较
本发明的方法在LIVE I数据库中的SROCC为0.9635，PLCC为0.9642，在LIVE II数据库中的SROCC为0.9432，PLCC为0.9534。实验结果表明，本发明在对称失真与非对称失真数据库上均取得了最优性能。本发明通过多种尺度信息的融合，实现不同结构信息的交流，从而模拟人眼信息处理机制，实现了较好的评价效果。
表2和表3展示了本发明所提方法在不同失真类型上的表现。
表2在LIVE 3D数据库上不同方法分失真类型的PLCC的比较
表3在LIVE 3D数据库上不同方法分失真类型的SROCC的比较
由于本发明不是针对某种特定类型的失真而设计，所以本发明方法在分失真类型上未全部取得最佳性能。结合表1所示实验结果综合考虑，本发明所提方法对于所有样本具有较好的适应能力和泛化能力。
表4展示了有无空洞卷积的影响。
表4在LIVE 3D上有无空洞卷积的影响
‘Pro-plain’表示使用标准卷积的多尺度网络模型，‘Proposed’表示使用空洞卷积的模型，‘para’网络的参数量，‘macc’表示网络在迭代过程中的乘累加次数，实验结果表明，虽然有无空洞卷积对最终性能影响不大，但是使用空洞卷积后无论是网络参数还是网络的乘累加的次数都有非常明显的降低，使网络学习任务更加轻松。
表5展示的是空洞率对网络的影响。
表5在LIVE 3D上空洞率的影响
‘Pro-1’表示只使用了一个空洞率为1的空洞卷积层进行特征提取，‘Pro-12’表示使用空洞率为1和2的空洞卷积层进行特征提取并融合，以此类推。实验结果表明，使用少于三个尺度的网络性能没有三个尺度的好，但是超过三个尺度的网络性能没有明显提升，反而导致参数增加，网络复杂性提高，所以使用空洞率为1，2，和3的卷积层是最为合理的。
表6展示的是有无融合图对网络性能的影响。
表6在LIVE 3D上有无融合图的影响
‘Pro-LR’表示将左右视图输入网络，然后进行回归，‘Pro-CYC’表示输入为融合图。结果表明，使用融合图作为输入性能更佳，也更加符合人眼的视觉系统。
参考文献
[1]L.Chen and J.Zhao，“Robust contourlet-based blind watermarking fordepth-image-based rendering 3D images，”Signal Process.：Image Commun.，vol.54，pp.56-65，2017.
[2]S.Khan Md，B.Appina and S.S.Channappayya，″Full-Reference StereoImage Quality Assessment Using Natural Stereo Scene Statistics，″in IEEESignal Processing Letters，vol.22，no.11，pp.1985-1989，Nov.2015.
[3]X.Wang，S.Kwong，Y.Zhang and Y.Zhang，″Considering binocular spatialsensitivity in stereoscopic image quality assessment，″2011 VisualCommunications and Image Processing(VCIP)，Tainan，2011，pp.1-4.
[4]F.Shao，K.Li，W.Lin，G.Jiang，M.Yu and Q.Dai，″Full-Reference QualityAssessment of Stereoscopic Images by Learning Binocular Receptive FieldProperties，″in IEEE Transactions on Image Processing，vol.24，no.10，pp.2971-2983，Oct.2015.
[5]Y.Lin and J.Wu，″Quality Assessment of Stereoscopic 3D ImageCompression by Binocular Integration Behaviors，″in IEEE Transactions on ImageProcessing，vol.23，no.4，pp.1527-1542，April 2014.
[6]Zhou Wang，A.C.Bovik，H.R.Sheikh and E.P.Simoncelli，″Image qualityassessment：from error visibility to structural similarity，″in IEEETransactions on Image Processing，vol.13，no.4，pp.600-612，April 2004.
[7]L.Zhang，L.Zhang，X.Mou and D.Zhang，″FSIM：A Feature Similarity Indexfor Image Quality Assessment，″in IEEE Transactions on Image Processing，vol.20，no.8，pp.2378-2386，Aug.2011.
[8]A.Maalouf and M.Larabi，″CYCLOP：A stereo color image qualityassessment metric，″2011 IEEE International Conference on Acoustics，Speech andSignal Processing(ICASSP)，Prague，2011，pp.1161-1164.
[9]Q.Li and Z.Wang，″Reduced-Reference Image Quality Assessment UsingDivisive Normalization-Based Image Representation，″in IEEE Journal ofSelected Topics in Signal Processing，vol.3，no.2，pp.202-211，April 2009.
[10]J.Ma，P.An，L.Shen and K.Li，″Reduced-Reference Stereoscopic ImageQuality Assessment Using Natural Scene Statistics and StructuralDegradation，″in IEEE Access，vol.6，pp.2768-2780，2018.
[11]J.Wu，W.Lin，G.Shi and L.Xu，″Reduced-reference image qualityassessment with local binary structural pattern，″2014 IEEE InternationalSymposium on Circuits and Systems(ISCAS)，Melbourne VIC，2014，pp.898-901.
[12]Chu，Xiu Qin，Y.Y.Wu，and Q.Li.″Saliency structure stereoscopicimage quality assessment method.″Optik-International Journal for Light andElectron Optics 125.2(2014)：704-709.
[13]F.Shao，K.Li，W.Lin，G.Jiang and M.Yu，″Using Binocular FeatureCombination for Blind Quality Assessment of Stereoscopic Images，″in IEEESignal Processing Letters，vol.22，no.10，pp.1548-1551，Oct.2015.
[14]M.Chen，L.K.Cormack and A.C.Bovik，″No-Reference Quality Assessmentof Natural Stereopairs，″in IEEE Transactions on Image Processing，vol.22，no.9，pp.3379-3391，Sept.2013.
[15]T.Liu，C.Lin，H.Liu and S.Pei，″Blind Stereoscopic Image QualityAssessment Based on Hierarchical Learning，″in IEEE Access，vol.7，pp.8058-8069，2019.
[16]J.Yang，P.An，J.Ma，K.Li and L.Shen，″No-reference stereo imagequality assessment by learning gradient dictionary-based color visualcharacteristics，″2018 IEEE International Symposium on Circuits and Systems(ISCAS)，Florence，2018，pp.1-5.
[17]S.Ryu and K.Sohn，″No-Reference Quality Assessment forStereoscopic Images Based on Binocular Quality Perception，″in IEEETransactions on Circuits and Systems for Video Technology，vol.24，no.4，pp.591-602，April 2014.
[18]Y.Li et al.，″No-Reference Stereoscopic Image Quality AssessmentBased on Visual Attention and Perception，″in IEEE Access，vol.7，pp.46706-46716，2019.
[19]Y.Liu，F.Kong and Z.Zhen，″Toward a Quality Predictor forStereoscopic Images via Analysis of Human Binocular Visual Perception，″inIEEE Access.doi：10.1109/ACCESS.2019.2919155.
[20]K.Li，F.Shao，G.Jiang and M.Yu，″Joint structure-texture sparsecoding for quality prediction of stereoscopic images，″Electronics Letters，vol.51，no.24，pp.1994-1995，19 11 2015.
[21]X.Wang，S.Kwong，Y.Zhang and Y.Zhang，″Considering binocular spatialsensitivity in stereoscopic image quality assessment，″Visual Communicationsand Image Processing(VCIP)，Tainan，2011，pp.1-4.
[22]F.Shao，K.Li，W.Lin，G.Jiang and M.Yu，″Using Binocular FeatureCombination for Blind Quality Assessment of Stereoscopic Images，″IEEE SignalProcessing，vol.22，no.10，pp.1548-1551，Oct.2015.
[23]J.Yang，K.Sim，X.Gao，W.Lu，Q.Meng and B.Li，″A Blind StereoscopicImage Quality Evaluator With Segmented Stacked Autoencoders Considering theWhole Visual Perception Route，″IEEE T IMAGE PROCESS，vol.28，no.3，pp.1314-1328，March 2019.
[24]W.Zhang，C.Qu，L.Ma，J.Guan，and R.Huang，“Learning structure ofstereoscopic image for no-reference quality assessment with convolutionalneural network，”Pattern Recognition，vol.59，pp.176-187，Nov.2016.
[25]Y.Ding et al.，″No-Reference Stereoscopic Image Quality AssessmentUsing Convolutional Neural Network for Adaptive Feature Extraction，″in IEEEAccess，vol.6，pp.37595-37603，2018.
[26]Y.Fang，J.Yan，X.Liu，and J.Wang，“Stereoscopic image qualityassessment by deep convolutional neural network，”Journal of VisualCommunication and Image Representation，vol.58，pp.400-406，2019.
[27]H.Oh，S.Ahn，J.Kim and S.Lee，″Blind Deep S3D Image QualityEvaluation via Local to Global Feature Aggregation，″IEEE T IMAGE PROCESS，vol.26，no.10，pp.4923-4936，Oct.2017.
[28]Q.Sang，T.Gu，C.Li and X.Wu，″Stereoscopic image quality assessmentvia convolutional neural networks，″2017 International Smart Cities Conference(ISC2)，Wuxi，2017，pp.1-2.
[29]L.Chen and J.Zhao，″No-Reference Quality Assessment forStereoscopic 3D Images Based on Binocular Visual Perception，″2018 IEEEInternational Symposium on Haptic，Audio and Visual Environments and Games(HAVE)，Dalian，2018，pp.1-5.
[30]J.Yang，K.Sim，W.Lu and B.Jiang，″Predicting Stereoscopic ImageQuality via Stacked Auto-Encoders Based on Stereopsis Formation，″in IEEETransactions on Multimedia，vol.21，no.7，pp.1750-1761，July 2019.
[31]X.Xu et al.，″3D No-Reference Image Quality Assessment viaTransfer Learning and Saliency-Guided Feature Consolidation，″in IEEE Access，vol.7，pp.85286-85297，2019.
[32]B.Ge et al.，″Construction of multi-scale brain networks viaDICCCOL landmarks，″2013 IEEE 10th International Symposium on BiomedicalImaging，San Francisco，CA，2013，pp.680-683
[33]K.Gu，G.Zhai，X.Yang and W.Zhang，″A new no-reference stereoscopicimage quality assessment based on ocular dominance theory and degree ofparallax，″Proceedings of the 21st International Conference on PatternRecognition(ICPR2012)，Tsukuba，2012，pp.206-209.
[34]F.Shao，S.Gu，G.Jang and M.Yu，″A Novel No-Reference StereoscopicImage Quality Assessment Method，″2012 Symposium on Photonics andOptoelectronics，Shanghai，2012，pp.1-4.
[35]D.V.Meegan，L.B.Stelmach，and W.J.Tam，″Unequal weighting ofmonocular inputs in binocular combination：Implications for the compression ofstereoscopic imagery，″J.Exp.Psychol.，Appl.，vol.7，no.2，pp.143-153，Jan.2001.
[36]K.Lu and W.Zhu，″Stereoscopic Image Quality Assessment Based onCyclopean Image，″2016 IEEE 14th Intl Confon Dependable，Autonomic and SecureComputing，14th Intl Conf on Pervasive Intelligence and Computing，2nd IntlConf on Big Data Intelligence and Computing and Cyber Science and TechnologyCongress(DASC/PiCom/DataCom/CyberSciTech)，Auckland，2016，pp.420-423.
[37]L.Kang，P.Ye，Y.Li and D.Doermann，″Convolutional Neural Networksfor No-Reference Image Quality Assessment，″2014 IEEE Conference on ComputerVision and Pattern Recognition，Columbus，OH，2014，pp.1733-1740.
[38]G.Yue，C.Hou，Q.Jiang，and Y.Yang，“Blind stereoscopic 3D imagequality assessment via analysis of naturalness，structure，and binocularasymmetry，”Signal Proc.，vol.150，pp.204-214，2018。
Claims (4)
1.一种基于空洞卷积的立体图像质量评价方法，其特征是，首先通过融合算法将左右视图处理为融合图，将其作为所搭建的多尺度卷积神经网络模型的输入，网络有三个多尺度单元，每个多尺度单元对图像进行三种不同尺度的特征提取，并将三种不同尺度的特征融合；三个多尺度单元级联，组成网络的主体，最终通过全局池化层与全连接层得到立体图像质量预测分数。
2.如权利要求1所述的基于空洞卷积的立体图像质量评价方法，其特征是，通过融合算法将左右视图处理为融合图具体步骤如下：
首先，利用Gabor滤波器提取左右视图的幅值和相位特征，共包含6个尺度和8个方向，得到48个特征图，其次，将Gabor滤波器得到的48幅不同尺度和方向的特征图按振幅的升序排列得到集合
增益控制和增益增强由公式(1)和(2)得到；
Gabor滤波后，利用对比度敏感函数(CSF)对特征图进行处理，其处理结果可以通过
表达，每张特征图的权重为
增益控制
和增益增强
的总能对比由公式(5)得到。容和图像最终通过公式(6)得到；
A(f)＝2.6(0.192+0.114f)exp[-(0.114f)1.1] (3)
3.如权利要求1所述的基于空洞卷积的立体图像质量评价方法，其特征是，三个多尺度模块级联构成网络的主体，最后一个多尺度单元后面是标准卷积层、全局池化层和只有一个输入和一个输出的全连接层；模型中各卷积层的核均为3×3，卷积层后用整流线性单元ReLU作为激活函数。
4.如权利要求1所述的基于空洞卷积的立体图像质量评价方法，其特征是，多尺度模块结构是，输入的特征图通过空洞率分别为1,2,4的三个并行的空洞卷积层，并通过′concat′层进行融合，然后通过两个标准卷积层和一个最大池化层得到多尺度模块的输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010761341.6A CN111915589A (zh) | 2020-07-31 | 2020-07-31 | 基于空洞卷积的立体图像质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010761341.6A CN111915589A (zh) | 2020-07-31 | 2020-07-31 | 基于空洞卷积的立体图像质量评价方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111915589A true CN111915589A (zh) | 2020-11-10 |
Family
ID=73287822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010761341.6A Pending CN111915589A (zh) | 2020-07-31 | 2020-07-31 | 基于空洞卷积的立体图像质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111915589A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205503A (zh) * | 2021-05-11 | 2021-08-03 | 宁波海上鲜信息技术股份有限公司 | 一种卫星海岸带影像质量评价方法 |
| CN113611315A (zh) * | 2021-08-03 | 2021-11-05 | 南开大学 | 基于轻量化卷积神经网络的声纹识别方法和装置 |
| CN115131632A (zh) * | 2022-08-29 | 2022-09-30 | 北京师范大学 | 一种训练样本深度优化的低耗图像检索方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330873A (zh) * | 2017-05-05 | 2017-11-07 | 浙江大学 | 基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法 |
| CN110458802A (zh) * | 2019-06-28 | 2019-11-15 | 天津大学 | 基于投影权值归一化的立体图像质量评价方法 |
-
2020
- 2020-07-31 CN CN202010761341.6A patent/CN111915589A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330873A (zh) * | 2017-05-05 | 2017-11-07 | 浙江大学 | 基于多尺度双目融合和局部特征提取的立体图像质量客观评价方法 |
| CN110458802A (zh) * | 2019-06-28 | 2019-11-15 | 天津大学 | 基于投影权值归一化的立体图像质量评价方法 |
Non-Patent Citations (3)
| Title |
|---|
| PING ZHAO等: ""No-Reference_Stereoscopic_Image_Quality_Assessment_Based_on_Dilation_Convolution"", 《IEEE》 * |
| 李素梅等: ""基于投影权值归一化的立体图像质量评价方法"", 《天津大学学报（自然科学与工程技术版）》 * |
| 李素梅等: ""基于融合图像的无参考立体图像质量评价"", 《天津大学学报（自然科学与工程技术版）》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113205503A (zh) * | 2021-05-11 | 2021-08-03 | 宁波海上鲜信息技术股份有限公司 | 一种卫星海岸带影像质量评价方法 |
| CN113611315A (zh) * | 2021-08-03 | 2021-11-05 | 南开大学 | 基于轻量化卷积神经网络的声纹识别方法和装置 |
| CN113611315B (zh) * | 2021-08-03 | 2023-09-22 | 南开大学 | 基于轻量化卷积神经网络的声纹识别方法和装置 |
| CN115131632A (zh) * | 2022-08-29 | 2022-09-30 | 北京师范大学 | 一种训练样本深度优化的低耗图像检索方法及系统 |
| CN115131632B (zh) * | 2022-08-29 | 2022-11-04 | 北京师范大学 | 一种训练样本深度优化的低耗图像检索方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Learning structure of stereoscopic image for no-reference quality assessment with convolutional neural network | |
| CN109360178B (zh) | 基于融合图像的无参考立体图像质量评价方法 | |
| CN108391121B (zh) | 一种基于深度神经网络的无参考立体图像质量评价方法 | |
| CN110060236B (zh) | 基于深度卷积神经网络的立体图像质量评价方法 | |
| CN110689599B (zh) | 基于非局部增强的生成对抗网络的3d视觉显著性预测方法 | |
| Lee et al. | Local disparity estimation with three-moded cross census and advanced support weight | |
| CN111915589A (zh) | 基于空洞卷积的立体图像质量评价方法 | |
| CN110111304B (zh) | 基于局部到全局特征回归的无参考立体图像质量评价方法 | |
| CN108769671B (zh) | 基于自适应融合图像的立体图像质量评价方法 | |
| Shen et al. | No-reference stereoscopic image quality assessment based on global and local content characteristics | |
| CN109831664B (zh) | 基于深度学习的快速压缩立体视频质量评价方法 | |
| CN110246111B (zh) | 基于融合图像和强化图像的无参考立体图像质量评价方法 | |
| CN111402311B (zh) | 一种基于知识蒸馏的轻量级立体视差估计方法 | |
| CN109859166B (zh) | 一种基于多列卷积神经网络的无参3d图像质量评估方法 | |
| CN110351548B (zh) | 一种深度学习及视差图加权指导的立体图像质量评价方法 | |
| CN109523513A (zh) | 基于稀疏重建彩色融合图像的立体图像质量评价方法 | |
| CN112507920B (zh) | 一种基于时间位移和注意力机制的考试异常行为识别方法 | |
| CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 | |
| CN105898279B (zh) | 一种立体图像质量客观评价方法 | |
| CN115131229A (zh) | 图像降噪、滤波数据处理方法、装置和计算机设备 | |
| Kim et al. | Visual comfort aware-reinforcement learning for depth adjustment of stereoscopic 3d images | |
| Messai et al. | No-reference stereoscopic image quality predictor using deep features from cyclopean image | |
| CN110738645A (zh) | 基于卷积神经网络的3d图像质量检测方法 | |
| Meng et al. | No-reference stereoscopic image quality assessment based on the human visual system | |
| Zhao et al. | No-reference stereoscopic image quality assessment based on dilation convolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201110 |
|
| RJ01 | Rejection of invention patent application after publication |