CN107633513A - 基于深度学习的3d图像质量的度量方法 - Google Patents
基于深度学习的3d图像质量的度量方法 Download PDFInfo
- Publication number
- CN107633513A CN107633513A CN201710842515.XA CN201710842515A CN107633513A CN 107633513 A CN107633513 A CN 107633513A CN 201710842515 A CN201710842515 A CN 201710842515A CN 107633513 A CN107633513 A CN 107633513A
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- msub
- msubsup
- mfrac
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000009877 rendering Methods 0.000 title abstract 2
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 36
- 238000000513 principal component analysis Methods 0.000 claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 28
- 230000009467 reduction Effects 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000005070 sampling Methods 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 9
- 230000000903 blocking effect Effects 0.000 claims description 8
- 238000005520 cutting process Methods 0.000 claims description 8
- 238000002474 experimental method Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 4
- 238000007405 data analysis Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000006116 polymerization reaction Methods 0.000 claims description 2
- 238000000691 measurement method Methods 0.000 claims 1
- 238000013442 quality metrics Methods 0.000 claims 1
- 238000013441 quality evaluation Methods 0.000 abstract description 24
- 238000011161 development Methods 0.000 abstract description 6
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000003384 imaging method Methods 0.000 abstract description 3
- 238000013480 data collection Methods 0.000 abstract 3
- 238000011156 evaluation Methods 0.000 description 25
- 241000282414 Homo sapiens Species 0.000 description 13
- 230000018109 developmental process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012880 independent component analysis Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 235000008216 herbs Nutrition 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明属于图像处理领域，为提出一种新的立体图像质量评价方法，实现更加准确有效的评价立体图像质量,同时在一定程度上推动立体成像技术的发展。为此，本发明采用的技术方案是，基于深度学习的3D图像质量的度量方法，首先对立体图像数据集进行切块处理，切块处理得到许多小的图像块，再对每个图像块进行归一化处理；同时对立体图像数据集进行主成分分析PCA降维处理，得到维度较低的图像；然后将切块得到的图像块数据集与PCA降维后得到的低维度数据集送入搭建的卷积神经网络中；然后利用卷积神经网络逐层提取特征；最后通过softmax分类器得到立体图像的总体质量。本发明主要应用于图像处理。
Description
技术领域
本发明属于图像处理领域，涉及立体图像质量评价方法改进优化，尤其是涉及深度学习的卷积神经网络和主成分分析在立体图像质量客观评价中的应用。
背景技术
随着移动设备和通信的快速发展，人们生活中接触到的图片内容也越来越多，尤其是最近兴起的3D显示技术和相关应用极大地提高了人眼的视觉感受，比如，3D电影、VR眼镜等，带来了更多的娱乐和独一无二的体验，这不仅在工业界，也在学术界吸引了更多的研究者，如何实时有效地评估立体图像的质量已成为立体图像研究领域的关键问题之一。立体图像的质量评价方法一般分为主观评价(subjective evaluation)和客观评价(objective evaluation)。由于人眼是最终的图像的最终接收者，所以主观评价被看作是评估立体图像质量的一种可靠方法，但是主观评价方法需要很多的观察者参与图像评价的实验中，每个观察者要给出图像的主观分数，最后统计计算得到平均主观分数(Meanopinion score,MOS)，这种方式虽然可以获得较准确的图像评价，但花费的时间和成本长，而客观评价方法能够自动评估立体图像的质量，能够有效的弥补主观评价方法的不足。因此，建立一套可以准确反映人眼主观感受的立体图像质量客观评价机制具有深远意义[1]。
近年来，相关研究机构对立体图像质量评价算法进行了深入研究，早期是直接将平面图像质量评价方法应用于立体图像质量评价上，如峰值信噪比(PSNR)、均方误差(MSE)、结构相似度(SSIM)等评价指标。然而立体图像中包含更多的因素如深度图等，直接将平面图像质量评价算法应用于立体图像质量评价上终究是不符合人眼的主观感受。因此研究工作者考虑将平面图像质量评价算法与立体图像中的一些因素相结合，从而提升评价效果。文献[2]融合了立体图像中的深度特性、结构特性和梯度特性，经过实验后得到的结果与主观评价有较高的一致性。文献[3]将结构相似度和立体图像深度信息进行线性组合得到相应的立体图像质量评价得分；文献[4]考虑到人类在观看外部事物时具有的生理特性和心理特性，结合结构相似度方法提出了改进SSIM的算法；文献[5]提出了一种将视差信息进行加权处理的立体图像客观评价算法，并在实验中采用相应的立体图像数据库对算法性能进行评估，结果发现加入视差信息后算法能够实现更好的评价效果；文献[6]在传统平面图像质量评价考虑因素中加入了人类的双目融合特性，提出了一种改进的立体图像质量评价方法。以上文献所提出的算法均是基于人眼视觉系统(HVS)的评价方法。然而，由于人眼系统比较复杂，目前对HVS的研究得不够深入，因而基于HVS的评价方式与人眼的主观感受不能完全相符。因此，研究人员提出采用能够模拟人类大脑的神经网络方式进行立体图像质量评价，并取得了良好的效果。文献[7]首先通过独立成分分析(ICA)提取立体图像的有效特征，然后通过基于二叉树的支持向量机(BT-SVM)算法提出了一种应用在立体图像质量客观评价上的分类器，能够分类识别不同立体图像的质量；文献[8]考虑到传统神经网络学习速度慢、泛化能力差等缺点，首先通过主成分分析(PCA)进行原始图像的预处理，引入极限学习机(ELM)[9-11]对立体图像质量进行客观评价。但由于ELM网络的初始参数即输入权重和阈值随机给定，导致网络的性能不稳定。
近年来，深度学习成为机器学习和神经网络相关领域的研究热点，深度学习能够模拟人脑深层次处理数据的方式对原始数据内部结构和关系得到层次化的特征表示，因而经该预处理后的网络参数符合人脑的处理结果，训练后得到的网络稳定性和泛化能力也有一定的提高。卷积神经网络(CNN)是深度学习网络中的一种经典网络，已经被广泛应用于识别、定位和理解等任务，它以原始图像作为输入，并将特征学习和训练集为一体，能够有效地学习复杂的映射。应用CNN进行平面图像质量评价的文献较多，但立体图像质量评价的相关文献较少。文献[12]中采用将图片输入到多通道的深度神经网络中进行分类，取得良好的效果，然而实验中的数据集图像的尺寸较小，对于尺寸较大的图片而言，网络处理起来相当困难。文献[13]中考虑处理尺寸较大的图，方法是将原始大图切成相同大小的小图片块后再送入到构建的神经网络模型中，最后对图像块的质量分数加权平均得到原始大图的质量分数。然而，将原始大图切割成小的图像块后会破坏原始图像的结构信息，从而影响立体图像质量评价的准确性。
立体图像质量评价算法的发展对立体图像的发展有着重要的意义。
发明内容
为克服现有技术的不足，本发明旨在提出一种新的立体图像质量评价方法，实现更加准确有效的评价立体图像质量,同时在一定程度上推动立体成像技术的发展。为此，本发明采用的技术方案是，基于深度学习的3D图像质量的度量方法，首先对立体图像数据集进行切块处理，切块处理得到许多小的图像块，再对每个图像块进行归一化处理；同时对立体图像数据集进行主成分分析PCA降维处理，得到维度较低的图像；然后将切块得到的图像块数据集与PCA降维后得到的低维度数据集送入搭建的卷积神经网络中；然后利用卷积神经网络逐层提取特征；最后通过softmax分类器得到立体图像的总体质量。
一个实例中具体步骤如下：
(1)读入训练样本，并将样本随机分成训练集和测试集两部分，并对样本归一化；
(2)对训练集和测试集使用PCA算法进行降维处理以及切块处理后得到两组数据集；
(3)将降维后的训练集以及切块后的数据以多通道的方式送入具有多尺度池化层的卷积神经网络中进行训练；
(4)通过训练集训练好后，完成模型建立；
(5)将测试集送入训练好的网络中，得出质量分数。
图像分块处理的步骤如下：
(1)图像分块，假设图片大小为M×N维，图片块的大小设置为k×k维，那么分块后得到的图像块数量n为：
n＝(M/k)(N/k) (1)
若M与N不是恰好为k的整数倍，通过对其图像矩阵补0使得其为k的整数倍；
(2)图像块归一化处理规则如下：
公式(2)中I(i,j)表示在位置(i,j)处的初始像素值，Ω表示计算均值与方差的局部区域，m×n表示的是在局部区域Ω中的像素点的总个数，μ(x,y)表示I(i,j)区域的均值，σ(x,y)表示I(i,j)区域的方差，其中c表示任意的一个极小正数，以防止分母为0，表示归一化后的像素值，归一化后，原始的图像块变成零均值、方差为1的图像块；
通过PCA算法对实验图像进行降维预处理，算法步骤如下：
给定l个样本，每个样本的尺寸大小为m×n，样本的矩阵以X＝(x1,x2,…,xl)T，其中xii∈[1,l]为第i个样本构成的mn维的一维向量；
(1)对样本矩阵X作中心化处理，即利用得到样本矩阵每列的均值，之后按照每列减去其均值di＝xi-mi得到零均值矩阵
(2)计算样本数据的协方差矩阵
(3)利用SVD定理，通过求解的特征值和特征向量获得的特征值以及特征向量；
(4)对得到的特征值进行排序，并根据特征值的贡献率选取前k个特征值及其与之对应的特征向量，贡献率表示所定义的主成分在整个数据分析中占多大的比重，在这里通过选取的特征值之和与所有特征之和的比值来表示：
其中λi表示特征值向量λ中的第i个特征值；
(5)投影矩阵。将样本矩阵投影到所选择的特征向量组成的子空间中，投影过程表示如式下式所示：
x→y＝WTx (5)
其中，y是立体图像x经过PCA降维处理后的信息，WT表示的是投影矩阵；
CNN的过程如下：
(1)卷积层：卷积层的作用就是提取图像特征，原始输入图像与原始输入图像与滤波器进行卷积后通过一个激活函数，就得到第一层输出特征maps，公式为：
其中：上标表示所在的层数；*表示卷积操作；表示卷积后第j个神经元的输出；表示第l层的第i个神经元；表示卷积核；表示偏置；Mj表示选择的输入maps的集合；
(2)下采样层即池化层：下采样层的作用是对卷积层得到的图像特征进行下采样操作，即对相邻小区域进行聚合操作，采用有平均池化mean pooling、最大值池化maxpooling、随机池化stochastic pooling中的一种；
(3)全连接层：全连接层的作用是将学习到特征映射到标签空间，之后送入softmax分类器等就可以进行分类；
(4)激活函数：激活函数的主要作用是提供网络的非线性建模能力，采用有ReLU、Leaky ReLU、sigmoid中的一个；
(5)Dropout：是训练网络中的一种技巧，是在训练过程中以1-p的概率将隐层节点的输出值清0，p为丢失概率，而用bp算法更新权值时，不再更新与该节点相连的权值；
(6)LRN：对局部输入区域进行归一化，能够把所有的变量具有相似的方差，公式如下：
其中，表示卷积核i在位置(x,y)的激活值，表示响应归一化后的激活值，N是该层的卷积核的数量，k,n,α,β是常量，这些参数的值由实验设定；
使用最大值池化，公式如下：
其中，表示第k个卷积核获得的位置(i,j)处的特征图，uk表示其中的最大值，k＝1,2,...,K，K表示卷积核的数量。
在深度学习网络中，ReLU激活函数公式如下：
f(x)＝max(0,x) (8)
其中，x为神经网络的输入。
本发明的特点及有益效果是：
实验结果及数据对比表明，本发明提出的MPCNN算法所得结果与主观评价结果有更好的一致性。这说明在立体图像质量评价方面基于深度学习的方法更符合人类的观看体验。由客观评价方法SVM所得结果与主观评价结果一致性最差，本文所提方法MPCNN所得结果与主观评价结果具有最好的一致性；客观评价方法ELM和评价性能稍微比SVM好一些，且仅次于本文所提的客观质量评价方法MPCNN的性能。通过以上各种立体图像质量评价方法性能对比，我们可以发现在立体图像质量评价方面基于深度学习的方法更接近人类做出的主观评价，这说明基于PCA和卷积神经网络结合有利于提高立体图像质量评价方法的可靠性和准确性，同时也说明选择合适的特征提取以及网络模型对改善立体图像质量评价方法的性能至关重要。
附图说明：
图1传统卷积神经网络结构。
图2发明的多通道卷积神经网络结构图。
图3基于卷积神经网络的立体图像质量评价方法流图。
图4原图-花。
图5原图-河流。
图6原图-家庭。
图7原图-女孩。
图8失真图-花。
图9失真图-河流。
图10失真图-家庭。
图11失真图-女孩。
具体实施方式
本发明提供一种对图像进行切块预处理的基础上，结合主成分分析PCA降维后的数据集，再送入多通道的卷积神经网络后构造了一种新的立体图像质量评价方法。本发明提出的算法更加准确有效的评价立体图像质量,同时在一定程度上推动立体成像技术的发展。
本发明提出了基于卷积神经网络与主成分分析的立体图像质量评价方法。该方法首先分别对图像进行区域分割和主成分分析PCA降维预处理，然后将得到的切块数据集与PCA降维后的数据集送入多通道卷积神经网络中；最后，应用卷积神经网络逐层提取特征后送入softmax分类器得到立体图像的客观质量。
具体步骤如下：
首先对立体图像数据集进行切块处理，切块处理得到许多小的图像块，再对每个图像块进行归一化处理；同时对立体图像数据集进行主成分分析PCA降维处理，得到维度较低的图像；然后将切块得到的图像块数据集与PCA降维后得到的低维度数据集送入搭建的卷积神经网络中；然后利用卷积神经网络逐层提取特征；最后通过softmax分类器得到立体图像的总体质量。
一图像块预处理
卷积神经网络是通过卷积层中的卷积核提取图片的特征，若输入的图片尺寸太大，这会造成网络处理起来相对困难，另外复杂度也会大大增加。因此大多数的文献都是先将图像切割成图像块后，再将图像块送入设计的网络中。分块处理的步骤如下：
(1)图像分块。假设图片大小为M×N维，图片块的大小设置为k×k维，那么分块后得到的图像块数量n为(若M与N不是恰好为k的整数倍，可以通过对其图像矩阵补0使得其为k的整数倍)：
n＝(M/k)(N/k) (1)
(2)图像块归一化处理。由于切块后得到的是不同的图像块，为了产生相似数量级像素值的图像块，需要将图像块进行归一化处理，处理规则如下：
公式(2)中I(i,j)表示在位置(i,j)处的初始像素值，Ω表示计算均值与方差的局部区域，m×n表示的是在局部区域Ω中的像素点的总个数，μ(x,y)表示I(i,j)区域的均值，σ(x,y)表示I(i,j)区域的方差，，其中c表示任意的一个极小正数，以防止分母为0，表示归一化后的像素值，归一化后，原始的图像块变成零均值、方差为1的图像块。
二PCA算法
通过PCA算法对实验图像进行降维预处理，能够找到立体图像的有效信息，减少计算量及噪声等因素对实验的影响，另外PCA降维得到的特征向量能够较好的保持图片的结构信息。本质上，PCA算法是一种线性映射算法，算法步骤如下：
给定l个样本，每个样本的尺寸大小为m×n，样本的矩阵以X＝(x1,x2,…,xl)T，其中xi(i∈[1,l])为第i个样本构成的mn维的一维向量。
(6)对样本矩阵X作中心化处理。即利用得到样本矩阵每列的均值，之后按照每列减去其均值di＝xi-mi得到零均值矩阵
(7)计算样本数据的协方差矩阵
(8)利用SVD定理，通过求解的特征值和特征向量获得的特征值以及特征向量。
(9)对得到的特征值进行排序，并根据特征值的贡献率选取前k个特征值及其与之对应的特征向量。贡献率表示所定义的主成分在整个数据分析中占多大的比重，在这里通过选取的特征值之和与所有特征之和的比值来表示：
其中λi表示特征值向量λ中的第i个特征值。
(10)投影矩阵。将样本矩阵投影到所选择的特征向量组成的子空间中，投影过程表示如式下式所示：
x→y＝WTx (5)
其中，y是立体图像x经过PCA降维处理后的信息，WT表示的是投影矩阵。
三CNN算法
CNN算法最早由Kunihiko Fukushima提出[14]，Yann LeCun等人进行改进[15]，CNN本质上类似于一个多层感知机，具有良好的并行处理能力、自学习能力和泛化能力。传统的CNN由卷积层(convolutional layer)、下采样层(pooling layer)和全连接层(fullConnectedlayer)组成。原始图像首先经过卷积层与滤波器进行卷积，得到若干特征图(feature maps)后，通过下采样层对特征进行模糊，逐层提取特征完毕后，最后通过一个全连接层输出用以识别图像的特征，如图1所示：
CNN的基本过程如下：
(1)卷积层：卷积层的作用就是提取图像特征，原始输入图像与原始输入图像与滤波器进行卷积后通过一个激活函数，就得到第一层输出特征maps，公式为：
其中：上标表示所在的层数；*表示卷积操作；表示卷积后第j个神经元的输出；表示第l层的第i个神经元；表示卷积核；表示偏置；Mj表示选择的输入maps的集合。
(2)下采样层(池化层)：下采样层的作用是对卷积层得到的图像特征进行下采样操作，即对相邻小区域进行聚合操作。主要作用是提供很强的鲁棒性，并减少了参数的数量，防止过拟合现象的发生。常用的有平均池化(mean pooling)、最大值池化(maxpooling)、随机池化(stochastic pooling)[16]等。本文使用最大值池化，公式如下：
其中，表示第k个卷积核获得的位置(i,j)处的特征图，uk表示其中的最大值，k＝1,2,...,K，K表示卷积核的数量。
(3)全连接层：全连接层的作用是将学习到特征映射到标签空间，之后送入softmax分类器等就可以进行分类等。
(4)激活函数：激活函数的主要作用是提供网络的非线性建模能力，一个合适的激活函数能够有效的提升CNN网络的性能，常用的有ReLU[17]、Leaky ReLU[18]、sigmoid等。在深度学习网络中，ReLU激活函数使用较多，公式如下：
f(x)＝max(0,x) (8)
其中，x为神经网络的输入。
(5)Dropout：是训练网络中的一种技巧，是在训练过程中以1-p(p为丢失概率，一般为0.5)的概率将隐层节点的输出值清0，而用bp算法更新权值时，不再更新与该节点相连的权值。Dropout可以有效地提高网络的性能，并能防止过拟合[19]。
(6)LRN：对局部输入区域进行归一化，能够把所有的变量具有相似的方差，可以使监督学习算法更快，性能更好[20]，公式如下：
其中，表示卷积核i在位置(x,y)的激活值，表示响应归一化后的激活值，N是该层的卷积核的数量，k,n,α,β是常量，这些参数的值由实验设定，本实验中分别设定为k＝2,n＝5,α＝10-4,β＝0.75。
鉴于CNN网络的输入尺寸的限定，不同大小的图片输入会对网络的性能有很大差异，也会影响立体图像质量客观评价的准确性。因此，可通过对输入图片进行切块预处理操作，但分块可能会造成图像的结构信息的丢失；因此在网络中加入PCA降维后的特征向量通道，另外通过多尺度池化层提取更多的特征信息，来提高CNN网络的识别能力。
本文使用PCA算法以及切块预处理获得CNN网络的输入数据集，构造多通道网络，不同的通道采用的是不同的输入数据，对应着PCA数据、不同尺寸切块的图像块数据，使得优化后的卷积神经网络能够具有更好的分类识别效果。MPCNN的过程如下：
(1)读入训练样本，并将样本随机分成训练集和测试集两部分，并对样本归一化。
(2)对训练集和测试集使用PCA算法进行降维处理以及切块处理后得到两组数据集。
(3)将降维后的训练集以及切块后的数据以多通道的方式送入具有多尺度池化层的卷积神经网络中进行训练。
(4)通过训练集训练好后，完成模型建立。
(5)将测试集送入训练好的网络中，得出质量分数。
本文发明的模型结构如图2所示，算法结构如图3所示。
CNN网络的参数比较多，需要确定网络的层数、网络的结构、卷积层的卷积核大小以及个数，池化层的池化方式以及全连接的节点数等。本文选取不同的激励函数，包括ReLU函数、Sigmoid函数、Tanh函数、Absval函数、Power函数以及BNLL函数。实验网络的参数设置如表1，其中pca_net表示pca降维后数据集的通道网络，patch_32表示将图像切块为32×32大小数据集的通道网络，patch_256表示将图像切块为256×256大小数据集的通道网络。
Claims (6)
1.一种基于深度学习的3D图像质量的度量方法，其特征是，首先对立体图像数据集进行切块处理，切块处理得到许多小的图像块，再对每个图像块进行归一化处理；同时对立体图像数据集进行主成分分析PCA降维处理，得到维度较低的图像；然后将切块得到的图像块数据集与PCA降维后得到的低维度数据集送入搭建的卷积神经网络中；然后利用卷积神经网络逐层提取特征；最后通过softmax分类器得到立体图像的总体质量。
2.如权利要求1所述的基于深度学习的3D图像质量的度量方法，其特征是，一个实例中具体步骤如下：
(1)读入训练样本，并将样本随机分成训练集和测试集两部分，并对样本归一化；
(2)对训练集和测试集使用PCA算法进行降维处理以及切块处理后得到两组数据集；
(3)将降维后的训练集以及切块后的数据以多通道的方式送入具有多尺度池化层的卷积神经网络中进行训练；
(4)通过训练集训练好后，完成模型建立；
(5)将测试集送入训练好的网络中，得出质量分数。
3.如权利要求1所述的基于深度学习的3D图像质量的度量方法，其特征是，图像分块处理的步骤如下：
(1)图像分块，假设图片大小为M×N维，图片块的大小设置为k×k维，那么分块后得到的图像块数量n为：
n＝(M/k)(N/k) (1)
若M与N不是恰好为k的整数倍，通过对其图像矩阵补0使得其为k的整数倍；
(2)图像块归一化处理规则如下：
<mrow>
<mover>
<mi>I</mi>
<mo>^</mo>
</mover>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>&mu;</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>&sigma;</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>+</mo>
<mi>c</mi>
</mrow>
</mfrac>
</mrow>
<mrow>
<mi>&mu;</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>m</mi>
<mo>&times;</mo>
<mi>n</mi>
</mrow>
</mfrac>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
<mo>&Element;</mo>
<mi>&Omega;</mi>
</mrow>
</munder>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>j</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>&sigma;</mi>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mrow>
<mi>m</mi>
<mo>&times;</mo>
<mi>n</mi>
</mrow>
</mfrac>
<msqrt>
<mrow>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
<mo>)</mo>
<mo>&Element;</mo>
<mi>&Omega;</mi>
</mrow>
</munder>
<mrow>
<mo>(</mo>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>+</mo>
<mi>i</mi>
<mo>,</mo>
<mi>y</mi>
<mo>+</mo>
<mi>j</mi>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mi>&mu;</mi>
<mo>(</mo>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
</msqrt>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
公式(2)中I(i,j)表示在位置(i,j)处的初始像素值，Ω表示计算均值与方差的局部区域，m×n表示的是在局部区域Ω中的像素点的总个数，μ(x,y)表示I(i,j)区域的均值，σ(x,y)表示I(i,j)区域的方差，其中c表示任意的一个极小正数，以防止分母为0，表示归一化后的像素值，归一化后，原始的图像块变成零均值、方差为1的图像块。
4.如权利要求1所述的基于深度学习的3D图像质量的度量方法，其特征是，通过PCA算法对实验图像进行降维预处理，算法步骤如下：
给定l个样本，每个样本的尺寸大小为m×n，样本的矩阵以X＝(x1,x2,…,xl)T，其中xi i∈[1,l]为第i个样本构成的mn维的一维向量；
(1)对样本矩阵X作中心化处理，即利用得到样本矩阵每列的均值，之后按照每列减去其均值di＝xi-mi得到零均值矩阵
(2)计算样本数据的协方差矩阵
<mrow>
<msub>
<mi>C</mi>
<mi>x</mi>
</msub>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>l</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>l</mi>
</munderover>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<msup>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>-</mo>
<msub>
<mi>m</mi>
<mi>i</mi>
</msub>
<mo>)</mo>
</mrow>
<mi>T</mi>
</msup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>l</mi>
</mfrac>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>l</mi>
</munderover>
<msub>
<mi>d</mi>
<mi>i</mi>
</msub>
<msubsup>
<mi>d</mi>
<mi>i</mi>
<mi>T</mi>
</msubsup>
<mo>=</mo>
<mfrac>
<mn>1</mn>
<mi>l</mi>
</mfrac>
<mover>
<mi>X</mi>
<mo>&OverBar;</mo>
</mover>
<mo>&CenterDot;</mo>
<msup>
<mover>
<mi>X</mi>
<mo>&OverBar;</mo>
</mover>
<mi>T</mi>
</msup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
(3)利用SVD定理，通过求解的特征值和特征向量获得的特征值以及特征向量；
(4)对得到的特征值进行排序，并根据特征值的贡献率选取前k个特征值及其与之对应的特征向量，贡献率表示所定义的主成分在整个数据分析中占多大的比重，在这里通过选取的特征值之和与所有特征之和的比值来表示：
<mrow>
<mi>r</mi>
<mo>=</mo>
<mfrac>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>k</mi>
</munderover>
<msub>
<mi>&lambda;</mi>
<mi>i</mi>
</msub>
</mrow>
<mrow>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mi>l</mi>
</munderover>
<msub>
<mi>&lambda;</mi>
<mi>i</mi>
</msub>
</mrow>
</mfrac>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
其中λi表示特征值向量λ中的第i个特征值；
(5)投影矩阵。将样本矩阵投影到所选择的特征向量组成的子空间中，投影过程表示如式下式所示：
x→y＝WTx (5)
其中，y是立体图像x经过PCA降维处理后的信息，WT表示的是投影矩阵。
5.如权利要求1所述的基于深度学习的3D图像质量的度量方法，其特征是，卷积神经网络CNN的过程如下：
(1)卷积层：卷积层的作用就是提取图像特征，原始输入图像与原始输入图像与滤波器进行卷积后通过一个激活函数，就得到第一层输出特征maps，公式为：
<mrow>
<msubsup>
<mi>x</mi>
<mi>j</mi>
<mrow>
<mo>(</mo>
<mi>l</mi>
<mo>+</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</msubsup>
<mo>=</mo>
<mi>f</mi>
<mrow>
<mo>(</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>i</mi>
<mo>&Element;</mo>
<msub>
<mi>M</mi>
<mi>j</mi>
</msub>
</mrow>
</munder>
<msubsup>
<mi>x</mi>
<mi>i</mi>
<mi>l</mi>
</msubsup>
<mo>*</mo>
<msubsup>
<mi>k</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
<mrow>
<mi>l</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>+</mo>
<msubsup>
<mi>b</mi>
<mi>j</mi>
<mrow>
<mi>l</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
</mrow>
其中：上标表示所在的层数；*表示卷积操作；表示卷积后第j个神经元的输出；表示第l层的第i个神经元；表示卷积核；表示偏置；Mj表示选择的输入maps的集合；
(2)下采样层即池化层：下采样层的作用是对卷积层得到的图像特征进行下采样操作，即对相邻小区域进行聚合操作，采用有平均池化mean pooling、最大值池化max pooling、随机池化stochastic pooling中的一种；
(3)全连接层：全连接层的作用是将学习到特征映射到标签空间，之后送入softmax分类器等就可以进行分类；
(4)激活函数：激活函数的主要作用是提供网络的非线性建模能力，采用有ReLU、LeakyReLU、sigmoid中的一个；
(5)Dropout：是训练网络中的一种技巧，是在训练过程中以1-p的概率将隐层节点的输出值清0，p为丢失概率，而用bp算法更新权值时，不再更新与该节点相连的权值；
(6)LRN：对局部输入区域进行归一化，能够把所有的变量具有相似的方差，公式如下：
<mrow>
<msubsup>
<mi>b</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>=</mo>
<msubsup>
<mi>a</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mi>i</mi>
</msubsup>
<mo>/</mo>
<msup>
<mrow>
<mo>(</mo>
<mi>k</mi>
<mo>+</mo>
<mi>&alpha;</mi>
<munderover>
<mo>&Sigma;</mo>
<mrow>
<mi>j</mi>
<mo>=</mo>
<mi>max</mi>
<mrow>
<mo>(</mo>
<mn>0</mn>
<mo>,</mo>
<mi>i</mi>
<mo>-</mo>
<mi>i</mi>
<mo>-</mo>
<mi>n</mi>
<mo>/</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>min</mi>
<mrow>
<mo>(</mo>
<mi>N</mi>
<mo>-</mo>
<mn>1</mn>
<mo>,</mo>
<mi>i</mi>
<mo>+</mo>
<mi>i</mi>
<mo>+</mo>
<mi>n</mi>
<mo>/</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
</munderover>
<msup>
<mrow>
<mo>(</mo>
<msubsup>
<mi>a</mi>
<mrow>
<mi>x</mi>
<mo>,</mo>
<mi>y</mi>
</mrow>
<mi>j</mi>
</msubsup>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mi>&beta;</mi>
</msup>
</mrow>
其中，表示卷积核i在位置(x,y)的激活值，表示响应归一化后的激活值，N是该层的卷积核的数量，k,n,α,β是常量，这些参数的值由实验设定；
使用最大值池化，公式如下：
<mrow>
<msub>
<mi>u</mi>
<mi>k</mi>
</msub>
<mo>=</mo>
<munder>
<mi>max</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
</munder>
<msubsup>
<mi>R</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mi>j</mi>
</mrow>
<mi>k</mi>
</msubsup>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>7</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，表示第k个卷积核获得的位置(i,j)处的特征图，uk表示其中的最大值，k＝1,2,...,K，K表示卷积核的数量。
6.如权利要求5所述的基于深度学习的3D图像质量的度量方法，其特征是，在深度学习网络中，ReLU激活函数公式如下：
f(x)＝max(0,x) (8)
其中，x为神经网络的输入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710842515.XA CN107633513B (zh) | 2017-09-18 | 2017-09-18 | 基于深度学习的3d图像质量的度量方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710842515.XA CN107633513B (zh) | 2017-09-18 | 2017-09-18 | 基于深度学习的3d图像质量的度量方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107633513A true CN107633513A (zh) | 2018-01-26 |
| CN107633513B CN107633513B (zh) | 2021-08-17 |
Family
ID=61102960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710842515.XA Expired - Fee Related CN107633513B (zh) | 2017-09-18 | 2017-09-18 | 基于深度学习的3d图像质量的度量方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107633513B (zh) |
Cited By (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108226892A (zh) * | 2018-03-27 | 2018-06-29 | 天津大学 | 一种基于深度学习的复杂噪声环境下的雷达信号恢复方法 |
| CN108230322A (zh) * | 2018-01-28 | 2018-06-29 | 浙江大学 | 一种基于弱样本标记的眼底特征检测装置 |
| CN108259893A (zh) * | 2018-03-22 | 2018-07-06 | 天津大学 | 基于双流卷积神经网络的虚拟现实视频质量评价方法 |
| CN108337504A (zh) * | 2018-01-30 | 2018-07-27 | 中国科学技术大学 | 一种评价视频质量的方法及装置 |
| CN108335293A (zh) * | 2018-01-31 | 2018-07-27 | 泰康保险集团股份有限公司 | 图像质量的确定方法及装置 |
| CN108377387A (zh) * | 2018-03-22 | 2018-08-07 | 天津大学 | 基于3d卷积神经网络的虚拟现实视频质量评价方法 |
| CN108389192A (zh) * | 2018-02-11 | 2018-08-10 | 天津大学 | 基于卷积神经网络的立体图像舒适度评价方法 |
| CN108449595A (zh) * | 2018-03-22 | 2018-08-24 | 天津大学 | 基于卷积神经网络的全参考虚拟现实视频质量评价方法 |
| CN108510485A (zh) * | 2018-03-27 | 2018-09-07 | 福州大学 | 一种基于卷积神经网络的无参照图像质量评估方法 |
| CN108510494A (zh) * | 2018-04-09 | 2018-09-07 | 中国石油大学(华东) | 基于子空间辨识方法的彩色融合图像质量评价方法 |
| CN108596258A (zh) * | 2018-04-27 | 2018-09-28 | 南京邮电大学 | 一种基于卷积神经网络随机池化的图像分类方法 |
| CN108631727A (zh) * | 2018-03-26 | 2018-10-09 | 河北工业大学 | 一种基于卷积神经网络的太阳能电池板缺陷识别方法 |
| CN108961245A (zh) * | 2018-07-06 | 2018-12-07 | 西安电子科技大学 | 基于双通道深度并行卷积网络的图像质量分类方法 |
| CN109040747A (zh) * | 2018-08-06 | 2018-12-18 | 上海交通大学 | 基于卷积自编码器的立体图像舒适度质量评价方法及系统 |
| CN109146846A (zh) * | 2018-07-17 | 2019-01-04 | 深圳大学 | 无参考型图像质量评价系统及方法 |
| CN109146856A (zh) * | 2018-08-02 | 2019-01-04 | 深圳市华付信息技术有限公司 | 图像质量评定方法、装置、计算机设备及存储介质 |
| CN109190482A (zh) * | 2018-08-06 | 2019-01-11 | 北京奇艺世纪科技有限公司 | 多标签视频分类方法及系统、系统训练方法及装置 |
| CN109191457A (zh) * | 2018-09-21 | 2019-01-11 | 中国人民解放军总医院 | 一种病理图像质量有效性识别方法 |
| CN109272442A (zh) * | 2018-09-27 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 全景球面图像的处理方法、装置、设备和存储介质 |
| CN109359556A (zh) * | 2018-09-21 | 2019-02-19 | 四川长虹电器股份有限公司 | 一种基于低功耗嵌入式平台的人脸检测方法及系统 |
| CN109522819A (zh) * | 2018-10-29 | 2019-03-26 | 西安交通大学 | 一种基于深度学习的火灾图像识别方法 |
| CN109615627A (zh) * | 2018-12-14 | 2019-04-12 | 国网山东省电力公司信息通信公司 | 一种输变电巡检图像质量评价方法及系统 |
| CN109993803A (zh) * | 2019-02-25 | 2019-07-09 | 复旦大学 | 城市色调的智能分析与评价方法 |
| CN110046675A (zh) * | 2019-04-25 | 2019-07-23 | 河北工业大学 | 一种基于改进的卷积神经网络的下肢运动能力评估方法 |
| CN110298831A (zh) * | 2019-06-25 | 2019-10-01 | 暨南大学 | 一种基于分块深度学习的医学图像处理系统及其方法 |
| CN110738645A (zh) * | 2019-10-11 | 2020-01-31 | 浙江科技学院 | 基于卷积神经网络的3d图像质量检测方法 |
| CN110910344A (zh) * | 2019-10-12 | 2020-03-24 | 上海交通大学 | 一种全景图片无参考质量评价方法、系统及设备 |
| CN110909589A (zh) * | 2018-09-18 | 2020-03-24 | 迪尔公司 | 谷粒质量控制系统和方法 |
| CN111325213A (zh) * | 2020-02-20 | 2020-06-23 | 电子科技大学 | 一种移动靶标的数字字符检测方法 |
| CN111413075A (zh) * | 2020-04-02 | 2020-07-14 | 重庆交通大学 | 多尺度一维卷积神经网络的风机基座螺栓松动诊断方法 |
| CN112164056A (zh) * | 2020-09-30 | 2021-01-01 | 南京信息工程大学 | 基于交互式卷积神经网络的无参考立体图像质量评价方法 |
| CN113191424A (zh) * | 2021-04-28 | 2021-07-30 | 中国石油大学(华东) | 一种基于多模型融合的彩色融合图像质量评价方法 |
| CN113743484A (zh) * | 2021-08-20 | 2021-12-03 | 宁夏大学 | 基于空间和通道注意力机制的图像分类方法与系统 |
| CN114494266A (zh) * | 2020-10-26 | 2022-05-13 | 中国人民解放军空军军医大学 | 一种层级空洞金字塔卷积的宫颈及周边多器官分割方法 |
| CN114549402A (zh) * | 2022-01-05 | 2022-05-27 | 江苏海洋大学 | 一种不需要参考图像的水下图像质量比较方法 |
| CN114723922A (zh) * | 2022-02-24 | 2022-07-08 | 北京深势科技有限公司 | 基于数据降维的三维结构数据对比呈现方法和装置 |
| CN115062702A (zh) * | 2022-06-16 | 2022-09-16 | 四川大学 | 基于pca-e的产品感性语义词汇提取方法 |
| US11868432B1 (en) | 2022-06-16 | 2024-01-09 | Sichuan University | Method for extracting kansei adjective of product based on principal component analysis and explanation (PCA-E) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102521825A (zh) * | 2011-11-16 | 2012-06-27 | 宁波大学 | 一种基于零水印的立体图像质量客观评价方法 |
| EP2485491B1 (en) * | 2011-02-07 | 2015-12-16 | Samsung Electronics Co., Ltd. | Image processing apparatus and control method thereof |
-
2017
- 2017-09-18 CN CN201710842515.XA patent/CN107633513B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2485491B1 (en) * | 2011-02-07 | 2015-12-16 | Samsung Electronics Co., Ltd. | Image processing apparatus and control method thereof |
| CN102521825A (zh) * | 2011-11-16 | 2012-06-27 | 宁波大学 | 一种基于零水印的立体图像质量客观评价方法 |
Non-Patent Citations (2)
| Title |
|---|
| 吴限光，李素梅，程金翠: "基于遗传神经网络的立体图像的客观评价", 《信息技术》 * |
| 陈慧,李朝锋: "深度卷积神经网络的立体彩色图像质量评价", 《计算机科学与探索》 * |
Cited By (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108230322A (zh) * | 2018-01-28 | 2018-06-29 | 浙江大学 | 一种基于弱样本标记的眼底特征检测装置 |
| CN108230322B (zh) * | 2018-01-28 | 2021-11-09 | 浙江大学 | 一种基于弱样本标记的眼底特征检测装置 |
| CN108337504A (zh) * | 2018-01-30 | 2018-07-27 | 中国科学技术大学 | 一种评价视频质量的方法及装置 |
| CN108335293A (zh) * | 2018-01-31 | 2018-07-27 | 泰康保险集团股份有限公司 | 图像质量的确定方法及装置 |
| CN108335293B (zh) * | 2018-01-31 | 2020-11-03 | 泰康保险集团股份有限公司 | 图像质量的确定方法及装置 |
| CN108389192A (zh) * | 2018-02-11 | 2018-08-10 | 天津大学 | 基于卷积神经网络的立体图像舒适度评价方法 |
| CN108259893A (zh) * | 2018-03-22 | 2018-07-06 | 天津大学 | 基于双流卷积神经网络的虚拟现实视频质量评价方法 |
| CN108377387A (zh) * | 2018-03-22 | 2018-08-07 | 天津大学 | 基于3d卷积神经网络的虚拟现实视频质量评价方法 |
| CN108449595A (zh) * | 2018-03-22 | 2018-08-24 | 天津大学 | 基于卷积神经网络的全参考虚拟现实视频质量评价方法 |
| CN108631727A (zh) * | 2018-03-26 | 2018-10-09 | 河北工业大学 | 一种基于卷积神经网络的太阳能电池板缺陷识别方法 |
| CN108510485A (zh) * | 2018-03-27 | 2018-09-07 | 福州大学 | 一种基于卷积神经网络的无参照图像质量评估方法 |
| CN108226892A (zh) * | 2018-03-27 | 2018-06-29 | 天津大学 | 一种基于深度学习的复杂噪声环境下的雷达信号恢复方法 |
| CN108510485B (zh) * | 2018-03-27 | 2022-04-05 | 福州大学 | 一种基于卷积神经网络的无参照图像质量评估方法 |
| CN108510494A (zh) * | 2018-04-09 | 2018-09-07 | 中国石油大学(华东) | 基于子空间辨识方法的彩色融合图像质量评价方法 |
| CN108596258A (zh) * | 2018-04-27 | 2018-09-28 | 南京邮电大学 | 一种基于卷积神经网络随机池化的图像分类方法 |
| CN108961245A (zh) * | 2018-07-06 | 2018-12-07 | 西安电子科技大学 | 基于双通道深度并行卷积网络的图像质量分类方法 |
| CN109146846A (zh) * | 2018-07-17 | 2019-01-04 | 深圳大学 | 无参考型图像质量评价系统及方法 |
| CN109146856A (zh) * | 2018-08-02 | 2019-01-04 | 深圳市华付信息技术有限公司 | 图像质量评定方法、装置、计算机设备及存储介质 |
| CN109040747A (zh) * | 2018-08-06 | 2018-12-18 | 上海交通大学 | 基于卷积自编码器的立体图像舒适度质量评价方法及系统 |
| CN109190482A (zh) * | 2018-08-06 | 2019-01-11 | 北京奇艺世纪科技有限公司 | 多标签视频分类方法及系统、系统训练方法及装置 |
| CN110909589A (zh) * | 2018-09-18 | 2020-03-24 | 迪尔公司 | 谷粒质量控制系统和方法 |
| CN109359556A (zh) * | 2018-09-21 | 2019-02-19 | 四川长虹电器股份有限公司 | 一种基于低功耗嵌入式平台的人脸检测方法及系统 |
| CN109191457A (zh) * | 2018-09-21 | 2019-01-11 | 中国人民解放军总医院 | 一种病理图像质量有效性识别方法 |
| CN109359556B (zh) * | 2018-09-21 | 2021-08-06 | 四川长虹电器股份有限公司 | 一种基于低功耗嵌入式平台的人脸检测方法及系统 |
| CN109191457B (zh) * | 2018-09-21 | 2022-07-01 | 中国人民解放军总医院 | 一种病理图像质量有效性识别方法 |
| CN109272442A (zh) * | 2018-09-27 | 2019-01-25 | 百度在线网络技术（北京）有限公司 | 全景球面图像的处理方法、装置、设备和存储介质 |
| CN109522819A (zh) * | 2018-10-29 | 2019-03-26 | 西安交通大学 | 一种基于深度学习的火灾图像识别方法 |
| CN109615627A (zh) * | 2018-12-14 | 2019-04-12 | 国网山东省电力公司信息通信公司 | 一种输变电巡检图像质量评价方法及系统 |
| CN109993803A (zh) * | 2019-02-25 | 2019-07-09 | 复旦大学 | 城市色调的智能分析与评价方法 |
| CN110046675A (zh) * | 2019-04-25 | 2019-07-23 | 河北工业大学 | 一种基于改进的卷积神经网络的下肢运动能力评估方法 |
| CN110298831A (zh) * | 2019-06-25 | 2019-10-01 | 暨南大学 | 一种基于分块深度学习的医学图像处理系统及其方法 |
| CN110738645B (zh) * | 2019-10-11 | 2022-06-10 | 浙江科技学院 | 基于卷积神经网络的3d图像质量检测方法 |
| CN110738645A (zh) * | 2019-10-11 | 2020-01-31 | 浙江科技学院 | 基于卷积神经网络的3d图像质量检测方法 |
| CN110910344A (zh) * | 2019-10-12 | 2020-03-24 | 上海交通大学 | 一种全景图片无参考质量评价方法、系统及设备 |
| CN111325213A (zh) * | 2020-02-20 | 2020-06-23 | 电子科技大学 | 一种移动靶标的数字字符检测方法 |
| CN111325213B (zh) * | 2020-02-20 | 2022-03-15 | 电子科技大学 | 一种移动靶标的数字字符检测方法 |
| CN111413075A (zh) * | 2020-04-02 | 2020-07-14 | 重庆交通大学 | 多尺度一维卷积神经网络的风机基座螺栓松动诊断方法 |
| CN112164056B (zh) * | 2020-09-30 | 2023-08-29 | 南京信息工程大学 | 基于交互式卷积神经网络的无参考立体图像质量评价方法 |
| CN112164056A (zh) * | 2020-09-30 | 2021-01-01 | 南京信息工程大学 | 基于交互式卷积神经网络的无参考立体图像质量评价方法 |
| CN114494266A (zh) * | 2020-10-26 | 2022-05-13 | 中国人民解放军空军军医大学 | 一种层级空洞金字塔卷积的宫颈及周边多器官分割方法 |
| CN114494266B (zh) * | 2020-10-26 | 2024-05-28 | 中国人民解放军空军军医大学 | 一种层级空洞金字塔卷积的宫颈及周边多器官分割方法 |
| CN113191424A (zh) * | 2021-04-28 | 2021-07-30 | 中国石油大学(华东) | 一种基于多模型融合的彩色融合图像质量评价方法 |
| CN113743484A (zh) * | 2021-08-20 | 2021-12-03 | 宁夏大学 | 基于空间和通道注意力机制的图像分类方法与系统 |
| CN114549402A (zh) * | 2022-01-05 | 2022-05-27 | 江苏海洋大学 | 一种不需要参考图像的水下图像质量比较方法 |
| CN114723922B (zh) * | 2022-02-24 | 2023-04-18 | 北京深势科技有限公司 | 基于数据降维的三维结构数据对比呈现方法和装置 |
| CN114723922A (zh) * | 2022-02-24 | 2022-07-08 | 北京深势科技有限公司 | 基于数据降维的三维结构数据对比呈现方法和装置 |
| CN115062702A (zh) * | 2022-06-16 | 2022-09-16 | 四川大学 | 基于pca-e的产品感性语义词汇提取方法 |
| CN115062702B (zh) * | 2022-06-16 | 2023-09-08 | 四川大学 | 基于pca-e的产品感性语义词汇提取方法 |
| US11868432B1 (en) | 2022-06-16 | 2024-01-09 | Sichuan University | Method for extracting kansei adjective of product based on principal component analysis and explanation (PCA-E) |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107633513B (zh) | 2021-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107633513B (zh) | 基于深度学习的3d图像质量的度量方法 | |
| CN108304788B (zh) | 基于深度神经网络的人脸识别方法 | |
| CN108182441B (zh) | 平行多通道卷积神经网络、构建方法及图像特征提取方法 | |
| CN107563422B (zh) | 一种基于半监督卷积神经网络的极化sar分类方法 | |
| CN107066559B (zh) | 一种基于深度学习的三维模型检索方法 | |
| Narihira et al. | Learning lightness from human judgement on relative reflectance | |
| CN109360178B (zh) | 基于融合图像的无参考立体图像质量评价方法 | |
| WO2018023734A1 (zh) | 一种3d图像的显著性检测方法 | |
| CN112446476A (zh) | 神经网络模型压缩的方法、装置、存储介质和芯片 | |
| Wang et al. | Multifocus image fusion using convolutional neural networks in the discrete wavelet transform domain | |
| CN108389189B (zh) | 基于字典学习的立体图像质量评价方法 | |
| CN108830237B (zh) | 一种人脸表情的识别方法 | |
| CN111241989A (zh) | 图像识别方法及装置、电子设备 | |
| CN104408469A (zh) | 基于图像深度学习的烟火识别方法及系统 | |
| CN109063724A (zh) | 一种增强型生成式对抗网络以及目标样本识别方法 | |
| CN104268593A (zh) | 一种小样本情况下多稀疏表示的人脸识别方法 | |
| CN113762138B (zh) | 伪造人脸图片的识别方法、装置、计算机设备及存储介质 | |
| CN106980848A (zh) | 基于曲波变换和稀疏学习的人脸表情识别方法 | |
| Jiang et al. | Learning a referenceless stereopair quality engine with deep nonnegativity constrained sparse autoencoder | |
| CN112861970B (zh) | 一种基于特征融合的细粒度图像分类方法 | |
| CN110111365B (zh) | 基于深度学习的训练方法和装置以及目标跟踪方法和装置 | |
| CN115966010A (zh) | 一种基于注意力和多尺度特征融合的表情识别方法 | |
| CN111652273A (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
| CN105528620A (zh) | 一种联合鲁棒主成分特征学习与视觉分类方法及系统 | |
| CN113850182B (zh) | 基于DAMR_3DNet的动作识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210817 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |