CN110163855A - 一种基于多路深度卷积神经网络的彩色图像质量评价方法 - Google Patents

一种基于多路深度卷积神经网络的彩色图像质量评价方法 Download PDF

Info

Publication number
CN110163855A
CN110163855A CN201910414080.8A CN201910414080A CN110163855A CN 110163855 A CN110163855 A CN 110163855A CN 201910414080 A CN201910414080 A CN 201910414080A CN 110163855 A CN110163855 A CN 110163855A
Authority
CN
China
Prior art keywords
image
convolutional neural
neural networks
depth convolutional
color image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910414080.8A
Other languages
English (en)
Other versions
CN110163855B (zh
Inventor
袁媛
曾国强
高玉东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201910414080.8A priority Critical patent/CN110163855B/zh
Publication of CN110163855A publication Critical patent/CN110163855A/zh
Application granted granted Critical
Publication of CN110163855B publication Critical patent/CN110163855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出了一种基于多路深度卷积神经网路的彩色图像质量评价方法，包括(1)彩色图像的多尺度变换和色彩空间变换处理，输出多个不同分量图像；(2)单路深度卷积网络结构的设计与改进；(3)单路深度卷积网络的训练与优化；(4)单路深度卷积网络模对多个分量图像进行特征提取以及多维特征的协同融合；(5)多维输出特征向量的特征降维处理；(6)非线性回归方法对主观意见分数与降维特征的函数映射，建立起彩色图像质量预测模型，进行彩色图像的质量评价。本发明通过构建多路深度卷积神经网络模型，实现了自然图像的质量评价方法，提升了彩色图像质量的预测精度，可用于图像、视频与显示服务的动态监测与质量调整等领域。

Description

一种基于多路深度卷积神经网络的彩色图像质量评价方法
技术领域
本发明属于自然图像处理领域，涉及一种基于多路深度卷积神经网络的彩色图像质量评价方法。
背景技术
客观图像质量测度是视觉科学的重要问题，在诸如图像处理算法测度与参数优化、图像动态监测与调整等众多图像工程应用中都发挥着较大的作用和影响。无参考图像质量评价是客观图像质量测度领域的重要研究内容，在无需已知图像质量失真先验知识的前提下，实现对自然图像的客观质量评价。目前，大多数自然图像质量评价方法都是面向灰度图像而设计，在对彩色图像实施质量评价过程中，通常采用以下两种方式，第一种是将彩色图像转换成灰度图像，再使用常规的图像质量评价方法，第二类方法是利用不同色彩空间将彩色图像分解成不同颜色分量图像进行质量评价。第一种是实际图像处理中最为常见的方法。第二种方式是少量的面向彩色图像进行设计的评价方法，通常基于一个假定前提，自然图像不同色彩空间中的颜色分量之间存在相关性，质量失真的过程会破坏这种相关性，通过对不同色彩空间的颜色分量进行统计分析，提取相关参数作为颜色特征。图像颜色相关特征对图像处理具有图像平移、旋转、图像尺寸等不变性，在诸如目标和场景识别与分类、图像检索等许多图像应用中使用。事实上，人眼对于颜色的感知响应与灰度图像也存在较大差异，图像颜色信息对人眼视觉感知质量具有较大的影响。现有国内外相关文献中提出的客观自然图像质量评价方法多数面向灰度图像设计，忽视了对于图像颜色信息与质量失真之间相关性的研究，对彩色图像的质量评价精度较低。
发明内容
本发明为弥补现有无参考彩色图像质量评价方法的不足，提出一种多路深度卷积神经网络的彩色图像质量评价方法。
基于多路深度卷积神经网络的彩色图像质量评价方法的基本原理是：首先，对以RGB颜色空间形式的彩色图像实施尺度变换方法和颜色空间变换处理，生成一系列分量图像，包括多尺度分量图像和各颜色通道分量图像，这些分量图像作为深度卷积神经网络(CNN)的输入。其次，设计并改进了深度卷积神经网络结构。在通用深度卷积神经网络结构VGGNet16的基础上，根据图像质量评价算法思路，对通用CNN网络结构进行了适当拓展。具体处理方法为，保留通用CNN结构中全连接层之前的网络层，去除最后一个用于输出分类概率的全连接层，并在FC7之后增加三个全连接层。综合考虑输出特征的信息量，特征维数及后续处理的复杂度，本方法选择添加的各个全连接层的输出向量维度分别为2048(FC8)、1024(FC9)和512(FC10)，以进一步提高网络参数与图像质量的相关性。接着，各个分量图像分别作为单路CNN网络的输入以形成一个多路CNNs网络模型，对各个单路CNN网络实施迁移训练与优化。具体而言，利用VGGNet16在大规模通用图像数据集上的预训练结果作为单路CNN模型前几层网络的初始化值，保持其不变。接着使用反向传播算法从头开始训练新层，并运用预训练结果对图像质量目标域图像质量评价数据集进行微调优化，得到更新后的CNN网络模型。然后，通过Caffe计算框架中的Concat层，将多路CNN网络的输出特征向量进行协同融合，得到多维度的特征向量。接着，多路CNNs网络输出特征的维数较大，这些特征之间极有可能存在一定的冗余性，且高维度的特征数据对后续图像质量回归存在较大影响。采用局部线性嵌入方法对高维度的深度特征进行降维处理。最后，使用支持向量回归模型建立起降维的深度网络特征与主观意见分数的映射关系，以得到彩色图像质量评价模型，用于实现无参考的彩色图像质量预测。采用本发明所述的方法，对以RGB形式的彩色自然图像质量具有较高的评价精度和效率。
本发明的技术方案为一种多路深度卷积神经网络的彩色图像质量评价方法，包含以下步骤：
步骤1，对彩色自然图像进行图像变换处理，输出多个不同分量图像，包括尺度变换分量图像以及不同颜色空间的多个颜色分量；
步骤2，设计并改进单路深度卷积神经网络结构；
步骤3，训练与优化单路深度卷积神经网络；
步骤4，使用多路深度卷积网络对多个分量图像进行多特征输出；
步骤5，对步骤4输出的多特征进行降维；
步骤6，使用支持向量回归非线性算法，建立降维后的深度网络特征与主观意见分数的映射关系，得到彩色图像质量的预测模型。
进一步的，步骤1的具体实现方式如下，
步骤1.1，对图像进行尺度变换，步骤如下：
1.1.1)当图像的宽和高相同时，直接将图像缩放至256×256；
1.1.2)当图像宽高不一致时，以图像短边为准，对图像进行整体缩放变换至短边长度为256；
1.1.3)保持其中一个短边不变，对超出256的长边区域进行裁剪，截取图像中心的256×256区域部分作为最终的图像；
步骤1.2，对图像进行颜色空间转换，具体步骤如下：
1.2.1)将原RGB颜色空间的彩色图像分别转换至CIE-LAB，得到L、A、B三个颜色通道的分量图像；
1.2.2)将原RGB颜色空间的彩色图像分别转换至CIE-LMS颜色空间，得到L、M、S三个颜色通道的分量图像。
进一步的，步骤2中设计并改进单路深度卷积神经网络结构的具体步骤如下，
2.1)保留通用CNN结构中全连接层之前的网络层，并去除最后一个用于输出分类概率的全连接层；
2.2)在FC7之后增加三个全连接层，添加的各个全连接层的输出向量维度分别为2048(FC8)、1024(FC9)和512(FC10)，详细的网络结构描述为：
输入层为原图像经过图像变换处理后的多个分量图像序列；
第一卷积层(Conv1_1和Conv1_2)，卷积核为3×3，深度为64；
最大池化层(Maxpool)，核大小为2×2，输出个数为64；
第二卷积层(Conv2_1和Conv2_2)，卷积核为3×3，深度为128；
最大池化层(Maxpool)，核大小为2×2，输出个数为128；
第三卷积层(Conv3_1，Conv3_2和Conv3_3)，卷积核为3×3，深度为256；
最大池化层(Maxpool)，核大小为2×2，输出个数为256；
第四卷积层1(Conv4_1，Conv4_2和Conv4_3)，卷积核为3×3，深度为512；
最大池化层(Maxpool)，核大小为2×2，输出个数为512；
第五卷积层(Conv5_1，Conv5_2和Conv5_3)，卷积核为3×3，深度为512；
最大池化层(Maxpool)，核大小为2×2，输出个数为512；
第六全连接层(FC6)，输出个数为4096；
第七全连接层(FC7)，输出个数为4096；
第八全连接层(FC8)，输出个数为2048；
第九全连接层(FC9)，输出个数为1024；
第十全连接层(FC10)，输出个数为512。
进一步的，步骤3中训练与优化单路深度卷积神经网络的具体步骤如下，
3.1)利用通用深度卷积神经网络结构在大规模通用图像数据集上的预训练结果作为单路深度卷积神经网络前几层网络的初始化值，保持其不变；
3.2)使用反向传播算法从头开始训练，并运用预训练结果对图像质量目标域图像质量评价数据集进行微调优化，得到更新后的单路深度卷积神经网络模型；
3.3)单路深度卷积神经网络迁移学习训练完毕，使用单路深度卷积神经网络结构中最后一个全连接层作为特征提取器，用于提取图像质量相关的深度网络特征。
进一步的，步骤3.1)中采用随机梯度下降算法作为网络的优化算法，网络训练超参数为，学习速率α＝0.001，并采用Step算法逐步减小α，动量μ值为0.9，权值衰减为0.0005。
进一步的，步骤5中采用局部线性嵌入的流形学习方法对高维度的深度特征进行降维处理。
进一步的，步骤6中通过Libsvm中的gridregression函数寻找最佳回归参数，包括惩罚系数c＝128，RBF核函数参数g＝0.025，得到的支持向量回归模型即为彩色图像质量的预测模型，用于自动预测彩色图像质量。
本发明与现有技术相比，具有以下优点：
(1)本发明中对于彩色图像的颜色信息进行了深度挖掘，通过多颜色空间的图像转换，得到多个分量图像，并使用深度卷积神经网络对各个分量图像进行信息挖掘和特征表示，有效地提升了彩色图像质量评价的精度。
(2)本发明中通过设计多个全连接层，更深层次的网络结构可提取更加丰富的图像抽象特征，有利于提高复杂场景中的自然图像质量度量精度。此外，本发明中采用了在大型自然图像分类数据集ImageNet和地点场景数据集Places预训练的深度卷积神经网络模型，该预训练模型能够有效克服网络调参困难和训练过拟合问题，提高了网络模型的训练精度和泛化能力。
附图说明
图1是本发明实施的流程图。
图2是本发明实施例的局部线性嵌入LLE特征降维。
图3是本发明实施例的LIVE数据集预测值与真实MOS的散点分布。
图4是本发明实施例的CHALLENGE数据集预测值与真实MOS的散点分布。
具体实施方式
以下结合附图和具体实施例，对本发明作进一步的详细描述。
流程图参见图1，一种基于多路深度卷积神经网络的彩色图像质量评价方法，本发明实施例包括以下步骤：
步骤1，对彩色自然图像进行图像变换处理，输出多个不同分量图像。
步骤1.1，对图像进行尺度变换，将转换后的图像作为网络模型的输入。
选取两个自然图像质量评价数据集，分别是人工合成失真数据集LIVE以及野外真实失真挑战数据集CHALLENGE。每幅图像包含人工标注的平均意见分数(Mean OpinionScore,MOS)。针对每个数据集，按照6:2:2的比例将所有图像分成训练样本、验证样本、测试样本。
在图像输入深度卷积神经网络之前，对其进行尺度变换处理：
1.1.1)当图像的宽和高相同时，直接将图像缩放至256×256；
1.1.2)当图像宽高不一致时，以图像短边为准，对图像进行整体缩放变换至短边长度为256；
1.1.3)保持其中一个短边不变，对超出256的长边区域进行裁剪，截取图像中心的256×256区域部分作为最终的图像。
步骤1.2，在图像输入深度卷积神经网络之前，对图像进行颜色空间转换，将各个分量图像也作为网络模型的输入。
将原来以RGB颜色空间存在的彩色图像分别转换至CIE-LAB和CIE-LMS颜色空间，并提取各个颜色空间的分量图像，包括亮度图和色度图。具体步骤如下：
1.2.1)将原RGB颜色空间的彩色图像分别转换至CIE-LAB，提取L、A、B三个颜色通道的分量图像，分别表示为LAB_L，LAB_A和LAB_B；
1.2.2)将原RGB颜色空间的彩色图像分别转换至CIE-LMS颜色空间，得到L、M、S三个颜色通道的分量图像，分别表示为LMS_L，LMS_M和LMS_S；
步骤2，设计并改进单路深度卷积神经网络结构。
本发明针对通用深度卷积神经网络结构VGGNet16进行了改进与拓展。步骤如下：
2.1)保留通用CNN结构中全连接层之前的网络层，去除最后一个用于输出分类概率的全连接层；
2.2)在FC7之后增加三个全连接层，添加的各个全连接层的输出向量维度分别为2048(FC8)、1024(FC9)和512(FC10)，以进一步地探索图像质量深度特征表示。
详细的网络结构描述为：
输入层为原图像经过图像变换处理后的多个分量图像序列；
第一卷积层(Conv1_1和Conv1_2)，卷积核为3×3，深度为64；
最大池化层(Maxpool)，核大小为2×2，输出个数为64；
第二卷积层(Conv2_1和Conv2_2)，卷积核为3×3，深度为128；
最大池化层(Maxpool)，核大小为2×2，输出个数为128；
第三卷积层(Conv3_1，Conv3_2和Conv3_3)，卷积核为3×3，深度为256；
最大池化层(Maxpool)，核大小为2×2，输出个数为256；
第四卷积层1(Conv4_1，Conv4_2和Conv4_3)，卷积核为3×3，深度为512；
最大池化层(Maxpool)，核大小为2×2，输出个数为512；
第五卷积层(Conv5_1，Conv5_2和Conv5_3)，卷积核为3×3，深度为512；
最大池化层(Maxpool)，核大小为2×2，输出个数为512；
第六全连接层(FC6)，输出个数为4096；
第七全连接层(FC7)，输出个数为4096；
第八全连接层(FC8)，输出个数为2048；
第九全连接层(FC9)，输出个数为1024；
第十全连接层(FC10)，输出个数为512。
步骤3，训练与优化单路深度卷积神经网络。
3.1)利用VGGNet16在大规模通用图像数据集ImageNet与Places365-Standard的混合数据集上的预训练结果作为单路CNN模型前几层网络的初始化值，保持其不变。采用随机梯度下降算法作为网络的优化算法，网络训练超参数为，学习速率α＝0.001，并采用Step算法逐步减小α，动量μ值为0.9，权值衰减为0.0005；
3.2)使用反向传播算法从头开始训练新层，并运用预训练结果对图像质量目标域图像质量评价数据集进行微调优化，得到更新后的CNN网络模型；
3.3)单路CNN迁移学习训练完毕，使用单路CNN网络结构中最后一个全连接层作为特征提取器，用于提取图像质量相关的深度网络特征。
步骤4，使用训练好的单路深度卷积网络模型对多个分量图像分别进行特征提取，并输出多特征。
在步骤1中，生成的不同尺度变换图像、不同颜色空间的多个颜色分量图像构成一个组图空间，每个图像将分别作为单路深度CNN的输入，使用特征提取器提取组图空间中所有图像的特征，再通过Caffe计算框架中的Concat层，实现多个单路CNN模型输出特征的协同与融合，得到最终的多维特征向量。
步骤5，深度特征降维。
对于特征向量D＝{x1,x2,...,xm}，使用局部线性嵌入LLE流形学习法确定D在低维空间的投影Z＝{z1,z2,..,zm}，作为提取的深度网络特征。
步骤6，采用支持向量回归非线性算法进行降维特征Z＝{z1,z2,..,zm}与主观意见分数MOS之间的回归映射。
基于Libsvm开源工具实现以RBF为核函数的epsilon-SVR实现回归，并通过gridregression函数寻找到最佳回归参数，得到彩色图像质量的预测模型。通过实验得到最优参数，惩罚系数c＝128，RBF核函数参数g＝0.025。
以下结合仿真实验，对本发明的技术效果作进一步说明：
1.仿真条件和内容：
本发明的仿真实验环境配置如下：显卡GPU Geforce 1080Ti,RAM 12G，Ubuntu16.04操作系统，基于Caffe框架进行实现。实验数据来源于人工合成失真数据集LIVE以及野外真实失真挑战数据集CHALLENGE。
仿真实验：针对各个数据集，根据本发明方法分别构建训练样本集、验证样本集和测试样本集，对训练样本集进行80000次迭代训练，使用验证样本及对网络模型进行优化训练，得到训练好的网络模型，并作为特征提取器。使用局部线性嵌入法进行高维度特征降维，通过Libsvm工具进行降维特征与主观意见分数MOS之间的回归映射，得到彩色图像质量预测模型。
2.仿真结果分析：
图2是使用局部线性嵌入LLE对网络提取的高维深度特征进行特征降维处理结果。
图3是本发明提出的评价模型在LIVE数据集上的预测值与真实MOS的散点分布。
图4是本发明提出的评价模型在CHALLENGE数据集上的预测值与真实MOS的散点分布。
图2结果表明LLE对高维度特征均起到了较好的分离作用；从图3和图4的散点分布可看出，本发明方法对于人工合成失真自然图像和真实场景失真自然图像都具备较好的质量预测结果。
综上所示，本发明通过深度卷积神经网络模型实现了彩色自然图像的质量评价与衡量，利用多个深度卷积网络模型提取多个颜色空间图像分量中有关彩色图像质量相关的特征表示，从而实现了自然图像质量的量化评价，并改进了彩色图像的质量评价精度。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (7)

1.一种多路深度卷积神经网络的彩色图像质量评价方法，其特征在于，包含以下步骤：
步骤1，对彩色自然图像进行图像变换处理，输出多个不同分量图像，包括尺度变换分量图像以及不同颜色空间的多个颜色分量；
步骤2，设计并改进单路深度卷积神经网络结构；
步骤3，训练与优化单路深度卷积神经网络；
步骤4，使用多路深度卷积网络对多个分量图像进行多特征输出；
步骤5，对步骤4输出的多特征进行降维；
步骤6，使用支持向量回归非线性算法，建立降维后的深度网络特征与主观意见分数的映射关系，得到彩色图像质量的预测模型。
2.如权利要求1所述的一种多路深度卷积神经网络的彩色图像质量评价方法，其特征在于：步骤1的具体实现方式如下，
步骤1.1，对图像进行尺度变换，步骤如下：
1.1.1)当图像的宽和高相同时，直接将图像缩放至256×256；
1.1.2)当图像宽高不一致时，以图像短边为准，对图像进行整体缩放变换至短边长度为256；
1.1.3)保持其中一个短边不变，对超出256的长边区域进行裁剪，截取图像中心的256×256区域部分作为最终的图像；
步骤1.2，对图像进行颜色空间转换，具体步骤如下：
1.2.1)将原RGB颜色空间的彩色图像分别转换至CIE-LAB，得到L、A、B三个颜色通道的分量图像；
1.2.2)将原RGB颜色空间的彩色图像分别转换至CIE-LMS颜色空间，得到L、M、S三个颜色通道的分量图像。
3.如权利要求1所述的一种多路深度卷积神经网络的彩色图像质量评价方法，其特征在于：步骤2中设计并改进单路深度卷积神经网络结构的具体步骤如下，
2.1)保留通用CNN结构中全连接层之前的网络层，并去除最后一个用于输出分类概率的全连接层；
2.2)在FC7之后增加三个全连接层，添加的各个全连接层的输出向量维度分别为2048(FC8)、1024(FC9)和512(FC10)，详细的网络结构描述为：
输入层为原图像经过图像变换处理后的多个分量图像序列；
第一卷积层(Conv1_1和Conv1_2)，卷积核为3×3，深度为64；
最大池化层(Maxpool)，核大小为2×2，输出个数为64；
第二卷积层(Conv2_1和Conv2_2)，卷积核为3×3，深度为128；
最大池化层(Maxpool)，核大小为2×2，输出个数为128；
第三卷积层(Conv3_1，Conv3_2和Conv3_3)，卷积核为3×3，深度为256；
最大池化层(Maxpool)，核大小为2×2，输出个数为256；
第四卷积层1(Conv4_1，Conv4_2和Conv4_3)，卷积核为3×3，深度为512；
最大池化层(Maxpool)，核大小为2×2，输出个数为512；
第五卷积层(Conv5_1，Conv5_2和Conv5_3)，卷积核为3×3，深度为512；
最大池化层(Maxpool)，核大小为2×2，输出个数为512；
第六全连接层(FC6)，输出个数为4096；
第七全连接层(FC7)，输出个数为4096；
第八全连接层(FC8)，输出个数为2048；
第九全连接层(FC9)，输出个数为1024；
第十全连接层(FC10)，输出个数为512。
4.如权利要求1所述的一种多路深度卷积神经网络的彩色图像质量评价方法，其特征在于：步骤3中训练与优化单路深度卷积神经网络的具体步骤如下，
3.1)利用通用深度卷积神经网络结构在大规模通用图像数据集上的预训练结果作为单路深度卷积神经网络前几层网络的初始化值，保持其不变；
3.2)使用反向传播算法从头开始训练，并运用预训练结果对图像质量目标域图像质量评价数据集进行微调优化，得到更新后的单路深度卷积神经网络模型；
3.3)单路深度卷积神经网络迁移学习训练完毕，使用单路深度卷积神经网络结构中最后一个全连接层作为特征提取器，用于提取图像质量相关的深度网络特征。
5.如权利要求4所述的一种多路深度卷积神经网络的彩色图像质量评价方法，其特征在于：步骤3.1)中采用随机梯度下降算法作为网络的优化算法，网络训练超参数为，学习速率α＝0.001，并采用Step算法逐步减小α，动量μ值为0.9，权值衰减为0.0005。
6.如权利要求1所述的一种多路深度卷积神经网络的彩色图像质量评价方法，其特征在于：步骤5中采用局部线性嵌入的流形学习方法对高维度的深度特征进行降维处理。
7.如权利要求1所述的一种多路深度卷积神经网络的彩色图像质量评价方法，其特征在于：步骤6中通过Libsvm中的gridregression函数寻找最佳回归参数，包括惩罚系数c＝128，RBF核函数参数g＝0.025，得到的支持向量回归模型即为彩色图像质量的预测模型，用于自动预测彩色图像质量。
CN201910414080.8A 2019-05-17 2019-05-17 一种基于多路深度卷积神经网络的彩色图像质量评价方法 Active CN110163855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910414080.8A CN110163855B (zh) 2019-05-17 2019-05-17 一种基于多路深度卷积神经网络的彩色图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910414080.8A CN110163855B (zh) 2019-05-17 2019-05-17 一种基于多路深度卷积神经网络的彩色图像质量评价方法

Publications (2)

Publication Number Publication Date
CN110163855A true CN110163855A (zh) 2019-08-23
CN110163855B CN110163855B (zh) 2021-01-01

Family

ID=67631136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910414080.8A Active CN110163855B (zh) 2019-05-17 2019-05-17 一种基于多路深度卷积神经网络的彩色图像质量评价方法

Country Status (1)

Country Link
CN (1) CN110163855B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112166455A (zh) * 2019-09-26 2021-01-01 深圳市大疆创新科技有限公司 图像处理方法、装置、可移动平台及机器可读存储介质
CN113191424A (zh) * 2021-04-28 2021-07-30 中国石油大学(华东) 一种基于多模型融合的彩色融合图像质量评价方法
CN113393461A (zh) * 2021-08-16 2021-09-14 北京大学第三医院（北京大学第三临床医学院） 基于深度学习的分裂中期染色体图像质量筛选方法和系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447884A (zh) * 2015-12-21 2016-03-30 宁波大学 一种基于流形特征相似度的图像质量客观评价方法
CN105654465A (zh) * 2015-12-21 2016-06-08 宁波大学 一种采用视差补偿视点间滤波的立体图像质量评价方法
CN105825503A (zh) * 2016-03-10 2016-08-03 天津大学 基于视觉显著性的图像质量评价方法
CN105894025A (zh) * 2016-03-30 2016-08-24 中国科学院自动化研究所 基于多任务深度学习的自然图像美感质量评估方法
CN107133948A (zh) * 2017-05-09 2017-09-05 电子科技大学 基于多任务卷积神经网络的图像模糊与噪声评测方法
CN107391505A (zh) * 2016-05-16 2017-11-24 腾讯科技（深圳）有限公司 一种图像处理方法及系统
CN107610087A (zh) * 2017-05-15 2018-01-19 华南理工大学 一种基于深度学习的舌苔自动分割方法
CN109242834A (zh) * 2018-08-24 2019-01-18 浙江大学 一种基于卷积神经网络的无参考立体图像质量评价方法
CN109559310A (zh) * 2018-11-30 2019-04-02 国网山东省电力公司电力科学研究院 基于显著性检测的输变电巡检图像质量评价方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447884A (zh) * 2015-12-21 2016-03-30 宁波大学 一种基于流形特征相似度的图像质量客观评价方法
CN105654465A (zh) * 2015-12-21 2016-06-08 宁波大学 一种采用视差补偿视点间滤波的立体图像质量评价方法
CN105825503A (zh) * 2016-03-10 2016-08-03 天津大学 基于视觉显著性的图像质量评价方法
CN105894025A (zh) * 2016-03-30 2016-08-24 中国科学院自动化研究所 基于多任务深度学习的自然图像美感质量评估方法
CN107391505A (zh) * 2016-05-16 2017-11-24 腾讯科技（深圳）有限公司 一种图像处理方法及系统
CN107133948A (zh) * 2017-05-09 2017-09-05 电子科技大学 基于多任务卷积神经网络的图像模糊与噪声评测方法
CN107610087A (zh) * 2017-05-15 2018-01-19 华南理工大学 一种基于深度学习的舌苔自动分割方法
CN109242834A (zh) * 2018-08-24 2019-01-18 浙江大学 一种基于卷积神经网络的无参考立体图像质量评价方法
CN109559310A (zh) * 2018-11-30 2019-04-02 国网山东省电力公司电力科学研究院 基于显著性检测的输变电巡检图像质量评价方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CĂLIN-ADRIAN POPA 等: "Deep Hybrid Real-Complex-Valued Convolutional Neural Networks for Image Classification", 《2018 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》 *
王立新 等: "基于深度学习的显著性区域的图像检索研究", 《应用技术》 *
袁媛 等: "Integrated visual quality assessment for ZiYuan-3 optical satellite panchromatic products", 《THE IMAGING SCIENCE JOURNAL》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112166455A (zh) * 2019-09-26 2021-01-01 深圳市大疆创新科技有限公司 图像处理方法、装置、可移动平台及机器可读存储介质
WO2021056304A1 (zh) * 2019-09-26 2021-04-01 深圳市大疆创新科技有限公司 图像处理方法、装置、可移动平台及机器可读存储介质
CN113191424A (zh) * 2021-04-28 2021-07-30 中国石油大学(华东) 一种基于多模型融合的彩色融合图像质量评价方法
CN113393461A (zh) * 2021-08-16 2021-09-14 北京大学第三医院（北京大学第三临床医学院） 基于深度学习的分裂中期染色体图像质量筛选方法和系统

Also Published As

Publication number Publication date
CN110163855B (zh) 2021-01-01

Similar Documents

Publication Publication Date Title
CN104732506B (zh) 一种基于人脸语义分析的人物照片颜色风格转换方法
CN109614996A (zh) 基于生成对抗网络的弱可见光与红外图像融合的识别方法
CN111274921B (zh) 一种利用姿态掩模进行人体行为识别的方法
CN110163855A (zh) 一种基于多路深度卷积神经网络的彩色图像质量评价方法
CN111583201B (zh) 一种用于构建超分辨率病理显微镜的迁移学习方法
CN110032925A (zh) 一种基于改进胶囊网络与算法的手势图像分割与识别方法
CN109800817A (zh) 基于融合语义神经网络的图像分类方法
Zhang et al. Inkthetics: a comprehensive computational model for aesthetic evaluation of Chinese ink paintings
CN107463954A (zh) 一种模糊异谱图像的模板匹配识别方法
CN112183448B (zh) 一种基于三级分类和多尺度fcn的脱荚大豆图像分割方法
CN110363720A (zh) 一种图像的色彩增强方法、装置、设备和存储介质
CN116012721B (zh) 一种基于深度学习的水稻叶片病斑检测方法
CN109636764A (zh) 一种基于深度学习与显著性检测的图像风格转移方法
CN112163508A (zh) 一种基于真实场景的文字识别方法、系统及ocr终端
CN115810191A (zh) 基于多注意力融合和高精度分割网络的病理细胞分类方法
CN113486700A (zh) 一种教学场景下基于注意力机制的面部表情分析方法
CN108985301A (zh) 一种多特征类子字典学习的高光谱图像分类方法
CN113128517B (zh) 色调映射图像混合视觉特征提取模型建立及质量评价方法
CN111695436B (zh) 一种基于目标增强的高空间分辨率遥感图像场景分类方法
CN108986103A (zh) 一种基于超像素以及多超图融合的图像分割方法
CN112561782A (zh) 一种提高海上场景仿真图片真实度的方法
CN113011436A (zh) 一种基于卷积神经网络的中医舌色苔色协同分类方法
Wu et al. Automatic colorization of Chinese ink painting combining multi-level features and generative adversarial networks
CN103020995B (zh) 一种适用于在视频中搜索目标的物件特征对比方法
Yuan et al. Color image quality assessment with multi deep convolutional networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant