CN113436167B - 基于深度学习和视觉感知的无参考彩色图像质量评价方法 - Google Patents

基于深度学习和视觉感知的无参考彩色图像质量评价方法 Download PDF

Info

Publication number
CN113436167B
CN113436167B CN202110709625.5A CN202110709625A CN113436167B CN 113436167 B CN113436167 B CN 113436167B CN 202110709625 A CN202110709625 A CN 202110709625A CN 113436167 B CN113436167 B CN 113436167B
Authority
CN
China
Prior art keywords
color
image
visual perception
component
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110709625.5A
Other languages
English (en)
Other versions
CN113436167A (zh
Inventor
杨俊丰
李小龙
符静
曹偲禹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University of Technology
Original Assignee
Hunan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University of Technology filed Critical Hunan University of Technology
Priority to CN202110709625.5A priority Critical patent/CN113436167B/zh
Publication of CN113436167A publication Critical patent/CN113436167A/zh
Application granted granted Critical
Publication of CN113436167B publication Critical patent/CN113436167B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于深度学习和视觉感知的无参考彩色图像质量评价方法，包括如下步骤，获取彩色失真图像，对彩色失真图像进行预处理，得到彩色失真图像的亮度分量和色彩分量；对亮度分量进行分解，获得亮度分量的纹理分量和结构分量，并基于纹理分量、结构分量和色彩分量构建训练集；构建视觉感知网络模型，将训练集输入视觉感知网络模型，并采用反向传播算法对视觉感知网络模型进行迭代训练；基于训练好的视觉感知网络模型对彩色图像质量进行评价。本发明对彩色图像的视觉信息进行了深度挖掘，将人眼感知特性引入深度学习，能够提升自然场景中复杂的失真图像质量的量化精度。

Description

基于深度学习和视觉感知的无参考彩色图像质量评价方法
技术领域
本发明属于图像质量评价领域，具体涉及基于深度学习和视觉感知的无参考彩色图像质量评价方法。
背景技术
随着移动通信技术的飞速发展及智能移动设备的不断普及，数字图像以其表达直观且内容丰富的特点，成为了当前主要的传播信息的媒介之一。然而，从产生到被人眼感知的过程中，数字图像不可避免地会产生退化。图像的获取、处理、压缩、传输或存储等过程中经常会产生各种失真。这些失真的存在极大地影响了图像的整体质量，从而降低了人眼对获取图像信息的充分性和准确性。可靠的图像质量评价方法可以帮助量化互联网图像的质量，并从人类观察者的角度准确评估图像处理算法的性能。鉴于此，本发明提出一种基于深度学习和视觉感知的无参考彩色图像质量评价模型。
依据对参考图像依赖程度的不同，客观图像质量评价算法可分为三类：全参考、半参考以及无参考。全参考和半参考主要通过对图像的视觉特征进行分析，计算失真图像与参考图像之间的差异量化值，从而得出失真图像的视觉质量。在过去几十年中，全参考和半参考的质量评价方法已取得了显著成果，但由于在质量预测过程中，这些方法需要将失真图像与之相应的参考图像进行比较，很大程度上限制了它们在实际中的应用。因为在大多数实际情况下，很难甚至无法获得理想而完美的参考图像。相比之下，无参考图像质量评价方法仅将失真图像作为模型输入，而无需参考图像的任何先验信息，具有更好的灵活性和适应性。因此，无参考图像质量评价方法能有效满足现实场景的实际需求，进而成为当前的研究热点。
传统方法的无参考图像质量评价算法一般首先采用人工设计或无监督字典学习获得失真图像的特征，然后利用回归模型如SVR等将特征映射为质量分数。这类方法的局限性在于，获得的特征难以充分表示人类视觉系统对于图像失真的感知规律。随着深度神经网络在图像识别和图像处理领域取得巨大成功，图像质量评价领域也涌现了许多基于深度学习的图像质量评价方法。这些方法不再依赖于任何人工提取的特征，而是使用卷积神经网络自动提取与质量感知相关的更深层特征，通常与人类的主观判断具有更高的一致性。然而人类视觉系统对质量退化的感知不仅与图像特征相关，还与其自身的许多特性相关，比如对比度掩膜效应、多尺度等，而现有的深度学习模型难以学习到这些特性。
发明内容
为解决现有技术中存在的问题，本发明将人类视觉系统感知特性与深度学习相结合，设计了视觉感知指导的卷积神经网络模型。首先，针对人类视觉系统在不同失真类型中，对不同图像区域的敏感度差异，利用基于全变分的图像分解方法将图像分解为结构部分和纹理部分，设计了一个不共享参数的孪生网络来学习两者的特征。为了有效提取色彩分量对质量评价的影响，设计了一个共享参数的孪生网络对I和Q两个色彩通道特征进行学习。此外，针对视觉系统的多尺度特性，在构建网络模型时，通过对卷积层特征的叠加来实现多尺度特征的提取。
为实现上述目的，本发明提供了如下方案：基于深度学习和视觉感知的无参考彩色图像质量评价方法，包括以下步骤：
获取彩色失真图像，对所述彩色失真图像进行预处理，得到所述彩色失真图像的亮度分量和色彩分量；
对所述亮度分量进行分解，获得所述亮度分量的纹理分量和结构分量，并基于所述纹理分量、所述结构分量和所述色彩分量构建训练集；
构建视觉感知网络模型，并通过所述训练集对所述视觉感知网络模型进行训练；其中，所述视觉感知网络模型由第一孪生卷积神经网络、第二孪生卷积神经网络以及若干个全连接层构成，所述第一孪生卷积神经网络与所述第二孪生卷积神经网络并行连接后与若干个所述全连接层串行连接；其中，所述第一孪生卷积神经网络用于对所述纹理分量和所述结构分量进行特征提取，获得所述彩色失真图像的纹理特征和结构特征；所述第二孪生卷积神经网络用于对所述色彩分量进行特征提取，获得所述彩色失真图像的颜色特征；若干个所述全连阶层用于对所述纹理特征、所述结构特征和所述颜色特征进行多特征融合；
基于训练好的所述视觉感知网络模型对彩色图像质量进行评价。
优选地，对所述彩色失真图像进行预处理的方法为，对彩色失真图像进行色彩空间变换，将彩色失真图像由RGB色彩空间转换到YIQ色彩空间。
优选地，所述第一孪生卷积神经网络为不共享参数的卷积神经网络；所述第二孪生卷积神经网络为共享参数的卷积神经网络。
优选地，所述第一孪生卷积神经网络与所述第二孪生卷积神经网络具有相同的网络结构，所述网络结构包括依次连接的第一卷积层、第一自适应平均池化层、第二卷积层、第二自适应平均池化层、第三卷积层、第三自适应平均池化层、第四卷积层、第四自适应平均池化层、第五卷积层、第五自适应平均池化层。
优选地，对所述纹理特征、所述结构特征和所述颜色特征进行多特征融合的方法为：基于若干个所述全连接层，采用concat的方式在第一维度对所述纹理特征、所述结构特征和所述颜色特征进行连接，完成所述纹理特征、所述结构特征和所述颜色特征的融合。
优选地，在对所述视觉感知网络模型进行迭代训练的过程中，将所述训练集划分成若干份，并将每份所述训练集分批输入所述视觉感知网络模型进行优化；其中，每份所述训练集由若干副图像组成，每副所述图像由若干个随机裁剪的图像块组成。
优选地，在对所述视觉感知网络模型进行迭代训练的过程中，基于平均绝对误差MAE对所述视觉感知网络模型的损失函数进行计算，所述损失函数loss的表达式为：
Figure BDA0003132994780000031
式中，Mp为图像块的数目，oi表示由所述视觉感知网络模型所计算出的局部质量预测分数，qi表示在训练过程中由于切块所引入的噪声。
优选地，基于反向传播算法对所述视觉感知网络模型进行迭代训练，将所述训练集中所述纹理分量、所述结构分量和所述色彩分量的平均损失作为所述反向传播算法的误差，基于所述误差采用梯度下降方法计算所述视觉感知网络模型的网络参数，并判断所述网络参数是否达到预设阈值，若达到预设阈值则停止训练，反之则继续训练。
本发明公开了以下技术效果：
本发明所提出的方法能够自动提取与图像质量相关的特征并进行深度学习，其明显优于大多数基于传统机器学习的无参考图像质量评价方法。本发明对彩色图像的视觉信息进行了深度挖掘，将人眼感知特性引入深度学习，通过从RGB色彩空间到YIQ色彩空间的转换，基于全变分的图像分解方法，得到了图像的纹理、结构和色彩分量。考虑到卷积神经网络的各层所提取的特征具有不同的重要程度，在构建网络时，采用了多尺度结构，通过融合每层所提取的特征对网络的最后一层输出的特征图进行补充。使用共享参数和不共享参数的孪生网络对各个分量进行信息挖掘和特征表示，实验结果证明，本发明所提出的方法与人类主观评分值具有极高的一致性，性能优于目前大部分无参考图像质量评价算法，有利于提升自然场景中复杂的失真图像质量的量化精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中基于深度学习和视觉感知的无参考彩色图像质量评价方法的流程图；
图2为本发明实施例中所述视觉感知网络模型的网络处理流程图；
图3为本发明实施例中所述视觉感知网络模型单个网络的结构图；
图4为本发明实施例中多尺度特征有效性分析对比图；
图5为本发明实施例中本发明方法与PSBR、SSIM、BRISOUE、GMLOG、CNN、RankIQA、DIQaM和DBCNN图像评价方法在五个数据集上的SROCC值对比图；
图6为本发明实施例中本发明方法与PSBR、SSIM、BRISOUE、GMLOG、CNN、RankIQA、DIQaM和DBCNN图像评价方法在五个数据集上的PLCC值对比图；
图7为本发明实施例中本发明方法在LIVE数据集上的预测分数与主观分数的散点分布情况及拟合曲线；
图8为本发明实施例中本发明方法在TID2013数据集上的预测分数与主观分数的散点分布情况及拟合曲线；
图9为本发明实施例中本发明方法在CLIVE数据集上的预测分数与主观分数的散点分布情况及拟合曲线；
图10为本发明实施例中本发明方法在CSIQ数据集上的预测分数与主观分数的散点分布情况及拟合曲线；
图11为本发明实施例中本发明方法在LIVEMD数据集上的预测分数与主观分数的散点分布情况及拟合曲线。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1所示，本发明提供基于深度学习和视觉感知的无参考图像质量评价方法，旨在将人类感知特性引入深度学习，从图像的纹理信息、结构信息和颜色信息中学习与质量感知相关的特征，并充分结合网络各层所提取的特征，包括如下步骤：
S1、获取彩色失真图像，对所述彩色失真图像进行预处理，得到所述彩色失真图像的亮度分量和色彩分量。
该步骤的实现方法包括：首先，获取彩色失真图像，然后将彩色失真图像由RGB色彩空间变换到YIQ色彩空间，转换公式如下：
Figure BDA0003132994780000061
其中，RD表示彩色失真图像I的红色分量，GD表示彩色失真图像I的绿色分量，BD表示彩色失真图像I的蓝色分量，YD表示彩色失真图像I在YIQ色彩空间Y通道上的分量，ID表示彩色失真图像I在YIQ色彩空间I通道上的分量，QD表示彩色失真图像I在YIQ色彩空间Q通道上的分量，更详细地，YD主要代表彩色失真图像I的亮度分量，ID和QD代表彩色失真图像的色彩分量。
S2、对所述亮度分量进行分解，获得所述亮度分量的纹理分量和结构分量，并基于所述纹理分量、所述结构分量和所述色彩分量构建训练集。
首先，针对人类视觉系统在不同失真类型中，对不同图像区域的敏感度差异，基于TV-flow模型，采用全变分的图像分解方法，对所述彩色失真图像I的亮度分量进行分解。
然后，采用非线性扩散项作为变分能量方程中的规则项，使所述亮度分量的输出结果和TV正则化的输出结果保持一致，从而获得纹理分量YS和结构分量YT。
在对所述亮度分量进行分解的过程中，采用加性算子分裂方法(AOS)以提高TV-flow模型的运行效率。
最后，基于所述纹理分量、所述结构分量和所述色彩分量构建训练集。
S3、构建视觉感知网络模型，并通过所述训练集对所述视觉感知网络模型进行训练；其中，所述视觉感知网络模型由第一孪生卷积神经网络、第二孪生卷积神经网络以及若干个全连接层构成，所述第一孪生卷积神经网络与所述第二孪生卷积神经网络并行连接后与若干个所述全连接层串行连接；其中，所述第一孪生卷积神经网络用于对所述纹理分量和所述结构分量进行特征提取，获得所述彩色失真图像的纹理特征和结构特征；所述第二孪生卷积神经网络用于对所述色彩分量进行特征提取，获得所述彩色失真图像的颜色特征；若干个所述全连阶层用于对所述纹理特征、所述结构特征和所述颜色特征进行多特征融合；
该步骤具体包括：
S3.1、构建视觉感知网络模型；
首先，利用了一个不共享参数的孪生卷积神经网络来学习彩色失真图像的纹理和结构信息的特征表示，然后，利用一个共享参数的孪生卷积神经网络对彩色失真图像的色彩信息进行特征学习，两个孪生卷积神经网络具有相同的网络结构且并行连接，最后将两个孪生卷积神经网络与三个全连接层进行串联，得到视觉感知网络模型。视觉感知网络模型的单个网络结构如图3所示，包括10个卷积层、5个自适应平均池化层和3个全连接层，详细的内容描述如下：
第一卷积层(Conv1和Conv2)，卷积核为3×3，深度为32；
第一自适应平均池化层(Avgpool)，输出大小1×1的特征图，输出个数为32；
第二卷积层(Conv3和Conv4)，卷积核为3×3，深度为64；
第二自适应平均池化层(Avgpool)，输出大小1×1的特征图，输出个数为64；
第三卷积层(Conv5和Conv6)，卷积核为3×3，深度为128；
第三自适应平均池化层(Avgpool)，输出大小1×1的特征图，输出个数为128；
第四卷积层(Conv7和Conv8)，卷积核为3×3，深度为256；
第四自适应平均池化层(Avgpool)，输出大小1×1的特征图，输出个数为256；
第五卷积层(Conv9和Conv10)，卷积核为3×3，深度为512；
第五自适应平均池化层(Avgpool)，输出大小1×1的特征图，输出个数为512；
第一全连接层(FC1)，输入个数为992，输出个数为256；
第二全连接层(FC2)，输入个数为768，输出个数为512；
第三全连接层(FC3)，输入个数为512，输出个数为1。
S3.2、对所述纹理分量和所述结构分量进行特征提取，获得所述彩色失真图像的纹理特征和结构特征；对所述色彩分量进行特征提取，获得所述彩色失真图像的颜色特征。
首先，将彩色失真图像I的纹理分量IS和结构分量IT作为不共享参数的孪生卷积神经网络的输入，色度分量IDis和QDis作为共享参数的孪生卷积神经网络的输入，然后，通过10个卷积层、5个自适应平均池化层和3个全连接层得彩色失真图像的三种特征，分别记为：纹理特征fS、结构特征fT、颜色特征fC。同时，在进行特征提取的过程中，通过对不共享参数的卷积神经网络和共享参数的卷积神经网络在{1,2,4,8,16}五个尺度大小的卷积层特征的叠加来实现彩色失真图像多尺度特征的提取。
S3.3、对所述纹理特征、所述结构特征以及所述颜色特征进行多特征的融合；
然后通过concat的方式将纹理特征fS、结构特征fT、颜色特征fC在第一个维度进行连接，即沿着行的方向，对列进行拼接，得到融合特征f＝{fS，fT，fC}。
S3.4、将所述训练集输入所述视觉感知网络模型，并采用反向传播算法对所述视觉感知网络模型进行迭代训练；
视觉感知网络模型通过在多个时期上的反向传播对训练集进行迭代训练，其中一个时期被定义为所有训练数据的一次正向传递和一次反向传递更新参数的过程。具体实现方法如下：
首先，将训练集分成若干小批量进行分批优化，每个小批量包含4副图像，每幅图像由32个随机裁剪的图像块表示，以确保在训练过程中使用尽可能多的不同的图像块进行训练。
然后，使用小批量训练集中纹理分量、结构分量、色彩分量的平均损失作为反向传播的误差，采用基于梯度方法的Adam优化方法来更新和计算影响模型训练和模型输出的网络参数，使其逼近或达到最优值，从而最小化损失函数，通过对卷积进行零填充，获得与输入大小相同的输出特征映射。同时，为了防止迭代训练过程中过度拟合，对全连接层应用比例为0.5的丢弃正则化。
最后，判断所述网络参数是否达到最优值，若达到最优值则停止优化，反之则继续优化。
本实施例中，采用平均绝对误差MAE作为针对MSE的不太敏感的离群点的一个替代方案，对视觉感知网络模型的损失函数进行计算，损失函数loss的定义如下：
Figure BDA0003132994780000091
式中，Mp为图像块的数目，oi表示由所述视觉感知网络模型所计算出的局部质量预测分数，qi表示在训练过程中由于切块所引入的噪声。
S4、基于训练好的所述视觉感知网络模型对彩色图像质量进行评价。
经过步骤S1-S2后，将彩色失真图像的纹理纹理分量、结构分量和色彩分量分别作为视觉感知网络模型的三个分支输入，将高维特征映射到客观质量分数上，获得彩色失真图像的质量评价分数。
本实施例对本发明提供的基于深度学习和视觉感知的无参考彩色图像质量评价方法，获得的视觉感知网络模型进行了性能验证，具体如下：
采用四个公认且常用的指标SROCC、KROCC、PLCC和RMSE来衡量无参考图像质量评价算法的预测精度，首先将模型在LIVE、CSIQ、TID2013、LIVEMD、和CLIVE五个公共可用数据集上的预测结果与人类主观质量评分进行比较，然后通过分析这两者之间的一致性来证明本算法的优越性能。
首先，在TID2013库上验证了多尺度的有效性：分别计算了使用多尺度和未使用多尺度的网络在TID2013库上的SROCC、KROCC、PLCC和RMSE，结果如图4所示。通过研究发现，使用多尺度的网络在TID2013库上的SROCC要比未使用多尺度的网络高4.05％，KROCC高7.19％，PLCC高3.71％，RMSE低11.24％。因此，通过结合不同层次的特征来实现更高的质量预测精度是正确且有效的。
其次，本发明的彩色图像质量评价方法与全参考图像评价方法(PSNR和SSIM)，无参图像评价方法中的基于传统机器学习方法(BRISOUE和GMLOG)和基于深度学习的方法(CNN、RankIQA、DIQaM和DBCNN)在LIVE五个常用公开数据集上的SROCC值的对比结果如图5所示，PLCC值的对比结果如图6所示。
本发明的彩色图像质量评价方法是能够自动提取与图像质量相关特征的深度学习方法，通过研究发现，本发明的彩色图像质量评价方法明显优于大多数基于传统机器学习的无参考图像质量评价方法。此外，与基于深度学习的方法相比，本发明的彩色图像质量评价方法在TID2013数据集上具有最佳的预测性能，在LIVE、LIVEMD和CSIQ上的性能优于大多数基于深度学习的方法，这是因为其充分利用了网络所提取的浅层特征和深层特征。
另外，本发明的视觉感知网络模型在五个数据集上的预测分数与主观分数的散点分布情况以及拟合曲线的如图7-11所示，对照图7-11可以看出本发明的彩色图像质量评价方法在LIVE、TID2013、CSIQ和LIVEMD数据集上的结果与主观质量分数有着较高的相关性，特别是在TID2013和LIVE数据集上，如图8和图7所示。
参照图4-11，可以看出本发明提供的基于深度学习和视觉感知的无参考彩色图像质量评价方法与人眼主观判断有着较高的一致性，因此，能够作为一个有效的图像质量评价方法。
以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (8)

1.基于深度学习和视觉感知的无参考彩色图像质量评价方法，其特征在于，包括以下步骤：
获取彩色失真图像，对所述彩色失真图像进行预处理，得到所述彩色失真图像的亮度分量和色彩分量；
对所述亮度分量进行分解，获得所述亮度分量的纹理分量和结构分量，并基于所述纹理分量、所述结构分量和所述色彩分量构建训练集；
构建视觉感知网络模型，并通过所述训练集对所述视觉感知网络模型进行训练；其中，所述视觉感知网络模型由第一孪生卷积神经网络、第二孪生卷积神经网络以及若干个全连接层构成，所述第一孪生卷积神经网络与所述第二孪生卷积神经网络并行连接后与若干个所述全连接层串行连接；其中，所述第一孪生卷积神经网络用于对所述纹理分量和所述结构分量进行特征提取，获得所述彩色失真图像的纹理特征和结构特征；所述第二孪生卷积神经网络用于对所述色彩分量进行特征提取，获得所述彩色失真图像的颜色特征；若干个所述全连接 层用于对所述纹理特征、所述结构特征和所述颜色特征进行多特征融合；
基于训练好的所述视觉感知网络模型对彩色图像质量进行评价。
2.根据权利要求1所述的基于深度学习和视觉感知的无参考彩色图像质量评价方法，其特征在于，对所述彩色失真图像进行预处理的方法为，对彩色失真图像进行色彩空间变换，将彩色失真图像由RGB色彩空间转换到YIQ色彩空间。
3.根据权利要求1所述的基于深度学习和视觉感知的无参考彩色图像质量评价方法，其特征在于，所述第一孪生卷积神经网络为不共享参数的卷积神经网络；所述第二孪生卷积神经网络为共享参数的卷积神经网络。
4.根据权利要求3所述的基于深度学习和视觉感知的无参考彩色图像质量评价方法，其特征在于，所述第一孪生卷积神经网络与所述第二孪生卷积神经网络具有相同的网络结构，所述网络结构包括依次连接的第一卷积层、第一自适应平均池化层、第二卷积层、第二自适应平均池化层、第三卷积层、第三自适应平均池化层、第四卷积层、第四自适应平均池化层、第五卷积层、第五自适应平均池化层。
5.根据权利要求1所述的基于深度学习和视觉感知的无参考彩色图像质量评价方法，其特征在于，对所述纹理特征、所述结构特征和所述颜色特征进行多特征融合的方法为：基于若干个所述全连接层，采用concat的方式在第一维度对所述纹理特征、所述结构特征和所述颜色特征进行连接，完成所述纹理特征、所述结构特征和所述颜色特征的融合。
6.根据权利要求1所述的基于深度学习和视觉感知的无参考彩色图像质量评价方法，其特征在于，在对所述视觉感知网络模型进行迭代训练的过程中，将所述训练集划分成若干份，并将每份所述训练集分批输入所述视觉感知网络模型进行优化；其中，每份所述训练集由若干副图像组成，每副所述图像由若干个随机裁剪的图像块组成。
7.根据权利要求6所述的基于深度学习和视觉感知的无参考彩色图像质量评价方法，其特征在于，在对所述视觉感知网络模型进行迭代训练的过程中，基于平均绝对误差MAE对所述视觉感知网络模型的损失函数进行计算，所述损失函数loss的表达式为：
Figure FDA0003132994770000021
式中，Mp为图像块的数目，oi表示由所述视觉感知网络模型所计算出的局部质量预测分数，qi表示在训练过程中由于图像块裁剪所引入的噪声。
8.根据权利要求6所述的基于深度学习和视觉感知的无参考彩色图像质量评价方法，其特征在于，基于反向传播算法对所述视觉感知网络模型进行迭代训练，将所述训练集中所述纹理分量、所述结构分量和所述色彩分量的平均损失作为所述反向传播算法的误差，基于所述误差采用梯度下降方法计算所述视觉感知网络模型的网络参数，并判断所述网络参数是否达到预设阈值，若达到预设阈值则停止训练，反之则继续训练。
CN202110709625.5A 2021-06-25 2021-06-25 基于深度学习和视觉感知的无参考彩色图像质量评价方法 Active CN113436167B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110709625.5A CN113436167B (zh) 2021-06-25 2021-06-25 基于深度学习和视觉感知的无参考彩色图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110709625.5A CN113436167B (zh) 2021-06-25 2021-06-25 基于深度学习和视觉感知的无参考彩色图像质量评价方法

Publications (2)

Publication Number Publication Date
CN113436167A CN113436167A (zh) 2021-09-24
CN113436167B true CN113436167B (zh) 2022-04-26

Family

ID=77754643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110709625.5A Active CN113436167B (zh) 2021-06-25 2021-06-25 基于深度学习和视觉感知的无参考彩色图像质量评价方法

Country Status (1)

Country Link
CN (1) CN113436167B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113851184B (zh) * 2021-09-29 2023-07-04 湖南工商大学 一种基于人工智能的粪大肠杆菌群数的预测方法及装置
CN114119593B (zh) * 2021-12-03 2024-04-02 深圳大学 基于浅层与深度结构纹理特征的超分图像质量评价方法
CN116091403B (zh) * 2022-11-30 2024-04-26 中国石油大学(华东) 一种彩色夜视融合图像质量主客观评价方法
CN116188809B (zh) * 2023-05-04 2023-08-04 中国海洋大学 基于视觉感知与排序驱动的纹理相似性判别方法
CN116912259B (zh) * 2023-09-14 2023-11-24 江西财经大学 针对计算摄影图像的图像色彩感知差异评价方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346552A (zh) * 2017-06-23 2017-11-14 南京信息工程大学 基于图像灰度恢复形状技术的纹理力触觉再现方法
CN108492294A (zh) * 2018-03-23 2018-09-04 北京邮电大学 一种图像色彩和谐程度的评估方法及装置
CN110493584A (zh) * 2019-07-05 2019-11-22 湖北工程学院 一种高动态范围场景可视化方法、装置和存储介质
CN110570420A (zh) * 2019-09-16 2019-12-13 中山大学 一种无参考对比度失真图像质量评价方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11216698B2 (en) * 2018-02-16 2022-01-04 Spirent Communications, Inc. Training a non-reference video scoring system with full reference video scores
US10789696B2 (en) * 2018-05-24 2020-09-29 Tfi Digital Media Limited Patch selection for neural network based no-reference image quality assessment
US11348237B2 (en) * 2019-05-16 2022-05-31 Retrace Labs Artificial intelligence architecture for identification of periodontal features

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107346552A (zh) * 2017-06-23 2017-11-14 南京信息工程大学 基于图像灰度恢复形状技术的纹理力触觉再现方法
CN108492294A (zh) * 2018-03-23 2018-09-04 北京邮电大学 一种图像色彩和谐程度的评估方法及装置
CN110493584A (zh) * 2019-07-05 2019-11-22 湖北工程学院 一种高动态范围场景可视化方法、装置和存储介质
CN110570420A (zh) * 2019-09-16 2019-12-13 中山大学 一种无参考对比度失真图像质量评价方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Full Reference Image Quality Assessment by Considering Intra-Block Structure and Inter-Block Texture;JUNFENG YANG et al.;《IEEE ACCESS》;20201012;第179702-179715页 *
No-Reference Quality Metric of Contrast-Distorted Images Based on Information Maximization;Ke Gu et al.;《IEEE Transactions on Cybernetics》;20171031;第47卷(第12期);第4559-4565页 *
基于视觉感知的图像质量评价算法研究;曹欣;《中国优秀硕士论文全文数据库信息科技辑》;20190915;第1-44页 *

Also Published As

Publication number Publication date
CN113436167A (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN113436167B (zh) 基于深度学习和视觉感知的无参考彩色图像质量评价方法
Ying et al. From patches to pictures (PaQ-2-PiQ): Mapping the perceptual space of picture quality
Yue et al. Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry
CN107657619B (zh) 一种低照度林火图像分割方法
CN109191428B (zh) 基于掩蔽纹理特征的全参考型图像质量评价方法
CN109218716B (zh) 基于色彩统计和信息熵无参考色调映射图像质量评价方法
CN110120034B (zh) 一种与视觉感知相关的图像质量评价方法
Li et al. Globally and locally semantic colorization via exemplar-based broad-GAN
CN109831664B (zh) 基于深度学习的快速压缩立体视频质量评价方法
CN112991493B (zh) 基于vae-gan和混合密度网络的灰度图像着色方法
CN110807757A (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
CN111709914B (zh) 一种基于hvs特性的无参考图像质量评价方法
CN107545570B (zh) 一种半参考图的重构图像质量评价方法
CN109859166A (zh) 一种基于多列卷积神经网络的无参3d图像质量评估方法
Chen et al. Blind quality index for tone-mapped images based on luminance partition
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
Yue et al. Semi-supervised authentically distorted image quality assessment with consistency-preserving dual-branch convolutional neural network
CN112767385A (zh) 基于显著性策略与特征融合无参考图像质量评价方法
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
CN110415816B (zh) 一种基于迁移学习的皮肤病临床图像多分类方法
CN107909565A (zh) 基于卷积神经网络的立体图像舒适度评价方法
Yuan et al. Color image quality assessment with multi deep convolutional networks
Chang et al. Image Quality Evaluation Based on Gradient, Visual Saliency, and Color Information
CN108764277A (zh) 一种无参考图像模糊质量评价算法
Vila et al. Analysis of image informativeness measures

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant