CN111429402B - 高级视觉感知特征与深度特征融合的图像质量评价方法 - Google Patents

高级视觉感知特征与深度特征融合的图像质量评价方法 Download PDF

Info

Publication number
CN111429402B
CN111429402B CN202010117736.2A CN202010117736A CN111429402B CN 111429402 B CN111429402 B CN 111429402B CN 202010117736 A CN202010117736 A CN 202010117736A CN 111429402 B CN111429402 B CN 111429402B
Authority
CN
China
Prior art keywords
image
image quality
network structure
network
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010117736.2A
Other languages
English (en)
Other versions
CN111429402A (zh
Inventor
张蕾
侯文静
张敏
冯筠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NORTHWEST UNIVERSITY
Original Assignee
NORTHWEST UNIVERSITY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NORTHWEST UNIVERSITY filed Critical NORTHWEST UNIVERSITY
Priority to CN202010117736.2A priority Critical patent/CN111429402B/zh
Publication of CN111429402A publication Critical patent/CN111429402A/zh
Application granted granted Critical
Publication of CN111429402B publication Critical patent/CN111429402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Biology (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种高级视觉感知特征与深度特征融合的图像质量评价方法，该方法包括：结合基于人眼视觉系统的最小可觉差模型对原始失真图像进行预处理；通过将原始失真图像与原始失真图像得到的最小可觉差图分别作为两个子网络的输入来训练深度网络分别提取图像质量感知特征，并对两个网络分支所提取的特征进行融合；进一步构建全连接层对图像质量进行评价。本发明提供的方法，通过结合人眼视觉系统对图像的感知特点，建立了一种新的自然图像主观感知的客观预测模型；提出了一种新的损失函数，能够有效地实现图像质量的评价。改进后的图像质量评价模型能够提取到更丰富的图像质量感知特征，并且预测的结果与人眼视觉主观感知具有较高一致性。

Description

高级视觉感知特征与深度特征融合的图像质量评价方法
技术领域
本发明涉及图像处理技术领域，涉及图像质量评价方法，具体涉及一种高级视觉感知特征与深度特征融合的图像质量评价方法。
背景技术
图像质量评价(Image Quality Assessment，IQA)的目标是设计与人类主观评估一致的算法进行客观的质量评估，这些IQA方法对于图像处理系统的测试，优化等具有十分重要的指导意义。无参考图像质量评价无需任何参考信息，应用广泛，因此成为图像质量评价领域的研究热点。
随着深度学习的发展，卷积神经网络(Convolutional Neural Network,CNN)在计算机视觉领域各个任务中均取得了显著的效果，如图像分类和分割、目标检测等。因此近些年部分研究者开始将深度学习技术应用于自然图像质量评价任务中。2014年Kang等人首次将深度学习应用在图像质量评价领域，构建了一个浅层的卷积神经网络回归模型，随后出现了大量的相关工作，主要的困难在于深度学习依赖于大量的标注数据，然而，目前公开数据集没有足够的已标注的训练样本。一种常见的解决方案是数据增强，例如，2017Bosse等人提出一种Weighted Average Deep Image Quality Measure(WaDIQaM)网络架构，这种方法对于具有均匀单重失真的图像是有效的，然而，真实环境中的失真图像所遭受的失真类型是未知且不均匀的。另一种常见的解决方案是迁移学习，具体地，对已经在大规模数据集上预先训练的网络模型进行微调。现有的大多数基于迁移学习的IQA方法采用固定大小的输入图像，这可能会在调整图像大小时掩盖一些失真，或假设剪切图像时图像质量不产生局部变化。
综上所述，现有的基于深度学习的图像质量评价方法，仅仅从原始失真图像中提取特征，未考虑到人眼视觉系统对失真图像的高级感知特征；另外，这些方法只使用均方根误差(Mean Square Error,MSE)或者绝对值误差(Mean Absolute Error,MAE)作为损失函数，使得网络预测结果仅仅与标签值接近，而无法学习到图像质量的秩次关系。因此，网络在训练时无法学习到与视觉质量感知一致的特征，导致模型效果不够理想。
发明内容
针对现有技术的不足，本发明的目的在于结合人眼视觉系统的最小可觉差模型(Just Noticeable Difference，JND)，提供一种基于深度学习的图像质量评价方法，用以解决现有技术缺乏对人眼主观感知特点融合的问题。
为了实现上述目标，本发明采用以下技术方案：
一种图像质量评价方法，本方法是对原始失真图像进行图像质量评价，包括以下步骤：
步骤1，利用最小可觉差模型对原始失真图像进行处理，得到最小可觉差图像，构建特征提取网络分别用于从最小可觉差图像和原始失真图像中提取高级视觉感知特征和深度特征；并将这两种特征进行融合；
步骤2，构建基于步骤1得到的融合特征进行图像质量预测的网络结构，具体地，该网络结构的是含有一个节点的全连接层，表示图像的质量分数；步骤3，构建目标损失函数，训练所构建的网络结构，得到图像质量评价模型；
步骤4，利用图像质量评价模型对原始失真图像进行图像质量评价。
优选的，构建均方根误差与图像质量排序的加权作为目标损失函数，目标损失函数L为：
Figure BDA0002392011290000031
其中：L2是均方根误差；
n为批训练时批次大小，1≤n≤训练集总样本数；
α和β为权重参数，均为正整数；
Figure BDA0002392011290000032
表示训练集中样本i和j之间的图像质量排序损失，i和j均为介于1和n之间的变量；
Figure BDA0002392011290000033
consistencyi,j表示网络结构预测的训练集中样本i和j对应的图像质量排序与标签排序是否一致，若一致则为1，否则为0；f(Ii,Ji；θ)代表网络结构对变量i对应的原始失真图像Ii预测的图像质量分数，Ji表示从原始失真图像Ii处理得到的对应于Ii的最小可觉差图像Ji；f(Ij,Jj；θ)代表网络结构对变量j对应的原始失真图像Ij预测的图像质量分数，Jj表示从原始失真图像Ij处理得到的对应于Ij的最小可觉差图像Jj；θ表示网络结构中的所有参数变量，其取值为实数范围。
进一步，所述的步骤1中，构建深度残差网络分别用于从最小可觉差图像和失真图像中提取高级视觉感知特征和深度特征包括：使用最小可觉差模型对原始失真图像进行处理，并复制三次，得到三通道的最小可觉差图像；构建特征提取网络分别用于从最小可觉差图像和失真图像中提取高级视觉感知特征和深度特征。
进一步，所述的步骤1中，特征提取网络包含两个结构一致的子网络，均为去掉最后一个全局池化层和全连接层的深度残差网络。
进一步，所述的步骤1中将提取到的高级视觉感知特征和深度特征进行融合包括：构建将高级视觉感知特征和深度特征进行融合的网络结构，包括特征拼接或双线性池化，将提取的将高级视觉感知特征和深度特征融合。
进一步，所述的步骤3中，构造目标损失函数，训练所构建的网络结构，具体包括：使用ImageNet大型数据集上预训练好的深度残差网络初始化模型中两个子网络的参数；构建原始失真图像与对应的最小可觉差图像对，送入所述的构建好的结构网络中，使用目标损失函数训练整个结构网络。
进一步，所述的训练整个网络结构，包括：按照正态分布初始化最后一层网络的参数；冻结除最后一个全连接层之外的其他网络层参数，采用批梯度下降的训练方式来最小化所述的目标损失函数值，进而对最后一层的网络参数进行调整；在训练好的网络参数的基础上，采用批梯度下降的训练方式来最小化所述的目标损失函数值，进而对网络中所有层的参数进行调整，得到最终的图像质量评价模型。
本发明还提供一种图像质量评价系统，该系统是基于上述方法，对原始失真图像进行图像质量评价，包括最小可觉差模型、特征提取网络结构、特征融合网络结构以及图像质量评价模型；所述最小可觉差模型对原始失真图像进行处理，得到最小可觉差图像；所述特征提取网络结构分别用于从最小可觉差图像和原始失真图像中提取高级视觉感知特征和深度特征；所述特征融合网络结构用于将高级视觉感知特征和深度特征进行融合，包括特征拼接或双线性池化；；所述图像质量评价模型是构建均方根误差与图像质量排序的加权作为目标损失函数训练所构建的述特征融合网络结构后得到的，用于对原始失真图像进行图像质量评价。
本发明与现有技术相比，具有以下技术特点：
1.本发明结合人眼视觉对失真的敏感度特性，分别从人眼可觉差图像中提取高级视觉感知特征与失真图像中提取客观质量感知特征，并构建特征融合网络实现特征之间的融合，进一步得到与人眼视觉感知一致的图像质量感知特征；
2.本发明针对现有的图像质量评价算法所使用的回归损失函数不能很好的反映图像质量排序问题，构建了一种新的目标损失函数，使得网络能够同时学习到与主观标签值接近的质量分数和图像质量间的排序，这种目标函数有助于网络提取与人眼视觉感知更加一致的特征。
附图说明
图1为本方法的整体网络结构图，其中训练阶段需使用主观MOS值，如图中虚线框表示；
图2为本方法中用于提取特征的残差网络结构图；
图3为本方法中特征提取网络中残差块1的结构图，卷积块RB1，其中卷积核大小为3×3；
图4为本方法中特征提取网络中残差块2的结构图，卷积块RB2，其中卷积核大小为3×3；
图5为本方法中特征融合的网络结构图。
具体实施方式
以下给出本发明的具体实施例，需要说明的是：1.本发明并不局限于以下具体实施例。2.实施例中采用LIVE和LIVE Challenge两个数据集，其中LIVE数据集包含5种失真类型，共有799张失真图像；LIVE Challenge中共有1162张真实失真图像。对于每个数据集，将其中的80％作为训练集，剩余20％作为测试集，对数据集进行十次随机划分，记十次测试结果的平均值。3.本实施例使用python语言和pytorch深度网络框架实现整个网络模型的构建，其中卷积、池化均为调用对应框架相应函数获得。
现有的基于深度学习的图像质量评价方法，仅仅从原始失真图像中提取特征，未考虑到人眼视觉系统对失真图像的高级感知特征；另外，这些方法只使用均方根误差(MeanSquare Error,MSE)或者绝对值误差(Mean Absolute Error,MAE)作为损失函数，使得网络预测结果仅仅与标签值接近，而无法学习到图像质量的秩次关系。因此，网络在训练时无法学习到与视觉质量感知一致的特征，导致模型效果不够理想。
本发明所指的高级视觉感知特征是指从失真图像所对应的最小可觉差图像中提取到的特征；深度特征是指从失真图像中所提取到的特征。
本发明所指的最小可觉差模型表达了人眼恰好能感受到失真变化的阈值，估计了人眼视觉系统的可分辨性和失真敏感度特性，为现有模型；本发明所指的最小可觉差图像是指使用最小可觉差模型对失真图像计算得到的图像。
实施例1：
本实施例提供了一种图像质量评价方法,将高级视觉感知特征与深度特征融合，具体包括以下步骤：
步骤1，利用最小可觉差模型对原始失真图像进行处理，得到最小可觉差图像，构建特征提取网络分别用于从最小可觉差图像和失真图像中提取高级视觉感知特征和深度特征；并将这两种特征进行融合；
具体包括：
步骤1.1，使用最小可觉差模型对原始失真图像进行处理，得到对应的最小可觉差图像，并复制三次，得到三通道的最小可觉差图像；具体地，本实施例使用现有的JND模型计算最小可觉差图；
步骤1.2，构建特征提取网络分别用于从失真图像与步骤1.1中得到的最小可觉差图像中提取图像质量感知特征，分别得到深度特征和高级视觉感知特征；具体地，特征提取网络包含两个结构一致的子网络，均为去掉最后一个全局池化层和全连接层的深度残差网络；考虑到随着网络的加深，可能会造成图像结构信息的丢失，本实施例使用resnet-50残差网络；
步骤1.3，建立用于特征融合的网络结构，如特征拼接或双线性池化等，将步骤1.2中两个子网络所提取的图像质量感知特征进一步融合，具体地，本实施例使用双线性池化特征融合方式，具体结构如图5。
步骤2，构建基于步骤1得到的融合特征进行图像质量预测的网络结构，具体地，该网络结构的是含有一个节点的全连接层，表示图像的质量分数；
步骤3，构造目标损失函数，训练所构建的网络结构，得到图像质量评价模型；
具体包括：
步骤3.1，构建均方根误差与图像质量排序的加权作为目标损失函数L，如公式：
Figure BDA0002392011290000081
其中：L2是均方根误差；
n为批训练时批次大小参数，1≤n≤训练集总样本数；
α和β为权重参数，均为正整数，由训练得到；
Figure BDA0002392011290000082
表示样本i和j之间的图像质量排序损失，i和j均为介于1和n之间的变量；当失真图像的预测分数与其标签不一致或预测质量的排序与主观MOS的排序不一致时，损失对深度网络进行惩罚。具体地，Lrank计算如公式:
Figure BDA0002392011290000091
consistencyi,j表示网络结构预测的训练集中样本i和j对应的图像质量排序与标签排序是否一致，若一致则为1，否则为0；f(Ii,Ji；θ)代表网络结构对变量i对应的原始失真图像Ii预测的图像质量分数，Ji表示从原始失真图像Ii处理得到的对应于Ii的最小可觉差图像Ji；f(Ij,Jj；θ)代表网络结构对变量j对应的原始失真图像Ij预测的图像质量分数，Jj表示从原始失真图像Ij处理得到的对应于Ij的最小可觉差图像Jj；θ表示网络结构中所有参数，其取值为实数，均由训练得到；此处标签是由人眼平均主观得分(Mean Opinion Score，MOS)而来，作为数据集的标签值。
步骤3.2，使用ImageNet大型数据集上预训练好的深度残差网络初始化模型中两个子网络的参数；
步骤3.3，构建原始失真图像与对应的最小可觉差图像对，送入所述的构建好的图像质量评价网络中，使用所述的目标损失函数端到端地训练整个网络。
本实施例提供了具体的调整网络参数的方案：使用在ImageNet数据集上预训练的网络模型参数上进行微调，具体步骤如下：
步骤3.3.1，按照正态分布初始化最后一层网络的参数；
步骤3.3.2，冻结除最后一个全连接层之外的其他网络层参数，采用批梯度下降的训练方式来最小化所述的目标损失函数值，进而对最后全连接层网络参数进行调整；
步骤3.3.3，在步骤3.3.2训练好的网络参数的基础上，采用批梯度下降的训练方式来最小化所述的目标损失函数值，进而对网络中所有层的参数进行调整，得到最终的图像质量评价模型；
步骤4，利用训练好的模型对失真图像的质量进行预测。
给定一幅待测失真图像，通过步骤3训练得到的图像质量评价模型对待测失真图像的质量进行预测，得到质量分数。
本实施例通过实验对比了背景技术中所介绍的WaDIQaM，DBCNN，APNet三种方法。实验结果如下表所示，其中Spearman相关系数(Spearman rank correlationcoefficient,SROCC)与Pearson相关系数(Pearson Correlation Coefficient,PLCC)为实验的评价指标，取值为[0,1]，取值越高，说明方法的性能越好。
表1不同方法之间的对比结果
Figure BDA0002392011290000101
/>
由表1结果可知，本发明在两个数据集上的性能均高于了所对比的图像质量评价模型。
为了进一步证明本发明所提出的创新可以对最终的结果产生有利的影响，本实施例通过实验对比了五种不同方法之间的效果，具体方法如下：
N1：仅包含一个子网络，即输入为原始失真图像，采用均方根误差损失函数对整个网络端到端进行训练。
N2：仅包含一个子网络，即输入为原始失真图像，采用本发明所提出的损失函数L对整个网络端到端进行训练。
N3：仅包含一个子网络，即输入为原始失真图像对应的最小可觉差图像，采用本发明所提出的损失函数L对整个网络进行训练。
N4：包含两个子网络，输入分别为原始失真图像与其对应的最小可觉差图像，将两个子网络所提取的图像质量感知特征进行拼接融合，采用本发明所提出的损失函数L对整个网络进行训练。
N5：包含两个子网络，输入分别为原始失真图像与其对应的最小可觉差图像，将两个子网络所提取的图像质量感知特征进行双线性池化融合，采用本发明所提出的损失函数L对整个网络进行训练。
表2消融实验对比结果(SROCC)
Net Base JND Map MSELoss RankLoss LIVE LIVE Challenge
N1 √ √ 0.959 0.847
N2 √ √ √ 0.965 0.855
N3 √ √ √ 0.946 0.734
N4(cat) √ √ √ √ 0.968 0.860
N5 √ √ √ √ 0.974 0.879
由表2结果可知，本发明所提出的创新可以对最终的结果产生有利的影响，从而进一步提升图像质量评价模型的性能。

Claims (7)

1.一种高级视觉感知特征与深度特征融合的图像质量评价方法，本方法是对原始失真图像进行图像质量评价，其特征在于，包括以下步骤：
步骤1，利用最小可觉差模型对原始失真图像进行处理，得到最小可觉差图像，构建特征提取网络分别用于从最小可觉差图像和原始失真图像中提取高级视觉感知特征和深度特征；并将两种特征进行融合；
所述构建深度残差网络分别用于从最小可觉差图像和失真图像中提取高级视觉感知特征和深度特征包括：使用最小可觉差模型对原始失真图像进行处理，并复制三次，得到三通道的最小可觉差图像；构建特征提取网络分别用于从最小可觉差图像和失真图像中提取高级视觉感知特征和深度特征；
步骤2，构建基于步骤1得到的融合特征进行图像质量预测的网络结构，具体地，该网络结构的是含有一个节点的全连接层，表示图像的质量分数；
步骤3，构建目标损失函数，训练所构建的网络结构，得到图像质量评价模型；具体包括：
步骤3.1，构建均方根误差与图像质量排序的加权作为目标损失函数L，如公式：
Figure FDA0004063115370000011
其中：L2是均方根误差；
n为批训练时批次大小参数，1≤n≤训练集总样本数；
α和β为权重参数，均为正整数，由训练得到；
Figure FDA0004063115370000021
表示样本i和j之间的图像质量排序损失，i和j均为介于1和n之间的变量；
Figure FDA0004063115370000022
consistencyi,j表示网络结构预测的训练集中样本i和j对应的图像质量排序与标签排序是否一致，若一致则为1，否则为0；f(Ii,Ji；θ)代表网络结构对变量i对应的原始失真图像Ii预测的图像质量分数，Ji表示从原始失真图像Ii处理得到的对应于Ii的最小可觉差图像Ji；f(Ij,Jj；θ)代表网络结构对变量j对应的原始失真图像Ij预测的图像质量分数，Jj表示从原始失真图像Ij处理得到的对应于Ij的最小可觉差图像Jj；θ表示网络结构中所有参数，其取值为实数；
步骤4，利用图像质量评价模型对原始失真图像进行图像质量评价。
2.根据权利要求1所述的图像质量评价方法，其特在于，步骤3中，构建均方根误差与图像质量排序的加权作为目标损失函数，目标损失函数L为：
Figure FDA0004063115370000023
其中：L2是均方根误差；
n为批训练时批次大小，1≤n≤训练集总样本数；
α和β为权重参数，均为正整数；
Figure FDA0004063115370000031
表示训练集中样本i和j之间的图像质量排序损失，i和j均为介于1和n之间的变量；
Figure FDA0004063115370000032
consistencyi,j表示网络结构预测的训练集中样本i和j对应的图像质量排序与标签排序是否一致，若一致则为1，否则为0；f(Ii,Ji；θ)代表网络结构对变量i对应的原始失真图像Ii预测的图像质量分数，Ji表示从原始失真图像Ii处理得到的对应于Ii的最小可觉差图像Ji；f(Ij，Jj；θ)代表网络结构对变量j对应的原始失真图像Ij预测的图像质量分数，Ij表示从原始失真图像Ij处理得到的对应于Ij的最小可觉差图像Jj；θ表示网络结构中的所有参数变量，其取值为实数范围。
3.根据权利要求1所述的图像质量评价方法，其特征在于，所述的步骤1中，特征提取网络包含两个结构一致的子网络，均为去掉最后一个全局池化层和全连接层的深度残差网络。
4.根据权利要求1所述的图像质量评价方法，其特征在于，所述的步骤1中将提取到的高级视觉感知特征和深度特征进行融合包括：构建将高级视觉感知特征和深度特征进行融合的网络结构，包括特征拼接或双线性池化，将提取的将高级视觉感知特征和深度特征融合。
5.根据权利要求1所述的图像质量评价方法，其特征在于，所述的步骤3中，构造目标损失函数，训练所构建的网络结构，具体包括：使用ImageNet大型数据集上预训练好的深度残差网络初始化模型中两个子网络的参数；构建原始失真图像与对应的最小可觉差图像对，送入所述的构建好的结构网络中，使用目标损失函数训练整个结构网络。
6.根据权利要求5所述的图像质量评价方法，其特征在于，所述的训练整个网络结构，包括：按照正态分布初始化最后一层网络的参数；冻结除最后一个全连接层之外的其他网络层参数，采用批梯度下降的训练方式来最小化所述的目标损失函数值，进而对最后一层的网络参数进行调整；在训练好的网络参数的基础上，采用批梯度下降的训练方式来最小化所述的目标损失函数值，进而对网络中所有层的参数进行调整，得到最终的图像质量评价模型。
7.一种图像质量评价系统，该系统是基于权利要求1或2所述方法，对原始失真图像进行图像质量评价，其特征在于，包括最小可觉差模型、特征提取网络结构、特征融合网络结构以及图像质量评价模型；
所述最小可觉差模型对原始失真图像进行处理，得到最小可觉差图像；所述特征提取网络结构分别用于从最小可觉差图像和原始失真图像中提取高级视觉感知特征和深度特征；所述特征融合网络结构用于将高级视觉感知特征和深度特征进行融合，包括特征拼接或双线性池化；所述图像质量评价模型是构建均方根误差与图像质量排序的加权作为目标损失函数训练所构建的述特征融合网络结构后得到的，用于对原始失真图像进行图像质量评价；
所述构建深度残差网络分别用于从最小可觉差图像和失真图像中提取高级视觉感知特征和深度特征包括：使用最小可觉差模型对原始失真图像进行处理，并复制三次，得到三通道的最小可觉差图像；构建特征提取网络分别用于从最小可觉差图像和失真图像中提取高级视觉感知特征和深度特征；
构建均方根误差与图像质量排序的加权作为目标损失函数L，如公式：
Figure FDA0004063115370000051
其中：L2是均方根误差；
n为批训练时批次大小参数，1≤n≤训练集总样本数；
α和β为权重参数，均为正整数，由训练得到；
Figure FDA0004063115370000052
表示样本i和j之间的图像质量排序损失，i和j均为介于1和n之间的变量；
Figure FDA0004063115370000053
consistencyi,j表示网络结构预测的训练集中样本i和j对应的图像质量排序与标签排序是否一致，若一致则为1，否则为0；f(Ii，Ji；θ)代表网络结构对变量i对应的原始失真图像Ii预测的图像质量分数，Ji表示从原始失真图像Ii处理得到的对应于Ii的最小可觉差图像Ji；f(Ij，Jj；θ)代表网络结构对变量j对应的原始失真图像Ij预测的图像质量分数，Jj表示从原始失真图像Ij处理得到的对应于Ij的最小可觉差图像Jj；θ表示网络结构中所有参数，其取值为实数。
CN202010117736.2A 2020-02-25 2020-02-25 高级视觉感知特征与深度特征融合的图像质量评价方法 Active CN111429402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010117736.2A CN111429402B (zh) 2020-02-25 2020-02-25 高级视觉感知特征与深度特征融合的图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010117736.2A CN111429402B (zh) 2020-02-25 2020-02-25 高级视觉感知特征与深度特征融合的图像质量评价方法

Publications (2)

Publication Number Publication Date
CN111429402A CN111429402A (zh) 2020-07-17
CN111429402B true CN111429402B (zh) 2023-05-30

Family

ID=71547320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010117736.2A Active CN111429402B (zh) 2020-02-25 2020-02-25 高级视觉感知特征与深度特征融合的图像质量评价方法

Country Status (1)

Country Link
CN (1) CN111429402B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950567A (zh) * 2021-02-25 2021-06-11 北京金山云网络技术有限公司 质量评价方法、装置、电子设备及存储介质
CN113128517B (zh) * 2021-03-22 2023-06-13 西北大学 色调映射图像混合视觉特征提取模型建立及质量评价方法
EP4309118A1 (en) * 2021-04-01 2024-01-24 Huawei Technologies Co., Ltd. Data agnostic sampling and differentiable correlation loss function
CN113379733B (zh) * 2021-07-08 2022-06-17 湖南工商大学 无参考图像质量评价的分块标签权重度量方法及设备
CN115187519B (zh) * 2022-06-21 2023-04-07 上海市计量测试技术研究院 图像质量评价方法、系统及计算机可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633520A (zh) * 2017-09-28 2018-01-26 福建帝视信息科技有限公司 一种基于深度残差网络的超分辨率图像质量评估方法
CN107770517A (zh) * 2017-10-24 2018-03-06 天津大学 基于图像失真类型的全参考图像质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018053340A1 (en) * 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107633520A (zh) * 2017-09-28 2018-01-26 福建帝视信息科技有限公司 一种基于深度残差网络的超分辨率图像质量评估方法
CN107770517A (zh) * 2017-10-24 2018-03-06 天津大学 基于图像失真类型的全参考图像质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于视觉显著模型的图像质量评价算法;陈宏达等;《传感器与微系统》(第10期);全文 *
立体图像质量感知特征提取的研究与展望;徐少平等;《计算机工程》(第06期);全文 *

Also Published As

Publication number Publication date
CN111429402A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111429402B (zh) 高级视觉感知特征与深度特征融合的图像质量评价方法
CN109727246B (zh) 一种基于孪生网络的对比学习图像质量评估方法
CN109961396B (zh) 一种基于卷积神经网络的图像超分辨率重建方法
CN109840560B (zh) 基于胶囊网络中融入聚类的图像分类方法
CN111738942A (zh) 一种融合特征金字塔的生成对抗网络图像去雾方法
CN112766279B (zh) 一种基于联合注意力机制的图像特征提取方法
CN110349185B (zh) 一种rgbt目标跟踪模型的训练方法及装置
CN110458084B (zh) 一种基于倒置残差网络的人脸年龄估计方法
CN108629370B (zh) 一种基于深度置信网络的分类识别算法及装置
CN105657402A (zh) 一种深度图恢复方法
CN112489164B (zh) 基于改进深度可分离卷积神经网络的图像着色方法
CN109919920A (zh) 统一结构的全参考和无参考图像质量评价方法
Hou et al. Saliency-guided deep framework for image quality assessment
WO2024021461A1 (zh) 缺陷检测方法及装置、设备、存储介质
CN111179196A (zh) 一种基于分而治之的多分辨率深度网络图像去高光方法
Jia et al. Effective meta-attention dehazing networks for vision-based outdoor industrial systems
Liu et al. A multiscale approach to deep blind image quality assessment
CN114187261A (zh) 一种基于多维注意力机制的无参考立体图像质量评价方法
CN114511521A (zh) 基于多重表示与多重子域自适应的轮胎瑕疵检测方法
CN110796716B (zh) 一种基于多重残差网络和正则化迁移学习的图像着色方法
CN112712526A (zh) 基于非对称卷积神经网络双通道的视网膜血管分割方法
CN116844008A (zh) 一种注意力机制引导的内容感知无参考图像质量评价方法
CN116486150A (zh) 一种基于不确定性感知的图像分类模型回归误差消减方法
CN112270370B (zh) 一种车辆表观毁伤评估方法
CN115272203A (zh) 一种基于深度学习的无参考图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant