CN116485741A - 一种无参考图像质量评价方法、系统、电子设备及存储介质 - Google Patents

一种无参考图像质量评价方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN116485741A
CN116485741A CN202310415262.3A CN202310415262A CN116485741A CN 116485741 A CN116485741 A CN 116485741A CN 202310415262 A CN202310415262 A CN 202310415262A CN 116485741 A CN116485741 A CN 116485741A
Authority
CN
China
Prior art keywords
image
features
sample image
scale
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310415262.3A
Other languages
English (en)
Inventor
储颖
陈帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202310415262.3A priority Critical patent/CN116485741A/zh
Publication of CN116485741A publication Critical patent/CN116485741A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种无参考图像质量评价方法、系统、电子设备及存储介质，包括：S1、获取若干样本图像块，对每一样本图像块基于预设编码器和预设解码器获取对应的伪参考图像和图像恢复特征；S2、通过预设特征提取器分别获取样本图像块和伪参考图像的高级特征，以获取二者之间的差异特征；S3、通过预设特征提取器获取样本图像块的多尺度内容特征以得到融合后的多尺度特征；S4、对样本图像块的高级特征、融合后的多尺度特征和差异特征进行全局平均池化拼接后进行全连接神经网络映射以获取样本图像块的预测质量分数；S5、根据所有样本图像块的预设质量分数获取待评价图像的质量评价结果。实施本发明能够提高图像质量评价结果的准确度。

Description

一种无参考图像质量评价方法、系统、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域，更具体地说，涉及一种无参考图像质量评价方法、系统、电子设备及存储介质。
背景技术
无参考图像质量评价(NR-IQA)方法在评价过程中不需要参考图像信息，通过分析失真图像本身的特性来评价图像质量。NR-IQA方法具有更高的实用性，因为在实际应用中，往往无法获取到原始图像或者参考图像，同时也具有最高的难度，需要考虑失真图像的复杂特性和人眼的视觉特性。因此，NR-IQA方法已成为客观图像质量评价方法的研究热点之一，具有重要的理论和实际意义。
由于参考图像信息的缺失，许多传统的NR-IQA方法关注失真图像的特定失真类型，并根据失真类型提出相应的评价算法。例如用基于滤波的方法来估计图像中的噪声，用锐度、模糊度估计算法对模糊图像进行质量评价等。如果能够知道图像失真过程或图像中的失真类型，这种方法可以获得较高的准确率。
此外，还有一部分NR-IQA方法不针对特定类型的失真，而是提取能够描述多种失真类型的通用质量特征，以实现对多种失真的图像进行质量评价。这种方法的重点和难点在于选取何种特征来度量失真程度，在传统方法中一般通过自然场景统计(NSS)来手工提取，而在基于深度学习的方法中可以通过深度学习网络模型自动学习。
其中，基于手工提取特征的方法包括BIQI方法、BRISQUE方法、NIQE方法和IL-NIQE方法。BIQI方法使用广义高斯分布(GGD)对图像小波分解系数进行拟合，将GGD模型的参数作为特征，使用支持向量机进行分类得到5种失真类型的概率。然后使用支持向量回归对5种失真类型分别计算其质量得分，最后将各类型得分进行加权求和，得到总的图像质量评分。BRISQUE方法也采用了BIQI的两阶段框架，首先计算失真图像的多尺度去均值对比度归一化(MSCN)系数，再使用非对称广义高斯分布(AGGD)对MSCN系数及其不同方向的相关系数进行拟合，使用AGGD的系数作为特征进行质量分数预测。NIQE方法使用的特征和BRISQUE相同，然后使用多元高斯分布(MVG)对特征进行拟合，分别对失真图像和自然图像进行NSS特征的MVG拟合，将二者的MVG模型之间的距离定义为失真图像的质量。IL-NIQE方法将MSCN系数、梯度统计信息、Log-Gabor滤波器响应和色彩统计信息作为质量感知特征，然后使用MVG进行建模，将MVG之间的距离作为图像质量。
基于深度学习的方法包括IQA-CNN方法、DIQaM-NR方法、HyperIQA方法、DB-CNN方法、RAN4IQA方法、Hall-IQA方法和VCRNet方法。其中，IQA-CNN首次使用卷积神经网络(CNN)来进行无参考图像质量评价。该模型由一层卷积层、最大最小池化层和两层全连接层组成，将不重叠的图像块作为CNN的输入，以扩充数据量，取所有图像块质量分数的均值作为失真图像的质量分数。DIQaM-NR方法通过构建10层卷积层和2层全连接层进行特征提取和分数预测，同样以图像块作为输入，但输出为图像块的质量分数和权重，最后进行加权求和得到整个图像的质量分数。HyperIQA方法针对真实失真图像进行质量评价，使用ResNet-50来提取失真图像的内容特征，通过超网络对不同图像生成自适应的参数来进行质量分数的预测，并且使用了多尺度特征来增强模型感知细节特征的能力。DB-CNN方法同时适用于合成失真和真实失真图像。该方法使用在ImageNet上预训练的VGG-16提取真实失真特征，使用在Waterloo Exploration数据集和PASCAL VOC 2012上预训练的CNN提取合成失真特征，最后利用双线性池化对两个特征进行特征融合，通过全连接层映射为质量分数。RAN4IQA方法是基于生成对抗网络(GAN)提出的，该方法使用修复器来尽可能还原参考图像，使用判别器区分参考图像和修复图像，以确保修复的图像质量得到提高，评价器基于图像的修复收益预测最终的质量分数。Hall-IQA方法同样基于GAN提出，使用GAN来生成伪参考图像，然后将失真图像及其与伪参考图像之间的差异图作为回归网络的输入，进行质量分数预测。VCRNet方法使用视觉重建网络来生成伪参考图像，利用失真图像的多尺度特征和失真图像重建过程中的恢复特征来预测质量分数，但是未能利用伪参考图像与失真图像之间的差异特征。
上述的NR-IQA仅从失真图像中提取特征，最贴近实际应用场景，这也导致NR-IQA的难度更大。一些研究者提出了基于GAN的方法，通过GAN生成失真图像的伪参考图像从而解决无法获得参考图像信息的问题。然而GAN的训练过程比较震荡，难以达到比较好的图像恢复性能，另外在面临严重失真的图像时，GAN难以有效地对图像质量进行恢复。
发明内容
本发明要解决的技术问题在于，提供一种无参考图像质量评价方法、系统、电子设备及存储介质。
本发明解决其技术问题所采用的技术方案是：构造一种无参考图像质量评价方法，包括以下步骤：
S1、基于待评价图像获取若干样本图像块，对每一样本图像块基于预设编码器获取所述样本图像块的下采样结果，并基于预设解码器获取所述样本图像块的上采样结果，以根据所述上采样结果获取所述样本图像块对应的伪参考图像和所述伪参考图像对应的图像恢复特征；
S2、通过预设特征提取器分别获取所述样本图像块的高级特征和所述伪参考图像的高级特征，以根据所述样本图像块的高级特征和所述伪参考图像的高级特征获取所述样本图像块与所述伪参考图像之间的差异特征；
S3、通过所述预设特征提取器获取所述样本图像块的多尺度内容特征，并基于所述图像恢复特征融合所述多尺度内容特征以得到融合后的多尺度特征；
S4、对所述样本图像块的高级特征、所述融合后的多尺度特征和所述差异特征进行全局平均池化拼接以得到拼接特征图，对所述拼接特征图进行全连接神经网络映射以获取所述样本图像块的预测质量分数；
S5、根据所有所述样本图像块的预设质量分数获取所述待评价图像的质量评价结果。
优选地，在本发明所述的无参考图像质量评价方法中，在所述步骤S1中，所述编码器包括第一单层卷积层、第一残差块和四个第二残差块，以及与所述四个第二残差块一一对应的四个残差连接模块；其中，
所述四个第二残差块级联连接后的第一端经所述第一残差块连接所述第一单层卷积层的输出端，所述第一单层卷积层的输出端用于输入所述样本图像块；
所述四个第二残差块级联连接后的第二端连接所述预设解码器的输入端；
所述残差连接模块用于分别连接对应的所述第二残差块的输入和输出。
优选地，在本发明所述的无参考图像质量评价方法中，在所述步骤S1中，所述解码器包括四个第一反卷积层和一个第二反卷积层；其中，
所述四个第一反卷积层级联连接后的第一端连接所述第二反卷积层，通过所述第二反卷积层输出所述样本图像块对应的伪参考图像，所述四个第一反卷积层级联连接后的第二端连接所述预设编码器。
优选地，在本发明所述的无参考图像质量评价方法中，在所述步骤S2中，所述预设特征提取器包括在基于ImageNet预训练生成的ResNet-50；
在所述步骤S2中，所述样本图像块的高级特征为所述ResNet-50中Conv5_9的输出；
在所述步骤S4中，所述样本图像块的多尺度内容特征包括所述ResNet-50中Conv2_10、Conv3_12和Conv4_18的输出。
优选地，在本发明所述的无参考图像质量评价方法中，在所述步骤S3中，所述基于所述图像恢复特征融合所述多尺度内容特征以得到融合后的多尺度特征，包括以下步骤：
S31、基于多尺度卷积分别获取所述图像恢复特征的卷积特征和所述多尺度内容特征的卷积特征；
S32、对所述图像恢复特征的卷积特征和所述多尺度内容特征的卷积特征分别进行最大池化和平均池化，以获取所述图像恢复特征对应的最大池化特征图和平均池化特征图和所述多尺度内容特征对应的最大池化特征图和平均池化特征图；
S33、对所述图像恢复特征对应的最大池化特征图和平均池化特征图进行拼接并通过5×5卷积获取所述图像恢复特征的空间注意力权重；对所述多尺度内容特征对应的最大池化特征图和平均池化特征图进行拼接并通过5×5卷积学习空间上的权重获取所述多尺度内容特征的空间注意力权重；
S34、基于所述图像恢复特征的空间注意力权重和所述多尺度内容特征的空间注意力权重拼接所述图像恢复特征和所述多尺度内容特征以获取拼接的空间注意力特征图；
S35、对所述拼接的空间注意力特征图进行全局平均池化以得到一维向量，根据全连接层获取所述一维向量中每一通道的权重以获取所述一维向量对应的权重向量；
S36、基于拼接的空间注意力特征图和所述权重向量以得到融合后的多尺度特征。
优选地，在本发明所述的无参考图像质量评价方法中，还包括：
S11、基于Waterloo合成失真数据集和初始编码器及初始解码器获取结构相似图，以根据所述结构相似图对所述初始编码器和初始解码器进行训练以得到所述预设编码器和所述预设解码器。
优选地，在本发明所述的无参考图像质量评价方法中，所述解码器还包括第三反卷积层，所述四个第一反卷积层级联连接后的第一端连接所述第三反卷积层，通过所述第三反卷积层输出所述样本图像块对应的结构相似图。
本发明还构造一种无参考图像质量评价系统，包括：
第一获取单元，用于基于待评价图像获取若干样本图像块，对每一样本图像块基于预设编码器获取所述样本图像块的下采样结果，并基于预设解码器获取所述样本图像块的上采样结果，以根据所述上采样结果获取所述样本图像块对应的伪参考图像和所述伪参考图像对应的图像恢复特征；
第二获取单元，用于通过预设特征提取器分别获取所述样本图像块的高级特征和所述伪参考图像的高级特征，以根据所述样本图像块的高级特征和所述伪参考图像的高级特征获取所述样本图像块与所述伪参考图像之间的差异特征；；
第三获取单元，用于通过所述预设特征提取器获取所述样本图像块的多尺度内容特征，并基于所述图像恢复特征融合所述多尺度内容特征以得到融合后的多尺度特征；
第四获取单元，用于对所述样本图像块的高级特征、所述融合后的多尺度特征和所述差异特征进行全局平均池化拼接以得到拼接特征图，对所述拼接特征图进行全连接神经网络映射以获取所述样本图像块的预测质量分数；
结果输出单元，用于根据所有所述样本图像块的预设质量分数获取所述待评价图像的质量评价结果。
本发明还构造一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上面任意一项所述的无参考图像质量评价方法。
本发明还构造一种电子设备，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序实现如上面任一项所述的无参考图像质量评价方法。
实施本发明的一种无参考图像质量评价方法、系统、电子设备及存储介质，具有以下有益效果：能够更加充分地利用了伪参考图像所提供的信息，提高图像质量评价结果的准确度。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明一种无参考图像质量评价方法一实施例的程序流程图；
图2是本发明一种无参考图像质量评价方法一实施例的逻辑框图；
图3是本发明一种无参考图像质量评价方法中解码器和编码器一实施例的结构示意图；
图4是本发明一种无参考图像质量评价方法中残差块的一实施例的结构示意图；
图5是本发明一种无参考图像质量评价方法另一实施例的程序流程图；
图6是本发明一种无参考图像质量评价方法中局部过程的程序流程图；
图7是本发明一种无参考图像质量评价装置一实施例的逻辑框图；
图8是本发明一种无参考图像质量评价方法一实施例的效果对比图。
具体实施方式
为了对本发明的技术特征.目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
如图1和图2所示，在本发明的一种无参考图像质量评价方法第一实施例中，包括以下步骤：S1、基于待评价图像获取若干样本图像块，对每一样本图像块基于预设编码器获取样本图像块的下采样结果，并基于预设解码器获取所述样本图像块的上采样结果，以根据所述上采样结果获取所述样本图像块对应的伪参考图像和所述伪参考图像对应的图像恢复特征。具体的，对待评价图像进行采样以得到样本图像块，可以将样本图像块作为编码器下采样的输入，同时编码器下采样的输出结果通过解码器上采样后输出伪参考图图像，通知输出该伪参考图像对应的图像恢复特征。其中，由于无参考图像质量评价无法使用参考图像，因此这里通过质量恢复来生成伪参考图像，已通过伪参考图像提供参考图像的先验信息。通过图像恢复特征是生成伪参考图像时提取的特征，用来恢复失真图像。
S2、通过预设特征提取器分别获取所述样本图像块的高级特征和所述伪参考图像的高级特征，以根据所述样本图像块的高级特征和所述伪参考图像的高级特征获取所述样本图像块与所述伪参考图像之间的差异特征。具体的，可以通过预设特征提取器获取样本图像块的真实失真特征，即基于预设特征提取器分别获取样本图像块和伪参考图像的高级特征，将样本图像块的高级特征与伪参考图像的高级特征相减得到差值，基于该差值获取样本图像块与伪参考图像之间的差异特征。
S3、通过所述预设特征提取器获取所述样本图像块的多尺度内容特征，并基于所述图像恢复特征融合所述多尺度内容特征以得到融合后的多尺度特征。具体的，还可以通过预设特征提取器获取样本图像块的多尺度内容特征，并基于解码器获取的图像恢复特征进行充分融合得到融合后的多尺度特征。可以理解，图像恢复特征和尺度特征的数量和对应关系可以根据需要设置，在融合过程中基于对应关系融合。例如，在一实施例中，可以采用三个图像恢复特征和三个尺度特征对应并融合。
S4、对所述样本图像块的高级特征、所述融合后的多尺度特征和所述差异特征进行全局平均池化拼接以得到拼接特征图，对所述拼接特征图进行全连接神经网络映射以获取所述样本图像块的预测质量分数。具体的，将得到的样本图像块的高级特征、该样本图像块对应的差异特征和融合后的多尺度特征进行拼接得到对应的拼接特征图，基于该拼接特征图进行全连接神经网络映射，最终得到该样图像块的预测质量分数。
在一实施例中，全连接神经网络可以为三层全连接层结构，通过该三层全连接层结构获取样本图像块的预测质量分数过程可以基于以下公式实现，
qi＝W3ρ(W2ρ(W1F+b1)+b2)+b3
其中W1、W2和W3分别为三层全连接层的参数，b1、b2和b3分别为三层全连接层的偏置项，ρ(·)为ReLU激活函数，如下式所示
ρ(x)＝max(0,x)
F为拼接后的特征即对应拼接特征图，如下式
其中，FH为失真图像的高级特征，FM为融合后的多尺度特征，FD为样本图像块与伪参考图像的差异特征。
S5、根据所有所述样本图像块的预设质量分数获取所述待评价图像的质量评价结果。具体的，根据得到的所有的样品本图像块的预测质量分数进行数据运算得到最终的待评价图像的质量分数即对应其质量评价结果。
可选的，所述预设编码器包括所述编码器包括第一单层卷积层、第一残差块和四个第二残差块，以及与所述四个第二残差块一一对应的四个残差连接模块，其中，所述四个第二残差块级联连接后的第一端经所述第一残差块连接所述第一单层卷积层的输出端，所述第一单层卷积层的输出端用于输入所述样本图像块；所述四个第二残差块级联连接后的第二端连接所述预设解码器的输入端；所述残差连接模块用于分别连接对应的所述第二残差块的输入和输出。具体的，如图3所示，可以设置预设编码器由E1至E6这6个卷积模块级联组成，其中，卷积模块E1为单层卷积层，由16个步长为1的3×3卷积核组成。通常卷积层由多个卷积核组成，每个卷积核都会对输入图像或前一层的特征图进行卷积操作，生成一个输出特征图。为了在加深预设编码器层数时避免梯度消失，以及复用低层特征，在卷积模块E1后的卷积模块E2至E6可以使用残差块来进行下采样。由于残差块中引入了跨层连接，即在卷积神经网络的某一层的输出与多层后的输出相加。通过残差连接可以增强网络的表示能力，避免梯度消失，提高网络的深度和性能，使得神经网络更加易于训练和优化。如图4所示，在一实施例中，其中卷积模块E2使用第一残差块对应残差块1，其中第一残差块可以包含两个步长为1的3×3卷积层，第一残差块的处理过程不会改变输入特征图的尺寸，从而可以残差连接过程中将该卷积模块E2的输入与输出特征图直接相加。卷积模块E3-E6使用第二残差块对应残差块2，每个第二残差块分别包含1个步长为2的3×3卷积层和1个步长为1的3×3卷积层，在第二残差块的处理过程中，其输出特征图尺寸相比输入特征图尺寸会减半，即卷积模块E3至卷积模块E6的输入特征图和输出特征图尺寸不一致，因此在进行卷积模块E3至卷积模块E6的残差连接时需要对卷积模块E3至卷积模块E6中每一卷积模块的输入特征图进行步长为2的1×1卷积即通过残差模块连接，使每一卷积模块的输入特征图和输出特征图的尺寸匹配。对于每个残差块，复用低层特征就相当于复用了输入特征，残差块1是直接相加，而残差块2是将输入特征经过1×1卷积后再相加。
可选的，在所述步骤S1中，所述解码器包括四个第一反卷积层和一个第二反卷积层；其中，所述四个第一反卷积层级联连接后的第一端连接所述第二反卷积层，通过所述第二反卷积层输出所述样本图像块对应的伪参考图像，所述四个第一反卷积层级联连接后的第二端连接所述预设编码器。具体的，如图3所示，解码器可以由5个反卷积层D1至D5组成，对样本图像块的高级特征进行上采样，生成伪参考图像。此外还可以通过多层级的跳跃式连接，使得解码器可以有效地保留样本图像块中的细节信息，同时避免了池化层对特征细节的损失，从而提升图像恢复的效果。反卷积层D1至反卷积层D5均由3×3的卷积层组成，其中反卷积层D1至反卷积层D4的卷积步长为2，反卷积层D5的卷积步长为1。其中多层级的跳跃式连接可以包括编码器E2到解码器D4，编码器E3到解码器D3，编码器E4到解码器D2，编码器E5到解码器D1的连接。
可选的，在本发明的无参考图像质量评价方法中还包括：S11、基于Waterloo合成失真数据集和初始编码器及初始解码器获取结构相似图，以根据所述结构相似图对所述初始编码器和初始解码器进行训练以得到所述预设编码器和所述预设解码器。具体的，可以在Waterloo合成失真数据集上，利用辅助任务生成结构相似图对编码器和解码器进行预训练，以得到预设编码器和预设解码器。其具体的操作过程可以为，从待评价图像中随机裁剪224×224大小的图像块以扩充训练数据，学习率设为0.001，批处理大小为64，使用Adam优化器训练100轮，损失函数为生成结构相似图与真实结构相似图的L1损失，如下式所示：
其中N1为该训练过程中的训练图像数量，为第i个图像块与对应的参考图像之间的结构相似图，使用SSIM方法计算得到，/>为基于上述编码器和解码器预测的第i个图像块的结构相似图。
在基于上述过程完成辅助任务的训练后，获取的编码器和解码器参数已经能够较好的学习到待评价图像中的结构信息，在此基础上，可以对编码器和解码器生成伪参考图像的过程进行续联。其同样的可以在Waterloo合成失真数据集上训练，从待评价图像中中随机裁剪224×224大小的图像块进行训练，学习率为0.0001，批处理大小为64，使用Adam优化器训练50轮，损失函数为伪参考图像与参考图像之间的L1损失，如下式所示：
其中N2为训练图像数量，为第i个图像块对应的参考图像，/>为模型生成的伪参考图像。
可选的，如图3所示，所述解码器还包括第三反卷积层，所述四个第一反卷积层级联连接后的第一端连接所述第三反卷积层，通过所述第三反卷积层输出所述样本图像块对应的结构相似图。具体的，第三反卷积层对应反卷积层D6，反卷积层D6由卷积步长为1的3×3卷积层组成。
在一具体实施例中，编码器(Encoder)和解码器(Decoder)的结构可以参照表1，
表1编码器和解码器结构参数
可选的，在所述步骤S2中，所述预设特征提取器包括在基于ImageNet预训练生成的ResNet-50。在所述步骤S2中，所述样本图像块的高级特征为所述ResNet-50中Conv5_9的输出；在所述步骤S4中，所述样本图像块的多尺度内容特征包括所述ResNet-50中Conv2_10、Conv3_12和Conv4_18的输出。具体的可以在ImageNet上预训练生成ResNet-50，将该ResNet-50作为用来预设特征提取器提取样本图像块的真实失真特征。将使用ResNet-50中Conv2_10、Conv3_12和Conv4_18的输出作为样本图像块的多尺度内容特征，并分别与预设解码器输出的图像恢复特征F1、F2和F3通过多尺度特征融合模块进行充分融合得到融合后的多尺度特征。同时，还可以将样本图像块的高级特征即ResNet-50中Conv5_9的输出与伪参考图像的高级特征相减，通过1×1卷积降维后得到样本图像块与伪参考图像的差异特征。
可选的，如图5所示，在所述步骤S3中，所述基于所述图像恢复特征融合所述多尺度内容特征以得到融合后的多尺度特征，包括以下步骤：S31、基于多尺度卷积分别获取所述图像恢复特征的卷积特征和所述多尺度内容特征的卷积特征；S32、对所述图像恢复特征的卷积特征和所述多尺度内容特征的卷积特征分别进行最大池化和平均池化，以获取所述图像恢复特征对应的最大池化特征图和平均池化特征图和所述多尺度内容特征对应的最大池化特征图和平均池化特征图；S33、对所述图像恢复特征对应的最大池化特征图和平均池化特征图进行拼接并通过5×5卷积获取所述图像恢复特征的空间注意力权重；对所述多尺度内容特征对应的最大池化特征图和平均池化特征图进行拼接并通过5×5卷积学习空间上的权重获取所述多尺度内容特征的空间注意力权重；S34、基于所述图像恢复特征的空间注意力权重和所述多尺度内容特征的空间注意力权重拼接所述图像恢复特征和所述多尺度内容特征以获取拼接的空间注意力特征图；S35、对所述拼接的空间注意力特征图进行全局平均池化以得到一维向量，根据全连接层获取所述一维向量中每一通道的权重以获取所述一维向量对应的权重向量；S36、基于拼接的空间注意力特征图和所述权重向量以得到融合后的多尺度特征。
具体的，通过多尺度特征融合模块来充分融合图像恢复特征和样本图像块的多尺度内容特征，其中多尺度特征融合模块的结构示意图如图6所示。由于图像恢复特征和样本图像块的多尺度内容特征来自不同的网络结构，它们之间的特征尺度可能存在差异，因此，对这个两个类型的特征分别进行多尺度卷积，以提取各个尺度的特征。其中，多尺度卷积可以采用两个串联的3×3卷积来达到5×5卷积的感受野大小，同时降低了参数量。其具体可以参照下式：
其中，MC(·)为多尺度卷积操作，Fin为输入特征图，在这里可以为样本图像块的多尺度内容特征和图像恢复特征，Conv3×3(·)为步长为1的3×3卷积，特征图填充大小为1，即在特征图四周添加一个像素，以扩大特征图尺寸，若之前的特征图尺寸为H×W，则填充后的尺寸为(H+2)×(W+2)。这里进行填充是为了保证输出的特征图尺寸相同，从而可以进行拼接。，Conv1×1(·)为步长为1的1×1卷积，为特征拼接操作。
接着利用空间注意力模块来分别提取上述所述图像恢复特征的卷积特征和所述多尺度内容特征的卷积特征在空间上的显著特征，空间注意力模块可以在保留关键信息的同时，忽略不重要的区域。其具体的过程为，首先对各个多尺度卷积后的得到的特征图即卷积特征进行最大化和平均池化操作，分别生成两个二维的特征图。这里可以理解，每一个卷积特征对应的得到一组二维特征图，例如分别得到所述图像恢复特征对应的最大池化特征图和平均池化特征图这两个二维特征图，和分别得到所述多尺度内容特征对应的最大池化特征图和平均池化特征图这两个二维特征图。
分别对每一卷积特征对应的两个二维特征图进行拼接，并在拼接后通过5×5卷积学习空间上的权重，将该权重分别与对应的输入特征图相乘得到对应的空间注意力特征图。该空间可以理解为特征图的空间位置，通常特征图可以理解为一个长×宽×通道数的长方体，空间注意力就是对特征图中的不同位置赋予不同的权重，来实现对关键信息的重点关注。例如，将图像恢复特征的最大池化特征图和平均池化特征图进行拼接后根据其在空间上的权重获取图像恢复特征的空间注意力权重。将多尺度内容特征的最大池化特征图和平均池化特征图进行拼接后根据其在空间上的权重获取多尺度内容特征的空间注意力权重。然后，基于得到的所述图像恢复特征的空间注意力权重和所述多尺度内容特征的空间注意力权重拼接所述图像恢复特征和所述多尺度内容特征以获取拼接的空间注意力特征图。
其具体过程可以参照下式：
其中，FR为图像恢复特征，FC为图像的多尺度内容特征，Conv5×5(·)为5×5卷积，MaxPool(·)和AvgPool(·)分别为最大池化和平均池化操作，为特征拼接操作，⊙为特征相乘操作，FMR为图像恢复特征经过多尺度卷积后的特征图，FMC为图像内容特征经过多尺度卷积后的特征图，FWR为图像恢复特征在空间上的权重，FWC为图像内容特征在空间上的权重，FS为拼接后的空间注意力特征图。
为了进一步融合空间注意力特征图，利用通道注意力模块来学习拼接后的空间注意力特征图在不同通道上的重要性，从而更好地捕捉不同通道间的关系。首先对拼接的空间注意力特征图使用全局平均池化得到一个一维向量，再通过全连接层来学习每个通道的权重，从而生成一个权重向量，将该向量与拼接的空间注意力特征图相乘，得到充分融合的输出特征。该过程下式所示：
其中，FS为拼接后的空间注意力特征图，FC(·)为全连接层，⊙为特征相乘操作，FWS为全局平均池化后的一维向量，W为权重向量，FM为输出特征，即融合后的多尺度特征。
可选的，可以获取所有所述样本图像块的预测质量分数的平均值为所述待评价图像的质量评价结果。具体的，可以从待评价图像中随机采样5个224×224像素的图像块。然后，对这5个图像块进行预测，并取预测结果的平均值来得到测试图像的质量分数。具体计算公式如下式所示：
其中N3为从测试图像中采样的图像块数量，qi为第i个样本图像块的预测质量分数。采样的图像块数量和大小均可以根据需要进行调整。
可选的，可以基于以下函数对上述过程进行训练，其
其中N4为该训练过程中的训练图像块数量，为第i个图像块的真实质量分数，l1代表l1正则化。在上述过程中可以使用Adam优化器，权重衰减率为5×10-4，训练轮数为50，批处理大小为48，初始学习率为5×10-5，模型每训练10次学习率乘以0.9。为了进行数据增强，训练时可以对图像进行随机水平翻转，并从每个图像中随机采样5个224×224的图像块，来扩充训练样本数量，其中，可以理解图像块的质量分数与对应待评价图像即失真图像的质量分数相同。其可以理解，基于在得到每次图像翻转后，基于翻转后的图像执行步骤S1至步骤S4。
如图7所示，本发明的一种无参考图像质量评价系统，包括：
第一获取单元110，用于基于待评价图像获取若干样本图像块，对每一样本图像块基于预设编码器获取所述样本图像块的下采样结果，并基于预设解码器获取所述样本图像块的上采样结果，以根据所述上采样结果获取所述样本图像块对应的伪参考图像和所述伪参考图像对应的图像恢复特征；
第二获取单元120，用于通过预设特征提取器分别获取所述样本图像块的高级特征和所述伪参考图像的高级特征，以根据所述样本图像块的高级特征和所述伪参考图像的高级特征获取所述样本图像块与所述伪参考图像之间的差异特征；
第三获取单元130，用于通过所述预设特征提取器获取所述样本图像块的多尺度内容特征，并基于所述图像恢复特征融合所述多尺度内容特征以得到融合后的多尺度特征；
第四获取单元140，用于对所述样本图像块的高级特征、所述融合后的多尺度特征和所述差异特征进行全局平均池化拼接以得到拼接特征图，对所述拼接特征图进行全连接神经网络映射以获取所述样本图像块的预测质量分数；
结果输出单元150，用于根据所有所述样本图像块的预设质量分数获取所述待评价图像的质量评价结果。
具体的，这里的无参考图像质量评价系统各单元之间具体的配合操作过程具体可以参照上述无参考图像质量评价方法，这里不再赘述。
另，本发明的一种电子设备，包括存储器和处理器；存储器用于存储计算机程序；处理器用于执行计算机程序实现如上面任意的无参考图像质量评价方法。具体的，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过电子设备下载和安装并且执行时，执行本发明实施例的方法中限定的上述功能。本发明中的电子设备可为笔记本、台式机、平板电脑、智能手机等终端，也可为服务器。
另，本发明的一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上面任意一项的无参考图像质量评价方法。具体的，需要说明的是，本发明上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于是电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。而在本发明中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、系统或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
一具体实施例
为了避免训练集和测试集中的图像内容重复，根据原始图像对合成失真数据集进行了80％和20％的训练集和测试集划分。对于真实失真数据集，直接按80％和20％的比例进行训练集和测试集划分。为了减少随机误差的影响，每个数据集都按照上述规则进行了10次随机划分，取10次实验结果的中位数作为最终结果。通过该过程可以全面评估本实施例中在不同数据集上的表现，并能够避免训练集和测试集中的图像内容重复的问题。最终结果可靠性更高。
在本实施例中，主要使用斯皮尔曼等级相关系数(SROCC)和皮尔逊相关系数(PLCC)两个指标来进行性能比较。其中SROCC用于评价预测的单调性，PLCC用于评价预测分数与主观质量分数的线性相关性，它们的范围均为[-1，1]，绝对值越大表示模型的性能越好。其计算方式如下式：
/>
其中M为图像数目，xi和yi分别为第i张图像的主观评价分数和预测分数，和/>分别为主观评价分数均值和预测分数均值，di为第i张图像主观评价分数和预测分数排名的差值。
此外，在大型合成失真数据集Waterloo上，由于缺少主观质量分数，使用原始/失真图像辨别能力测试(D-Test)，排序一致性测试(L-Test)和图像对偏好一致性测试(P-Test)进行性能比较，计算方式分别如下式所示：
其中Sp和Sd分别为数据集中参考图像和失真图像集合，S′p和S′d为模型预测的参考图像和失真图像集合。
其中N为参考图像数量，C为失真类型数量，lij和qij分别表示真实失真顺序和预测的失真顺序。
其中Q为图像对总数，Qc为模型预测顺序正确的图像对数量。
在单个数据集上的性能比较
在单个数据集上的实验使用了LIVE、CSIQ、TID2013和KADID四个合成失真数据集，以及LIVEC和KonIQ两个真实失真数据集，结果如表2和表3所示。与实施例中的过程进行对比的主流方法包括3个传统方法PSNR、SSIM、BRISQUE，7个基于深度学习的方法CNN、BIECON、MEON、DIQaM-NR、HyperIQA、DB-CNN、TS-CNN，基于GAN的RAN4IQA和Hall-IQA，以及基于视觉补偿修复的VCRNet。
从表2和表3的实验结果可以看到，在本实施例中，在六个数据集上均能取得前两名的SROCC，并在KADID数据集上取得了最好的性能表现，在其它数据集上也与最优方法保持着较小的差距。与传统方法相比，本实施例中六个数据集上均超越了这些方法，与基于深度学习和基于GAN的方法相比，本实施例中在合成失真数据集均能超越大多数方法，在真实失真数据集上，仅略低于针对真实失真的Hyper-IQA。
表2单个数据集上的SROCC结果
表3单个数据集上的PLCC结果
综合SROCC和PLCC结果来看，本实施例在六个数据集上均有着较好的性能表现，并且与基于深度学习和GAN的方法相比，本实施例具有一定优势。
在单个失真类型上的性能对比
为了测试本章方法在特定失真类型上的性能表现，在LIVE、CSIQ和TID2013三个数据集上进行了实验，针对每个数据集,在整个数据集上对模型进行训练，然后在某一失真类型上测试。实验结果如表4，表5和表6所示。
从表中可以看出本实施例在LIVE和CSIQ上均有4种失真类型取得了前两名的性能表现，优于其他方法。在TID2013数据集上，本实施例在24种失真类型中的13种失真类型上能够取得前2名的性能表现，仅次于HyperIQA的16种。并且在NPN、BW、MS、CC和CCS等比较复杂的失真类型上，大多数方法难以取得令人满意的结果，并且难以达到0.500的SROCC，而本实施例仍然能够取得比较优秀的结果，在这几种失真类型上分别达到了0.596，0.728，0.542，0.786和0.719的SROCC。
表4 LIVE数据集上单个失真类型的SROCC结果
表5CSIQ数据集上单个失真类型的SROCC结果
表6TID2013数据集上单个失真类型的SROCC结果
综合三个数据集上单个失真类型的实验结果来看，本实施例针对特定的失真类型有着良好的性能表现，即使面对比较复杂的失真类型，本实施例仍能保持较高的预测准确率。
基于交叉数据集性能对比
交叉数据集实验是一种常见的测试模型泛化能力的方法。本文在LIVE、CSIQ、TID2013和LIVEC四个数据集上进行了交叉数据集实验。具体而言，本文在其中一个数据集上进行训练，然后在其余数据集上测试，例如，在LIVE数据集上训练模型，然后在CSIQ、TID2013和LIVEC数据集上进行测试，以此类推。这种方法可以更全面地测试模型的泛化性能，实验的SROCC结果如表7所示。
表7交叉数据集实验的SROCC结果
总体来看，本章方法在12次测试中，一共取得了11次前两名的SROCC，优于第二名DB-CNN和VCRNet的7次。在合成失真数据集上进行交叉数据集测试时，由于各个数据集的失真类型比较相似，大部分方法都能取得不错的性能。然而TID2013包含更多复杂的失真类型，因此在该数据集上测试时，许多方法的性能会大幅下降，但本实施例仍能取得最高的SROCC。当在合成失真和真实失真数据集之间进行交叉测试时，许多方法性能下降严重，难以取得较好的性能。而本实施例分别取得了0.600、0.467、0.375和0.419的SROCC，均取得了前两名的性能表现，超越了其他基于深度学习和基于GAN的方法。
为了进一步在大规模数据集上测试本实施例的泛化性能，在Waterloo数据集上进行了D-Test、P-Test和L-Test测试。为了防止训练集和测试集交叉，多任务图像恢复子网络在TID2013上进行预训练，然后在LIVE上训练整个模型，实验结果如表8所示。从表中可以看出，本实施例在三个指标上均取得了前两名，证明了本实施例有着良好的泛化性能。
表8 D-Test，L-Test和P-Test结果
为了验证所提方法中各个模块对模型性能的影响，在LIVE、CSIQ和LIVEC上进行了消融实验，实验结果如表9所示。
首先，将仅以失真图像为输入的分数预测子网络作为基准模型，此时模型的性能最差。然后加入单任务的图像质量恢复子网络，并将图像恢复特征与失真图像多尺度内容特征直接拼接，此时模型能够利用到部分伪参考图像的信息，性能有所提升。接着使用多任务的图像质量恢复子网络，仍然仅使用图像恢复特征，此时由于伪参考图像的质量有所提高，模型的性能也得到了提高。然后引入图像差异特征，使模型更加充分地利用伪参考图像信息，模型的SROCC进一步提高。最后，将多尺度特征融合模块引入，使得图像多尺度内容特征和恢复特征能够充分融合，模型也达到了最好的性能表现。
综合上述实验结果来看，本实施例所提出的多任务图像恢复子网络、采用的图像恢复特征、图像差异特征以及多尺度特征融合模块，均能有效地提高模型的性能。
表9消融实验结果
为了测试图像恢复子网络的性能，在LIVE、CSIQ和TID2013数据集上进行了图像恢复性能实验，使用失真图像和伪参考图像与参考图像之间的平均PSNR和平均SSIM来评估图像的恢复效果。本章分别测试了单任务和多任务图像恢复网络的性能，实验结果如表10和表11所示。
表10伪参考图像和失真图像的平均PSNR
表11伪参考图像和失真图像的平均SSIM
图8为单任务伪参考图像与多任务伪参考图像的对比图。从图中可以更直观地看到多任务伪参考图像在视觉感知质量方面表现出了明显的优势，相较于单任务伪参考图像和失真图像(对应待评价图像)，其图像质量更接近参考图像。这表明在多任务学习的框架下，伪参考图像的生成能够更好地恢复图像的视觉品质和感知细节，从而提高了伪参考图像的质量和可用性。
其中，本发明中涉及的英文名词说明可参照附录。可以理解的，以上实施例仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制；应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，可以对上述技术特点进行自由组合，还可以做出若干变形和改进，这些都属于本发明的保护范围；因此，凡跟本发明权利要求范围所做的等同变换与修饰，均应属于本发明权利要求的涵盖范围。
附录：专有名词中英文对照表
/>

Claims (10)

1.一种无参考图像质量评价方法，其特征在于，包括以下步骤：
S1、基于待评价图像获取若干样本图像块，对每一样本图像块基于预设编码器获取所述样本图像块的下采样结果，并基于预设解码器获取所述样本图像块的上采样结果，以根据所述上采样结果获取所述样本图像块对应的伪参考图像和所述伪参考图像对应的图像恢复特征；
S2、通过预设特征提取器分别获取所述样本图像块的高级特征和所述伪参考图像的高级特征，以根据所述样本图像块的高级特征和所述伪参考图像的高级特征获取所述样本图像块与所述伪参考图像之间的差异特征；
S3、通过所述预设特征提取器获取所述样本图像块的多尺度内容特征，并基于所述图像恢复特征融合所述多尺度内容特征以得到融合后的多尺度特征；
S4、对所述样本图像块的高级特征、所述融合后的多尺度特征和所述差异特征进行全局平均池化拼接以得到拼接特征图，对所述拼接特征图进行全连接神经网络映射以获取所述样本图像块的预测质量分数；
S5、根据所有所述样本图像块的预设质量分数获取所述待评价图像的质量评价结果。
2.根据权利要求1所述的无参考图像质量评价方法，其特征在于，在所述步骤S1中，所述编码器包括第一单层卷积层、第一残差块和四个第二残差块，以及与所述四个第二残差块一一对应的四个残差连接模块；其中，
所述四个第二残差块级联连接后的第一端经所述第一残差块连接所述第一单层卷积层的输出端，所述第一单层卷积层的输出端用于输入所述样本图像块；
所述四个第二残差块级联连接后的第二端连接所述预设解码器的输入端；
所述残差连接模块用于分别连接对应的所述第二残差块的输入和输出。
3.根据权利要求1所述的无参考图像质量评价方法，其特征在于，在所述步骤S1中，所述解码器包括四个第一反卷积层和一个第二反卷积层；其中，
所述四个第一反卷积层级联连接后的第一端连接所述第二反卷积层，通过所述第二反卷积层输出所述样本图像块对应的伪参考图像，所述四个第一反卷积层级联连接后的第二端连接所述预设编码器。
4.根据权利要求1所述的无参考图像质量评价方法，其特征在于，在所述步骤S2中，所述预设特征提取器包括在基于ImageNet预训练生成的ResNet-50；
在所述步骤S2中，所述样本图像块的高级特征为所述ResNet-50中Conv5_9的输出；
在所述步骤S4中，所述样本图像块的多尺度内容特征包括所述ResNet-50中Conv2_10、Conv3_12和Conv4_18的输出。
5.根据权利要求1所述的无参考图像质量评价方法，其特征在于，在所述步骤S3中，所述基于所述图像恢复特征融合所述多尺度内容特征以得到融合后的多尺度特征，包括以下步骤：
S31、基于多尺度卷积分别获取所述图像恢复特征的卷积特征和所述多尺度内容特征的卷积特征；
S32、对所述图像恢复特征的卷积特征和所述多尺度内容特征的卷积特征分别进行最大池化和平均池化，以获取所述图像恢复特征对应的最大池化特征图和平均池化特征图和所述多尺度内容特征对应的最大池化特征图和平均池化特征图；
S33、对所述图像恢复特征对应的最大池化特征图和平均池化特征图进行拼接并通过5×5卷积获取所述图像恢复特征的空间注意力权重；对所述多尺度内容特征对应的最大池化特征图和平均池化特征图进行拼接并通过5×5卷积学习空间上的权重获取所述多尺度内容特征的空间注意力权重；
S34、基于所述图像恢复特征的空间注意力权重和所述多尺度内容特征的空间注意力权重拼接所述图像恢复特征和所述多尺度内容特征以获取拼接的空间注意力特征图；
S35、对所述拼接的空间注意力特征图进行全局平均池化以得到一维向量，根据全连接层获取所述一维向量中每一通道的权重以获取所述一维向量对应的权重向量；
S36、基于拼接的空间注意力特征图和所述权重向量以得到融合后的多尺度特征。
6.根据权利要求3所述的无参考图像质量评价方法，其特征在于，所述方法还包括：
S11、基于Waterloo合成失真数据集和初始编码器及初始解码器获取结构相似图，以根据所述结构相似图对所述初始编码器和初始解码器进行训练以得到所述预设编码器和所述预设解码器。
7.根据权利要求6所述的无参考图像质量评价方法，其特征在于，所述解码器还包括第三反卷积层，所述四个第一反卷积层级联连接后的第一端连接所述第三反卷积层，通过所述第三反卷积层输出所述样本图像块对应的结构相似图。
8.一种无参考图像质量评价系统，其特征在于，包括：
第一获取单元，用于基于待评价图像获取若干样本图像块，对每一样本图像块基于预设编码器获取所述样本图像块的下采样结果，并基于预设解码器获取所述样本图像块的上采样结果，以根据所述上采样结果获取所述样本图像块对应的伪参考图像和所述伪参考图像对应的图像恢复特征；
第二获取单元，用于通过预设特征提取器分别获取所述样本图像块的高级特征和所述伪参考图像的高级特征，以根据所述样本图像块的高级特征和所述伪参考图像的高级特征获取所述样本图像块与所述伪参考图像之间的差异特征；；
第三获取单元，用于通过所述预设特征提取器获取所述样本图像块的多尺度内容特征，并基于所述图像恢复特征融合所述多尺度内容特征以得到融合后的多尺度特征；
第四获取单元，用于对所述样本图像块的高级特征、所述融合后的多尺度特征和所述差异特征进行全局平均池化拼接以得到拼接特征图，对所述拼接特征图进行全连接神经网络映射以获取所述样本图像块的预测质量分数；
结果输出单元，用于根据所有所述样本图像块的预设质量分数获取所述待评价图像的质量评价结果。
9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任意一项所述的无参考图像质量评价方法。
10.一种电子设备，其特征在于，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序实现如权利要求1-7任一项所述的无参考图像质量评价方法。
CN202310415262.3A 2023-04-11 2023-04-11 一种无参考图像质量评价方法、系统、电子设备及存储介质 Pending CN116485741A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310415262.3A CN116485741A (zh) 2023-04-11 2023-04-11 一种无参考图像质量评价方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310415262.3A CN116485741A (zh) 2023-04-11 2023-04-11 一种无参考图像质量评价方法、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116485741A true CN116485741A (zh) 2023-07-25

Family

ID=87224511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310415262.3A Pending CN116485741A (zh) 2023-04-11 2023-04-11 一种无参考图像质量评价方法、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116485741A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721304A (zh) * 2023-08-10 2023-09-08 武汉大学 基于失真图像恢复指导的图像质量感知方法、系统及设备
CN116977220A (zh) * 2023-08-07 2023-10-31 中国矿业大学 基于图像质量启发的盲图像去运动模糊算法
CN117152092A (zh) * 2023-09-01 2023-12-01 国家广播电视总局广播电视规划院 全参考图像评价方法、装置、电子设备和计算机存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977220A (zh) * 2023-08-07 2023-10-31 中国矿业大学 基于图像质量启发的盲图像去运动模糊算法
CN116977220B (zh) * 2023-08-07 2024-02-13 中国矿业大学 基于图像质量启发的盲图像去运动模糊算法
CN116721304A (zh) * 2023-08-10 2023-09-08 武汉大学 基于失真图像恢复指导的图像质量感知方法、系统及设备
CN116721304B (zh) * 2023-08-10 2023-10-20 武汉大学 基于失真图像恢复指导的图像质量感知方法、系统及设备
CN117152092A (zh) * 2023-09-01 2023-12-01 国家广播电视总局广播电视规划院 全参考图像评价方法、装置、电子设备和计算机存储介质

Similar Documents

Publication Publication Date Title
CN111047516B (zh) 图像处理方法、装置、计算机设备和存储介质
CN111179177B (zh) 图像重建模型训练方法、图像重建方法、设备及介质
CN116485741A (zh) 一种无参考图像质量评价方法、系统、电子设备及存储介质
CN113240580A (zh) 一种基于多维度知识蒸馏的轻量级图像超分辨率重建方法
CN112419242B (zh) 基于自注意力机制gan网络的无参考图像质量评价方法
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
CN112954312A (zh) 一种融合时空特征的无参考视频质量评估方法
CN111127331B (zh) 基于像素级全局噪声估计编解码网络的图像去噪方法
CN110136057B (zh) 一种图像超分辨率重建方法、装置及电子设备
US11310475B2 (en) Video quality determination system and method
CN112950596B (zh) 基于多区域多层次的色调映射全向图像质量评价方法
CN115731505B (zh) 视频显著性区域检测方法、装置、电子设备及存储介质
CN112422870B (zh) 一种基于知识蒸馏的深度学习视频插帧方法
Hachicha et al. No-reference stereo image quality assessment based on joint wavelet decomposition and statistical models
CN113450288A (zh) 基于深度卷积神经网络单图像去雨方法、系统和存储介质
Brunet A study of the structural similarity image quality measure with applications to image processing
CN115239591A (zh) 图像处理方法、装置、电子设备、存储介质及程序产品
Wu et al. FW-GAN: Underwater image enhancement using generative adversarial network with multi-scale fusion
CN113538246A (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
Wang et al. No-reference stereoscopic image quality assessment using quaternion wavelet transform and heterogeneous ensemble learning
CN113706400A (zh) 图像矫正方法、装置、显微镜图像的矫正方法及电子设备
CN113362338B (zh) 铁轨分割方法、装置、计算机设备和铁轨分割处理系统
CN115700731A (zh) 一种基于双通道卷积神经网络的水下图像增强方法
CN115035170A (zh) 基于全局纹理与结构的图像修复方法
CN112258394B (zh) 数据处理方法、船只跟踪方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination