CN116823794A - 一种基于多域失真学习的无参考图像质量评价方法 - Google Patents

一种基于多域失真学习的无参考图像质量评价方法 Download PDF

Info

Publication number
CN116823794A
CN116823794A CN202310853093.1A CN202310853093A CN116823794A CN 116823794 A CN116823794 A CN 116823794A CN 202310853093 A CN202310853093 A CN 202310853093A CN 116823794 A CN116823794 A CN 116823794A
Authority
CN
China
Prior art keywords
image
module
domain distortion
feature
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310853093.1A
Other languages
English (en)
Inventor
张桦
沈卓南
郑博仑
姚扬
张灵均
王慕薇
罗逸章
郭紫俐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202310853093.1A priority Critical patent/CN116823794A/zh
Publication of CN116823794A publication Critical patent/CN116823794A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多域失真学习的无参考图像质量评价方法，首先构建基于多域失真学习的无参考图像质量评价模型；然后对输入的失真图像进行退化修复；完成多域失真学习，得到对应的频率特征；再进行多尺度语义特征提取和边缘信息提取；最后根据获得的将多尺度频率特征、多尺度语义特征和图像边缘信息，实现特征融合与质量回归。本发明提出使用多域失真学习方法，帮助模型识别图像信息中的各种噪声，并有效地提高图像质量。本发明在图像语义特征的基础之上引入频域信息来辅助预测质量分数。

Description

一种基于多域失真学习的无参考图像质量评价方法
技术领域
本发明涉及图像、视频处理技术领域，尤其是涉及一种结合多域失真学习的特征学习方式以及深度学习进行无参考图像质量评价的方法。
背景技术
图像质量评价(Image Quality Assessment,IQA)在机器视觉领域是一个极为基础而又重要的任务。IQA是指通过对图像信号进行相关特性分析，评价图像的视觉失真程度。IQA方法可以分为主观IQA方法和客观IQA方法。主观IQA方法是指通过大量的观测者主观判断获取图像的视觉质量。客观IQA是指通过客观算法自动计算图像的视觉质量。特别地，客观IQA又可以细分为全参考IQA,半参考IQA，无参考IQA。相较于全参考IQA和半参考IQA，无参考IQA无需参考图片信息，而且它拥有更广阔的应用市场和实际价值。根据无参考IQA在计算图像退化质量时是否需要图像的主观分数来进行训练，无参考IQA可分为基于监督学习的无参考IQA和基于无监督学习的无参考IQA。
基于监督学习的无参考IQA主要包括基于传统机器学习的方法和基于深度学习的方法。基于传统机器学习的方法旨在设计有效的视觉特征表达方法，通过支持向量回归等传统机器学习方法学习视觉特征到图像退化质量的映射模型。
随着深度学习的蓬勃发展，计算机视觉领域达到了新的高度，对图像和视频的处理也有了很大突破。传统的依靠对人类视觉效应(HVS)的建模来完成图像质量评价的方法复杂性高，计算量大，且由于用户生成的野外拍摄图像包含的失真类型众多，传统建模算法难以实现较高的预测准确度。因此，基于深度学习更高效、更准确的视频质量评价方法获得了持续的研究热度。
现有基于深度学习的NR-IQA方法主要依赖图像语义信息、局部特征信息来进行特征判断，鲜有关注图像本身的退化。我们希望不只关注语义信息而更多的关注退化的信息，而是能在相似的场景下能够区别好坏图片。对于NR-IQA任务来说，算法感知内容变化图像的质量问题是一个重要且极具挑战的任务，如图1所示在一个相似场景下，现有模型预测分数往往不能正确区分图片质量。
发明内容
针对现有质量评价方法的不足，本发明提供了一种基于多域失真学习的无参考图像质量评价方法。
根据HVS研究表明：HVS会根据内部状态推断环境。受此启发，我们假设HVS在感知退化图像时会预测原始图像的样子，然后根据退化-想象中的恢复的图像对进行比对判断退化质量。因此我们觉得有必要对真实拍摄场景他图片基于一个简单有效的模型进行特征修复。利用修复好的图像对失真退化图像帮助进行质量预测。同时，人眼对于图像内容和图像边缘信息中的中高频信息特别敏感。因此我们可以根据人眼对不同频域敏感度不同，对频域信息进行不同的处理。因此我们有必要对中高频信息进行特征提取来学习图像退化质量，帮助模型能够正确区分图像质量。
一种基于多域失真学习的无参考图像质量评价方法，包括步骤如下：
步骤(1)、构建基于多域失真学习的无参考图像质量评价模型；
所述的基于多域失真学习的无参考图像质量评价模型，包括失真图像修复模块(Restoration)和网络主模块；
网络主模块由多域失真提取子模块和特征融合子模块构成。其中多域失真提取子模块由频域失真提取模块、语义特征提取模块和边缘信息提取模块组成。特征融合子模块包括多尺度特征连接和“Combiner”特征融合模块。
步骤(2)、失真图像修复：
通过失真图像修复模块(Restoration)对输入的失真图像(即质量退化图像)进行退化修复。
步骤(3)、通过多域失真提取子模块完成多域失真学习，得到对应的频率特征。
步骤(4)、通过语义特征提取模块完成多尺度语义特征提取；
步骤(5)、通过边缘信息提取模块完成边缘信息提取；
步骤(6)、根据获得的将多尺度频率特征、多尺度语义特征和图像边缘信息，实现特征融合与质量回归；
步骤(7)、对构建基于多域失真学习的无参考图像质量评价模型进行训练方法。
进一步的，所述的失真图像修复模块总体结构为一个“编码器-解码器”模型，编码器部分子模块由3个3*3卷积，Batch Norm层和LeakyReLU激活层构成；解码器部分子模块由3个3*3卷积，Batch Norm层和ReLU激活层构成。将修复好的图像和质量退化图像形成图像对作为网络主模块的输入。
进一步的，所述的频率失真提取模块首先通过三次下采样操作，得到不同尺度的修复好的图像和质量退化图像，再采用频率特征提取器分别对不同尺度的修复好的图像和质量退化图像进行频率特征提取，得到对应的频率特征f1,f2,f3,f4。
进一步的，步骤(4)具体方法如下：
利用预训练的卷积神经网络作为语义特征提取模块。预训练的卷积神经网络是利用ResNet50网络在ImageNet21k数据集上预先训练得到的图像分类模型构建成的网络，其中保留了stage1-4的特征提取模块；
用于提取图像对中对于内容多尺度的语义特征。具体如下：
其中，表示来自ith块的ResNet50，其中i∈{1,2,3,4}，b表示批量大小，ci,mi,ni表示通道大小,宽度和高度。将每个stage的最后一层的输出作为从输入图像中提取的多尺度语义特征。
进一步的，边缘信息提取模块(ARM)由两个非对称残差块组成，使用非对称残差块从原始图像对中提取图像边缘信息。具体来说每一个非对称残差块由三个并行的3*3，3*1和1*3的卷积组成，将三个卷积的输出合并后接一个BN层和PReLU。
进一步的，步骤(6)具体方法如下；
首先将相同尺度的频率特征和语义特征进行Concat操作，对于原始尺度的图像提取得到的频率特征和语义特征需要与图像边缘信息进行Concat操作，分别得到对应的相加后的特征
将相加后的特征输入特征融合子模块的特征连接部分，将多尺度特征通过“add”操作汇集到第一层连接链路上，最后将四个尺度的特征经过“Combiner”特征融合模块对特征进行融合，最后经过“Head”层输出预测的质量分数。
进一步的，步骤(7)具体方法如下：
在模型的4个尺度上分别将待评价图像的特征图和修复后图像的特征图两两计算感知损失，公式表示如下：
其中r,d分别表示退化图像和修复后图像；CjWjHj表示第j层上的特征图尺寸，Ω()表示所提出的模型函数。
模型使用Adam优化器对整体模型进行训练，其中权重衰减为0，初始学习率为2*10-5，之后每10个epoch增强10％。采用预训练的ResNet50网络对模型进行权重初始化，训练中使用L1损失函数，具体如下：
模型总体损失函数具体如下：
L＝λ1L1+λ2PLoss (5)
其中λ1，λ2分别为0.5。
特别地，在训练阶段，人工合成失真数据集由于已经有参考图像，则直接将参考图片当作修好后的图像输入到主模型中进行共同训练。对于自然失真数据集，需要对失真图像做图像修复操作。
本发明的有益效果如下：
本发明提出使用多域失真学习方法，帮助模型识别图像信息中的各种噪声，并有效地提高图像质量。现有基于深度学习的NR-IQA方法主要依赖图像语义信息、局部特征信息来进行特征判断，鲜有关注图像本身的退化。我们希望不只关注语义信息而更多的关注退化的信息，而是能在相似的场景下能够区别好坏图片。本发明提出了多域失真学习方法，我们在图像语义特征的基础之上引入频域信息来辅助预测质量分数。
附图说明
图1是举例说明现有方法无法正确区分图像的展示图；
图2是本发明方法的框架图。
具体实施方式
下面结合附图对本发明作进一步说明。
本发明方法由图像修复模块，多尺度频域失真学习模块，多尺度语义特征提取模块，特征融合模块和质量回归模型组成。给定一张RGB的失真图片I∈R3×w×h，将它输入到图像修复模块中得到修复后的图像Irestore。我们将失真图像和修复后的图像构成图像对共同输入到主网络中，多尺度的频域失真学习模块提取了输入图片对的频域失真信息，预训练的卷积神经网络提取图像的多尺度语义特征，同时我们提取图像的边缘信息。然后，我们将多尺度的失真先验信息和语义信息相融合，输入到特征融合模块生成特征图，我们利用修复后的图像特征对待评价图像特征做感知损失学习。最后利用质量回归模块汇集特征图的质量分数。
步骤(1)、构建基于多域失真学习的无参考图像质量评价模型；
所述的基于多域失真学习的无参考图像质量评价模型，包括失真图像修复模块(Restoration)和网络主模块；
网络主模块由多域失真提取子模块和特征融合子模块构成。其中多域失真提取子模块由频域失真提取模块、语义特征提取模块和边缘信息提取模块组成。特征融合子模块包括多尺度特征连接和“Combiner”特征融合。
步骤(2)、失真图像修复：
通过失真图像修复模块(Restoration)对输入的失真图像(即质量退化图像)进行退化修复。
如图2“Restoration”模块所示，“Restoration”模块总体结构为一个“编码器-解码器”模型，编码器部分子模块由3个3*3卷积，Batch Norm层和LeakyReLU激活层构成；解码器部分子模块由3个3*3卷积，Batch Norm层和ReLU激活层构成。我们将修复好的图像和质量退化图像形成图像对作为网络主模块的输入，进行特征监督学习，帮助模型更好感知质量退化。
步骤(3)、多域失真学习，具体方法如下：
所述的频率失真提取模块首先通过三次下采样操作，每次将图像的高H，宽W分别缩小一倍，通道数C扩大对应倍数，分别得到不同尺度的修复好的图像和质量退化图像([C,H,W],[4C,H/2,W/2],[16C,H/4,W/4],[64C,H/8,W/8])再采用频率特征提取器分别对不同尺度的修复好的图像和质量退化图像进行频率特征提取，得到对应的频率特征f1,f2,f3,f4。
失真图片是由一张干净图片加上失真特征信息组成的，能够用公式表达为(1)：
Idis＝Iclear+NDis (1)
其中，Idis为失真图片，Iclear为干净图片，NDis表征了失真特征。Block-DCT是处理频域相关问题的有效方法，因此我们将NDis转译到DCT域中处理，具体方法如下：
(3-1)、将输入转换为灰度图像；
(3-2)、对灰度图像进行离散余弦变换(DCT)；
(3-3)、在DCT域中，低频分量位于左上角，将低频分量系数设置为零，则得到的就是一个仅包含中高频信息的图像。
步骤(4)、语义特征提取，具体方法如下：
本发明利用预训练的卷积神经网络作为语义特征提取模块。涉及的预训练的卷积神经网络是利用ResNet50网络在ImageNet21k数据集上预先训练得到的图像分类模型构建成的网络，其中保留了stage1-4的特征提取模块；
用于提取图像对中对于内容多尺度的语义特征。具体如下：
其中，表示来自ith块的ResNet50，其中i∈{1,2,3,4}，b表示批量大小，ci,mi,ni表示通道大小,宽度和高度。我们将每个stage的最后一层的输出作为从输入图像中提取的多尺度语义特征。值得注意的是，从不同stage提取的特征具有不同的尺度、结构和维度。图像结构的低级语义信息表示图像的基本信息，如底层、纹理、形状、颜色等。这些信息与IQA任务直接相关；而深层语义信息是图像表达的最接近人类理解的东西，具有高度的抽象性和一定的质量评估能力，可以提供与局部扭曲对应的注意力机制。
步骤(5)、边缘信息提取，具体方法如下：
在人眼视觉中，图像边缘信息对视觉非常重要，尤其是边缘的位置信息。人眼可以很容易地感知到边缘的位置变化。因此在图像原尺度上提取图像边缘轮廓信息可以帮助模型更好感知和定位目标区域。而常见的卷积层难以很好地提取边缘信息。受ACNet的启发，我们边缘信息提取模块(ARM)由两个非对称残差块组成，使用非对称残差块从原始图像对中提取图像边缘信息。具体来说每一个非对称残差块由三个并行的3*3，3*1和1*3的卷积组成，将三个卷积的输出合并后接一个BN层和PReLU。
步骤(6)、特征融合与质量回归，具体方法如下：
首先将多尺度频率特征、多尺度语义特征和图像边缘信息相加，将相同尺度的频率特征和语义特征进行Concat操作，对于原始尺度的图像对提取得到的频率特征和语义特征需要与图像边缘信息进行Concat操作，分别得到对应的相加后的特征
将相加后的特征输入特征融合子模块的特征连接部分，将多尺度特征通过“add”操作汇集到第一层连接链路上，最后将四个尺度的特征经过“Combiner”层进行汇集。“Combiner”层使用的是torch.cat方法将特征沿着通道数拼接。
本发明使用“特征金字塔”形状的特征连接模型用来增强和/>之间的联系。将输入的多尺度频域信息、语义信息和图像边缘信息融合来生成丰富的特征图。模型传播过程中可以得到多个特征图，我们将这多个特征图输入到“Combiner”特征提取模块，将特征沿着通道数方向进行拼接对特征进行融合，最后经过“Head”层输出预测的质量分数。
步骤(7)、模型训练方法如下：
特别地，在训练阶段，人工合成失真数据集由于已经有参考图像，则直接将参考图片当作修好后的图像输入到主模型中进行共同训练。对于自然失真数据集，我们需要对失真图像做图像修复工作。
由于模型输入为一组图像对，其中修复后的图像经过模型推理也得到对应的特征图，这些修复后图像提取的特征图不参与到质量回归的任务中，我们只是将这些特征图和失真图像即待评价图像的对应特征图利用感知损失函数进行约束训练。具体来说，在模型的4个尺度上分别将待评价图像的特征图和修复后图像的特征图两两计算感知损失，公式表示如下：
其中r,d分别表示退化图像和修复后图像；CjWjHj表示第j层上的特征图尺寸，Ω()表示所提出的模型函数。
本发明模型使用PyTorch框架进行代码编写。模型使用Adam优化器对整体模型进行训练，其中权重衰减为0，初始学习率为2*10-5，之后每10个epoch增强10％。采用预训练的ResNet50网络对模型进行权重初始化，训练中使用L1损失函数，具体如下：
模型总体损失函数具体如下：
L＝λ1L1+λ2PLoss (5)
其中λ1，λ2分别为0.5。
图1展示了3组图像对，其中每一组上下图片构成一组图像对，上面图像质量较好，下面图像质量较差。我们使用HyperIQA,TReS模型和我们所提模型ours进行质量预测比较，结果用平均主观意见分MOS表示，范围为[1,10]。从图1可以看出TReS和HyperIQA存在错误区分质量差异图像对的问题，而我们的方法能够正确区分质量差异的图像对。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。
本发明未详细说明部分属于本领域技术人员公知技术。

Claims (8)

1.一种基于多域失真学习的无参考图像质量评价方法，其特征在于，包括步骤如下：
步骤(1)构建基于多域失真学习的无参考图像质量评价模型；
所述的基于多域失真学习的无参考图像质量评价模型，包括失真图像修复模块和网络主模块；
网络主模块由多域失真提取子模块和特征融合子模块构成；其中多域失真提取子模块由频域失真提取模块、语义特征提取模块和边缘信息提取模块组成；特征融合子模块包括多尺度特征连接和“Combiner”特征融合模块；
步骤(2)、失真图像修复：
通过失真图像修复模块对输入的失真图像进行退化修复；
步骤(3).通过多域失真提取子模块完成多域失真学习，得到对应的频率特征；
步骤(4).通过语义特征提取模块完成多尺度语义特征提取；
步骤(5).通过边缘信息提取模块完成边缘信息提取；
步骤(6).根据获得的将多尺度频率特征、多尺度语义特征和图像边缘信息，实现特征融合与质量回归；
步骤(7).对构建基于多域失真学习的无参考图像质量评价模型进行训练。
2.根据权利要求1所述的一种基于多域失真学习的无参考图像质量评价方法，其特征在于，所述的失真图像修复模块总体结构为一个“编码器-解码器”模型，编码器部分子模块由3个3*3卷积，Batch Norm层和LeakyReLU激活层构成；解码器部分子模块由3个3*3卷积，Batch Norm层和ReLU激活层构成；将修复好的图像和质量退化图像形成图像对作为网络主模块的输入。
3.根据权利要求1所述的一种基于多域失真学习的无参考图像质量评价方法，其特征在于，所述的频率失真提取模块首先通过三次下采样操作，得到不同尺度的修复好的图像和质量退化图像，再采用频率特征提取器分别对不同尺度的修复好的图像和质量退化图像进行频率特征提取，得到对应的频率特征f1,f2,f3,f4。
4.根据权利要求1所述的一种基于多域失真学习的无参考图像质量评价方法，其特征在于，步骤(4)具体方法如下：
利用预训练的卷积神经网络作为语义特征提取模块；预训练的卷积神经网络是利用ResNet50网络在ImageNet21k数据集上预先训练得到的图像分类模型构建成的网络，其中保留了stage1-4的特征提取模块；
用于提取图像对中对于内容多尺度的语义特征；具体如下：
其中，表示来自ith块的ResNet50，其中i∈{1,2,3,4}，b表示批量大小，ci,mi,ni表示通道大小,宽度和高度；将每个stage的最后一层的输出作为从输入图像中提取的多尺度语义特征。
5.根据权利要求1所述的一种基于多域失真学习的无参考图像质量评价方法，其特征在于，边缘信息提取模块由两个非对称残差块组成，使用非对称残差块从原始图像对中提取图像边缘信息；具体来说每一个非对称残差块由三个并行的3*3，3*1和1*3的卷积组成，将三个卷积的输出合并后接一个BN层和PReLU。
6.根据权利要求1所述的一种基于多域失真学习的无参考图像质量评价方法，其特征在于，步骤(6)具体方法如下；
首先将相同尺度的频率特征和语义特征进行Concat操作，对于原始尺度的图像提取得到的频率特征和语义特征需要与图像边缘信息进行Concat操作，分别得到对应的相加后的特征
将相加后的特征输入特征融合子模块的特征连接部分，将多尺度特征通过“add”操作汇集到第一层连接链路上，最后将四个尺度的特征经过“Combiner”特征融合模块对特征进行融合，最后经过“Head”层输出预测的质量分数。
7.根据权利要求1-6任意一项所述的一种基于多域失真学习的无参考图像质量评价方法，其特征在于，步骤(7)具体方法如下：
在模型的4个尺度上分别将待评价图像的特征图和修复后图像的特征图两两计算感知损失，公式表示如下：
其中r,d分别表示退化图像和修复后图像；CjWjHj表示第j层上的特征图尺寸，Ω()表示所提出的模型函数；
模型使用Adam优化器对整体模型进行训练，其中权重衰减为0，初始学习率为2*10-5，之后每10个epoch增强10％；采用预训练的ResNet50网络对模型进行权重初始化，训练中使用L1损失函数，具体如下：
模型总体损失函数具体如下：
L＝λ1L1+λ2PLoss (5)
其中λ1，λ2分别为0.5。
8.根据权利要求7所述的一种基于多域失真学习的无参考图像质量评价方法，其特征在于，在训练阶段，人工合成失真数据集由于已经有参考图像，则直接将参考图片当作修好后的图像输入到主模型中进行共同训练；对于自然失真数据集，需要对失真图像做图像修复操作。
CN202310853093.1A 2023-07-12 2023-07-12 一种基于多域失真学习的无参考图像质量评价方法 Pending CN116823794A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310853093.1A CN116823794A (zh) 2023-07-12 2023-07-12 一种基于多域失真学习的无参考图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310853093.1A CN116823794A (zh) 2023-07-12 2023-07-12 一种基于多域失真学习的无参考图像质量评价方法

Publications (1)

Publication Number Publication Date
CN116823794A true CN116823794A (zh) 2023-09-29

Family

ID=88127427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310853093.1A Pending CN116823794A (zh) 2023-07-12 2023-07-12 一种基于多域失真学习的无参考图像质量评价方法

Country Status (1)

Country Link
CN (1) CN116823794A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118154995A (zh) * 2024-05-10 2024-06-07 国网安徽省电力有限公司电力科学研究院 基于时频关联自适应学习模型的图像质量裂化评估方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118154995A (zh) * 2024-05-10 2024-06-07 国网安徽省电力有限公司电力科学研究院 基于时频关联自适应学习模型的图像质量裂化评估方法

Similar Documents

Publication Publication Date Title
CN108090902B (zh) 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法
CN113112416B (zh) 一种语义引导的人脸图像修复方法
CN111047543A (zh) 图像增强方法、装置和存储介质
Fu et al. Twice mixing: a rank learning based quality assessment approach for underwater image enhancement
CN114066812B (zh) 基于空间注意力机制的无参考图像质量评价方法
CN116823794A (zh) 一种基于多域失真学习的无参考图像质量评价方法
US20210390667A1 (en) Model generation
CN115205196A (zh) 基于孪生网络与特征融合的无参考图像质量评价方法
CN117237279A (zh) 一种非均匀失真全景图像盲质量评价方法及系统
CN115375663A (zh) 基于深度互学习和双尺度特征融合的图像质量评价方法
CN110738645B (zh) 基于卷积神经网络的3d图像质量检测方法
Wang et al. New insights into multi-focus image fusion: A fusion method based on multi-dictionary linear sparse representation and region fusion model
CN112348762A (zh) 一种基于多尺度融合生成对抗网络的单幅图像去雨方法
CN117274173A (zh) 一种语义与结构蒸馏的无参考图像质量评价方法
CN117036189A (zh) 基于流明一致性与互补色矫正联合学习的水下图像复原模型
CN116245861A (zh) 基于交叉多尺度的无参考图像质量评价方法
Viacheslav et al. Low-level features for inpainting quality assessment
CN113298814A (zh) 一种基于渐进指导融合互补网络的室内场景图像处理方法
CN115345813A (zh) 一种结合显著边缘特性和全局特性的无参考图像模糊质量评价方法
CN113256541A (zh) 利用机器学习对钻井平台监控画面进行去水雾的方法
CN111612798A (zh) 面向人脸数据对完整的人脸网纹修复方法、系统及介质
Yang et al. Towards domain adaptation underwater image enhancement and restoration
Shi et al. Blind Image Quality Assessment via Transformer Predicted Error Map and Perceptual Quality Token
CN116152183A (zh) 一种基于失真先验学习的无参考图像质量评价方法
CN116721304B (zh) 基于失真图像恢复指导的图像质量感知方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination