CN115205196A - 基于孪生网络与特征融合的无参考图像质量评价方法 - Google Patents

基于孪生网络与特征融合的无参考图像质量评价方法 Download PDF

Info

Publication number
CN115205196A
CN115205196A CN202210467963.7A CN202210467963A CN115205196A CN 115205196 A CN115205196 A CN 115205196A CN 202210467963 A CN202210467963 A CN 202210467963A CN 115205196 A CN115205196 A CN 115205196A
Authority
CN
China
Prior art keywords
network
distortion
feature
image quality
quality evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210467963.7A
Other languages
English (en)
Inventor
潘兆庆
武泽煦
雷建军
彭勃
沈丽丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202210467963.7A priority Critical patent/CN115205196A/zh
Publication of CN115205196A publication Critical patent/CN115205196A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明属于多媒体处理技术领域，为提出无参考客观图像质量评价方法。为此，本发明采取的技术方案是，基于孪生网络与特征融合的无参考图像质量评价方法，步骤如下：利用基于孪生网络结构进行预训练的合成失真感知网络提取合成失真特征；利用在ImageNet数据集上预训练好的真实失真感知网络提取真实失真的特征；将上述两个网络的输出进行特征融合并自适应地调整两个网络输出的权重，形成无参考图像质量评价网络用于图像质量评价，对所述的无参考图像质量评价网络进行训练，得到优化的无参考图像质量评价网络。本发明主要应用于多媒体处理场合。

Description

基于孪生网络与特征融合的无参考图像质量评价方法
技术领域
本发明属于多媒体处理技术领域，具体设计了一种基于孪生网络预训练策略与特征融合的无参考图像质量评价方法。
背景技术
随着数字技术的快速发展，高质量的视觉信息吸引了越来越多的人的注意。由于视觉信息在压缩和传输过程中存在质量损失，图像质量评价对于准确获取高质量视觉信息变得非常重要。图像质量评价可分为主观图像质量评价和客观图像质量评价。主观质量评价方法使用人的主观来评估图像质量，然而，主观图像质量评价容易受到人的主观感受的影响，而且费时费力。为了解决主观图像质量评价的问题，客观图像质量评价应运而生，它旨在设计计算机算法来自动预测图像质量。根据参考图像的使用情况，它可以分为：全参考图像质量评价、半参考图像质量评价和无参考图像质量评价。因为失真图像通常没有参考图像，无参考图像质量评价方法更适合于实际应用，并在军事、新闻、教育、医学、社交等方面发挥着不可替代的作用。
Kang等人[Kang L,Ye P,Li Y,et al.Convolutional neural networks for no-reference image quality assessment[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2014:1733-1740.]提出了一种基于卷积神经网络的图像质量评价方法，利用卷积和池化的组合提取失真特征，然后使用全连接层将特征回归到一个质量分数上。Ma等人[Ma K, Liu W,Zhang K,et al.End-to-end blindimage quality assessment using deep neural networks[J]. IEEE Transactions onImage Processing,2017,27(3):1202-1213.]设计了一种多任务的卷积神经网络，在预测图像质量的同时识别失真类型从而对图像质量评价任务进行约束，从而增强网络对图像质量的评估能力。Wu等人[Wu J,Ma J,Liang F,et al.End-to-end blind image qualityprediction with cascaded deep neural network[J].IEEE Transactions on ImageProcessing,2020,29: 7414-7426.]根据人类视觉系统从局部特征到全局语义的分层次处理机制，设计一个进行端到端联合优化的层级特征融合质量评价网络。Su等人[Su S,YanQ,Zhu Y,et al.Blindly assess image quality in the wild guided by a self-adaptive hyper network[C]//Proceedings of the IEEE/CVF Conference on ComputerVision and Pattern Recognition.2020:3667-3676.]提出一种用于真实失真的HyperIQA算法，该算法首先从ResNet50中提取语义特征，然后使用全连接层自适应地学习网络参数从而进行质量预测。史萍等人[史萍,潘达,应泽峰,等.一种基于多尺度生成对抗网络的无参考图像质量客观评价方法]通过多尺度生成对抗网络产生失真图像对应的相似质量图，再将不同尺度的相似质量图通过卷积神经网络进行回归得到图像质量分数。尽管这些网络取得了一定的成功，但是由于合成失真和真实失真之间存在巨大的差异，且这些网络通常是针对合成失真或真实失真中的某一种进行设计的，这使得现有的模型难以同时评估两种失真类型的数据集从而限制了实际应用。
发明内容
为克服现有技术的不足，本发明旨在提出无参考客观图像质量评价方法。为此，本发明采取的技术方案是，基于孪生网络与特征融合的无参考图像质量评价方法，步骤如下：利用基于孪生网络结构进行预训练的合成失真感知网络提取合成失真特征；利用在ImageNet数据集上预训练好的真实失真感知网络提取真实失真的特征；将上述两个网络的输出进行特征融合并自适应地调整两个网络输出的权重，形成无参考图像质量评价网络用于图像质量评价，对所述的无参考图像质量评价网络进行训练，得到优化的无参考图像质量评价网络。
其中，基于孪生网络结构进行预训练的合成失真感知网络结构是以两个EfficientNet-B0 为子网络构建的孪生网络结构，且两个EfficientNet-B0参数共享，随后对成对的特征求残差并做全局平均池化，最后连接全连接层输出最后得分，保存结果最优的模型参数，将最优模型参数应用于合成失真感知网络；
其中，选择EfficientNet-B0分类网络构建真实失真感知网络，采用图像分类任务作为预训练策略，并冻结网络参数。
将两个网络的输出进行特征融合并自适应地调整两个网络输出的权重是指，基于多尺度卷积块以及门控机制引入权重自适应融合网络以调节合成失真特征和真实失真特征的权重，权重自适应融合网络首先将合成失真感知网络和真实失真感知网络所提取的特征输入到对应的多尺度卷积块，在不同的感受野上感知特征并进行融合作为最终提取到的合成失真特征和真实失真特征，最后利用Sigmoid函数作为门控机制计算合成失真和真实失真特征的权重，并通过多尺度卷积块进一步进行特征增强。
合成失真感知网络采用孪生网络结构并在预训练过程中将失真图与其对应的参考图作为一对数据进行输入，通过对失真图特征与参考图特征之间的残差做回归获得预测值，同时使用平均绝对误差损失函数计算预测值与标签之间的损失，然后通过反向传播更新参数，直到训练损失达到最低。
权重自适应融合网络中使用的多尺度特征模块共包括3条支路，一条支路由一个步长为 2的3×3卷积构成；一条支路为一个步长为2的3×3卷积与一个步长为1的3×3卷积串联构成；一条支路为一个步长为2的1×1卷积构成。
权重自适应融合网络首先通过多尺度特征模块提取输入在不同尺度下的特征以增强其泛化性，多尺度特征模块建立在三组具有不同接收域的卷积层上，包括1×1、3×3、5×5卷积；为了实现与5×5卷积层相同的接受域，降低网络计算复杂度，使用两个3×3卷积层代替5 ×5卷积层，这个过程被建模为：
Figure RE-GDA0003843022240000021
其中，M()为多尺度特征模块的输出，I为输入,C1()代表步长为1的3×3卷积，C2()代表步长为2的3×3卷积，C3()代表步长为1的1×1卷积，
Figure RE-GDA0003843022240000022
表示批量归一化和参数校正线性单元PReLU(Parametric Rectified Linear Unit)激活函数，
Figure RE-GDA0003843022240000023
为拼接操作；
随后使用拼接操作融合多尺度特征模块提取到的特征映射，并使用两个独立的3×3卷积和sigmoid激活函数计算每个模态的权重，最后将两个权重值分别与相应的合成失真特征和真实失真特征相乘，这里将提取到的合成失真Ws和真实失真Wa定义为
Figure RE-GDA0003843022240000031
其中，fs和fa分别代表合成失真图像和真实失真图像的特征图，
Figure RE-GDA0003843022240000032
为拼接操作,⊙为乘法运算；
最后，权重可调节网络的输出被定义为：
Figure RE-GDA0003843022240000033
使用从EfficientNet-B0的MB2_Conv2、MB2_Conv4、MB2_Conv6和Conv9层提取到的多尺度特征作为权重自适应融合网络的输入，因此共使用4个权重可调节自适应融合网络来处理不同尺度下的失真特征，随后将4个权重可调节网络模型的输出按照通道维度拼接起来，最后与3层全连接网络相连从而输出最终的预测值。
所述的无参考图像质量评价网络在训练过程中使用平均绝对误差损失函数计算预测值与标签之间的损失，然后通过反向传播更新网络参数，指导训练损失达到最低，训练集的SROCC 和PLCC的指标与测试集的SROCC和PLCC指标不断上升，同时测试集的指标与训练集指标相差不大。
本发明的特点及有益效果是：
采用本发明所述的方法，不仅在应对合成失真图时可以获得良好的评估能力，并且在应对真实失真图时也可以获得良好的评估能力。
附图说明：
图1是本发明所述的基于孪生网络预训练策略的合成失真预训练网络结构图；
图2是本发明所述的基于多尺度卷积以及门控机制的权重自适应融合网络结构图；
图3是本发明所述的测试集中失真图及相应的使用权重自适应调节网络所提取的失真特征图；
图4是本发明所述的基于孪生网络预训练策略与特征融合的无参考图像质量评价网络结构图。
具体实施方式
针对现有技术中存在的缺陷，本发明的目的是提供基于孪生网络预训练策略与特征融合的无参考客观图像质量评价方法，使用一个基于孪生网络结构进行预训练的合成失真感知网络提取合成失真特征，和一个在ImageNet数据集上预训练好的真实失真感知网络提取真实失真的特征。此外，设计了一个特征融合模块来将上述两个网络的输出进行融合并自适应地调整双方权重，该方案提升了网络对失真特征的感知能力，使得网络取得了良好的效果。
为达到以上目的，本发明采用的技术方案是：一种基于孪生预训练策略与权重自适应融合的无参考图像质量评价方法，包括以下步骤：
(1)选择并构造合成失真预训练数据集；
(2)以两个EfficientNet-B0为子网络构建孪生网络结构作为预训练网络，网络结构如附图1所示，并在(1)中构造的合成失真预训练数据集上对其进行训练，输入一对失真图片和参考图片并分别利用EfficientNet-B0提取特征，且两个EfficientNet-B0参数共享，随后对成对的特征求残差并做全局平均池化，最后连接全连接层输出最后得分，保存结果最优的模型参数，将最优模型参数应用于合成失真感知网络；
(3)考虑到ImageNet作为真实失真图像数据集缺乏主观评分，因此真实失真感知网络采用了图像分类任务作为预训练策略，而EfficientNet-B0在ImageNet上的分类准确性达到了最优，该分类网络被选择作为真实失真感知网络，并冻结网络参数；
(4)基于多尺度卷积块以及门控机制引入一种权重自适应融合网络以调节合成失真特征和真实失真特征的权重，该网络首先将合成失真感知网络和真实失真感知网络所提取的特征输入到对应的多尺度特征模块，在不同的感受野上感知特征并进行融合作为最终提取到的合成失真特征和真实失真特征，最后利用Sigmoid函数作为门控机制计算合成失真和真实失真特征的权重，并通过多尺度特征模块进一步进行特征增强；
(5)通过双链路的思想将经过预训练的合成失真感知网络、真实失真感知网络和权重自适应融合网络相连从而构造了一种无参考图像质量评价网络；
(6)选择并处理用于验证(5)中无参考图像质量评价网络的质量评价数据集；
(7)对所述的无参考图像质量评价网络进行训练，得到优化的无参考图像质量评价网络。
进一步，本发明在保证图像质量评价数据集图像横纵比的条件下，对尺寸过大的图像进行了适当缩放，以降低计算复杂度，随后对调整后的每张图像随机划分出25张分辨率为224 ×224的图像块。
进一步，合成失真感知网络采用孪生网络结构并在预训练过程中将失真图与其对应的参考图作为一对数据进行输入，通过对失真图特征与参考图特征之间的残差做回归获得预测值，同时使用平均绝对误差损失函数计算预测值与标签之间的损失，然后通过反向传播更新参数，直到训练损失达到最低。
更进一步，权重自适应融合网络中使用的多尺度特征模块共包括3条支路，一条支路由一个步长为2的3×3卷积构成；一条支路为一个步长为2的3×3卷积与一个步长为1的3×3卷积串联构成；一条支路为一个步长为2的1×1卷积构成。
更进一步，本发明采用了四个权重自适应融合网络对合成失真感知网络和真实失真感知网络不同尺度的特征进行特征融合操作，以模拟人类视觉系统对图片质量从全局到局部感知的过程。
更进一步，本发明所述的无参考图像质量评价网络在训练过程中使用平均绝对误差损失函数计算预测值与标签之间的损失，然后通过反向传播更新网络参数，指导训练损失达到最低，训练集的SROCC和PLCC的指标与测试集的SROCC和PLCC指标不断上升，同时测试集的指标与训练集指标相差不大。
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
步骤一，收集并处理预训练数据集。
为了使得合成失真感知网络获得对不同失真特征特征提取能力，预训练数据集要包括种类丰富的失真类型和不同等级的失真程度的失真图像。因此这里选择了Large-Scale Quality-Annotated(LSQA)数据集，该数据集共包含10000张参考图像，参考图像经过105 种失真处理从而获得105×10000＝1050000张失真图像。为了使图像尺寸统一，本发明首先将失真图像及相应的参考图像分辨率调整为256×256，随后对调整后的每张失真图像及相应的参考图像随机划分出1张分辨率为224×224的图像块。最后按照4：1的比例将图像块划分为训练集和测试集。
步骤二，采用质量评估结果对合成失真感知网络进行预训练。
合成失真感知网络的预训练框架如图1所示，输入一对失真图片和参考图片并分别利用 EfficientNet-B0提取特征，且两个EfficientNet-B0参数共享，随后对成对的特征求残差并做全局平均池化，最后连接全连接层输出最后得分。进一步地，本步骤用到的训练集与测试集是将步骤一处理得到的数据集按照4：1的比例随机划分得到，预训练网络使用平均绝对误差损失函数计算预测值与标签之间的损失，Adam作为网络的优化器，学习率设置为0.0001，然后通过反向传播更新网络参数。模型的质量评估结果通过皮尔森线性相关系数(Pearson linear correlation coefficient，PLCC)和斯皮尔曼秩相关系数(Spearman rank-order correlation coefficient，SROCC)反映。在进行训练的时候，本发明选择SROCC作为模型的验证指标，通过观察SROCC指标以及损失的收敛情况来评估模型的训练结果，模型固定训练3000轮，并保存这个过程中SROCC指标最优的模型，该模型将用于提取图像中存在的合成失真。
步骤三，构造真实失真感知网络。
由于针对真实失真的图像质量评价标签难以获得，并且考虑到ImageNet中的大部分图像都是由相机设备拍摄的从而存在大量真实失真。因此本发明选择经ImageNet数据集预训练的EfficientNet-B0作为真实失真感知网络并冻结参数。
步骤四，构造权重自适应融合网络。
权重自适应融合网络模型如图2所示，该网络首先通过多尺度特征模块提取输入在不同尺度下的特征以增强其泛化性，多尺度特征模块建立在三组具有不同接收域的卷积层上，包括1×1、3×3、5×5卷积。为了实现与5×5卷积层相同的接受域，降低网络计算复杂度，本发明使用两个3×3卷积层代替5×5卷积层，这个过程被建模为：
Figure RE-GDA0003843022240000051
其中，M()为多尺度特征模块的输出，I为输入。C1()代表步长为1的3×3卷积，C2()代表步长为2的3×3卷积，C3()代表步长为1的1×1卷积，
Figure RE-GDA0003843022240000052
表示批量归一化和参数校正线性单元(Parametric Rectified Linear Unit，PReLU)激活函数，
Figure RE-GDA0003843022240000053
为拼接操作。
随后使用拼接操作融合多尺度特征模块提取到的特征映射，并使用两个独立的3×3卷积和sigmoid激活函数计算每个模态的权重。最后将两个权重值分别与相应的合成失真特征和真实失真特征相乘。这里将提取到的合成失真Ws和真实失真Wa定义为
Figure RE-GDA0003843022240000061
其中，fs和fa分别代表合成失真图像和真实失真图像的特征图，
Figure RE-GDA0003843022240000062
为拼接操作,⊙为乘法运算。
最后，权重可调节网络的输出可以被定义为：
Figure RE-GDA0003843022240000063
图3展示了失真图及相应的使用权重自适应融合网络所提取的失真特征图。通过该图可以看出，合成失真感知网络与真实失真感知网络分别针对合成失真特征和真实失真特征敏感。通过失真图、合成失真感知网络提取到的特征图，真实失真感知网络提取到的特征图、权重自适应融合网络提取到的特征图，可以清晰地看到该网络能够很好地融合学习到的合成和真实的失真特征。
步骤五，构造无参考质量评价网络。
利用双链路的思想将合成失真感知网络与真实失真感知网络并联，并将其特征输入到权重自适应融合网络中进行特征融合。由于人类视觉系统会在人类感知某一扭曲图像时同时考虑图像的低级特征(如局部失真)和高级特征(如场景类型、不同物体的内容信息)，并且上述步骤中的合成失真感知网络和真实失真感知网络所使用的EfficientNet-B0能够感知到到不同尺度的特征，符合人类视觉系统的感知规律，因此本发明使用从EfficientNet-B0的 MB2_Conv2、MB2_Conv4、MB2_Conv6和Conv9层提取到的多尺度特征作为权重自适应融合网络的输入，其特征图尺寸如表1所示，因此共使用4个权重可调节自适应融合网络来处理不同尺度下的失真特征。随后将4个权重可调节网络模型的输出按照通道维度拼接起来，最后与3层全连接网络相连从而输出最终的预测值。最终构造的基于孪生网络预训练策略与特征融合的无参考图像质量评价网络如图4所示。
表1.EfficientNet-B0中每个模块的特征图大小，其中“W×H×C”代表特征图的宽、
Figure RE-GDA0003843022240000064
高和通道。
步骤六，收集并处理图像质量评价数据集。
为了验证本发明能够同时处理合成失真和真实失真，本发明采用了LIVE、CSIQ、TID2013、 KADID-10k4种合成失真数据集以及LIVEC、CID2013、KonIQ-10K、SPAQ4种真实失真数据集对无参考质量评价网络进行评估。随后，本发明在保证原始数据集图像横纵比的条件下，对尺寸过大的图像进行了适当缩放，以降低计算复杂度，随后对调整后的每张图像随机划分出 25张分辨率为224×224的图像块。
步骤七，采用质量评估结果对无参考图像质量评价网络进行训练。
无参考图像质量评价网络训练使用平均绝对误差作为其损失函数计算预测值与标签之间的损失，然后通过反向传播更新网络参数，直到测试集的SROCC达到最高，训练集的PLCC与 SROCC指标与测试集的PLCC与SROCC不断上升，同时测试集指标与训练集指标相差不大。其中，训练集和测试集是将步骤六中处理后的数据集按照4：1的比例随机划分，并将该过程重复10次以消除偏差，并通过统计10次运算的PLCC与SROCC平均值来评估网络的训练结果。该失真评价网络选择Adam作为优化器，训练次数为30个epoch，学习率初始值为0.0001，每10个epoch学习率调整为原学习率的0.9倍。
对于本实施例得到的质量评价模型，使用LIVE、CSIQ、TID2013和KADID-10k、LIVEC、 CID2013、KonIQ-10k和SPQA数据集进行测试。测试的硬件平台是有12GB显存的NVIDIA 2080Ti GPU，运行环境为Ubuntu 20.04LTS。记录图像质量的指标SROCC、PLCC如表2和表3所示：
表2不同方案在4种合成失真数据集上的SROCC和PLCC比较
Figure RE-GDA0003843022240000071
加粗字体为最优的两项结果
表3不同方案在4种真实失真数据集上的SROCC和PLCC比较
Figure RE-GDA0003843022240000072
加粗字体为最优的两项结果
上述表中，所指的对比方案1为Bosse等提出的方案[Bosse S,Maniry D,Müller KR,et al. Deep neural networks for no-reference and full-reference imagequality assessment[J].IEEE Transactions on image processing,2017,27(1):206-219.]，对比方案2为Yang等提出的方案[Yan Q,Gong D,Zhang Y.Two-streamconvolutional networks for blind image quality assessment[J]. IEEETransactions on Image Processing,2018,28(5):2200-2211.]，对比方案3为Wu等提出的方案[Wu J,Ma J,Liang F,et al.End-to-end blind image quality prediction withcascaded deep neural network[J].IEEE Transactions on Image Processing,2020,29:7414-7426.]，对比方案4为Zhang 等提出的方案[Zhang W,Ma K,Yan J,et al.Blindimage quality assessment using a deep bilinear convolutional neural network[J].IEEE Transactions on Circuits and Systems for Video Technology, 2018,30(1):36-47.]，对比方案5为Su等提出的方案[Su S,Yan Q,Zhu Y,et al.Blindly assessimage quality in the wild guided by a self-adaptive hyper network[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and PatternRecognition.2020:3667-3676.]。观察表2 可以看出，就SROCC而言，本发明在LIVE，TID2013，KADID-10k数据集上取得了最佳的性能，而在CSIQ上取得了仅次于对比方案4的性能；就PLCC而言，本发明在TID2013， KADID-10k数据集上取得了最佳的性能，而在LIVE和CSIQ上分别取得了仅次于对比方案2 和对比方案4的性能。观察表3可以看出，就SROCC与PLCC而言，本发明在LIVEC,CID2013， SPAQ数据集上取得了最佳的性能，而在KonIQ-10k上取得了仅次于对比方案5的性能。综上所述，本发明在合成的和真实的失真图像上都达到了最先进的性能，这也证明了本发明可以有效地学习不同种类的失真，并且具有很高的融合不同失真的能力。所提出的基于孪生网络预训练策略与特征融合的无参考图像质量评价方法的优秀性能得益于：(1)由失真感知模块提取的合成和真实失真特征能够很好地反映图像中的不同失真。(2)与其他融合操作如对比方案4中使用的双线性池化相比，拟议的权重可调节融合模块可以更好地融合不同的失真特征。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于孪生网络与特征融合的无参考图像质量评价方法，其特征是，步骤如下：利用基于孪生网络结构进行预训练的合成失真感知网络提取合成失真特征；利用在ImageNet数据集上预训练好的真实失真感知网络提取真实失真的特征；将上述两个网络的输出进行特征融合并自适应地调整两个网络输出的权重，形成无参考图像质量评价网络用于图像质量评价，对所述的无参考图像质量评价网络进行训练，得到优化的无参考图像质量评价网络。
2.如权利要求1所述的基于孪生网络与特征融合的无参考图像质量评价方法，其特征是，其中，基于孪生网络结构进行预训练的合成失真感知网络结构是以两个EfficientNet-B0为子网络构建的孪生网络结构，且两个EfficientNet-B0参数共享，随后对成对的特征求残差并做全局平均池化，最后连接全连接层输出最后得分，保存结果最优的模型参数，将最优模型参数应用于合成失真感知网络；
其中，选择EfficientNet-B0分类网络构建真实失真感知网络，采用图像分类任务作为预训练策略，并冻结网络参数。
3.如权利要求1所述的基于孪生网络与特征融合的无参考图像质量评价方法，其特征是，将两个网络的输出进行特征融合并自适应地调整两个网络输出的权重是指，基于多尺度卷积块以及门控机制引入权重自适应融合网络以调节合成失真特征和真实失真特征的权重，权重自适应融合网络首先将合成失真感知网络和真实失真感知网络所提取的特征输入到对应的多尺度卷积块，在不同的感受野上感知特征并进行融合作为最终提取到的合成失真特征和真实失真特征，最后利用Sigmoid函数作为门控机制计算合成失真和真实失真特征的权重，并通过多尺度卷积块进一步进行特征增强。
4.如权利要求1所述的基于孪生网络与特征融合的无参考图像质量评价方法，其特征是，合成失真感知网络采用孪生网络结构并在预训练过程中将失真图与其对应的参考图作为一对数据进行输入，通过对失真图特征与参考图特征之间的残差做回归获得预测值，同时使用平均绝对误差损失函数计算预测值与标签之间的损失，然后通过反向传播更新参数，直到训练损失达到最低。
5.如权利要求1所述的基于孪生网络与特征融合的无参考图像质量评价方法，其特征是，权重自适应融合网络中使用的多尺度特征模块共包括3条支路，一条支路由一个步长为2的3×3卷积构成；一条支路为一个步长为2的3×3卷积与一个步长为1的3×3卷积串联构成；一条支路为一个步长为2的1×1卷积构成。
6.如权利要求5所述的基于孪生网络与特征融合的无参考图像质量评价方法，其特征是，权重自适应融合网络首先通过多尺度特征模块提取输入在不同尺度下的特征以增强其泛化性，多尺度特征模块建立在三组具有不同接收域的卷积层上，包括1×1、3×3、5×5卷积；为了实现与5×5卷积层相同的接受域，降低网络计算复杂度，使用两个3×3卷积层代替5×5卷积层，这个过程被建模为：
权重自适应融合网络首先通过多尺度特征模块提取输入在不同尺度下的特征以增强其泛化性，多尺度特征模块建立在三组具有不同接收域的卷积层上，包括1×1、3×3、5×5卷积；为了实现与5×5卷积层相同的接受域，降低网络计算复杂度，使用两个3×3卷积层代替5×5卷积层，这个过程被建模为：
Figure FDA0003625227850000021
其中，M()为多尺度特征模块的输出，I为输入,C1()代表步长为1的3×3卷积，C2()代表步长为2的3×3卷积，C3()代表步长为1的1×1卷积，
Figure FDA0003625227850000026
表示批量归一化和参数校正线性单元PReLU(Parametric Rectified Linear Unit)激活函数，
Figure FDA0003625227850000022
为拼接操作；
随后使用拼接操作融合多尺度特征模块提取到的特征映射，并使用两个独立的3×3卷积和sigmoid激活函数计算每个模态的权重，最后将两个权重值分别与相应的合成失真特征和真实失真特征相乘，这里将提取到的合成失真Ws和真实失真Wa定义为
Figure FDA0003625227850000023
其中，fs和fa分别代表合成失真图像和真实失真图像的特征图，
Figure FDA0003625227850000024
为拼接操作,⊙为乘法运算；
最后，权重可调节网络的输出被定义为：
Figure FDA0003625227850000025
使用从EfficientNet-B0的MB2_Conv2、MB2_Conv4、MB2_Conv6和Conv9层提取到的多尺度特征作为权重自适应融合网络的输入，因此共使用4个权重可调节自适应融合网络来处理不同尺度下的失真特征，随后将4个权重可调节网络模型的输出按照通道维度拼接起来，最后与3层全连接网络相连从而输出最终的预测值。
7.如权利要求5所述的基于孪生网络与特征融合的无参考图像质量评价方法，其特征是，所述的无参考图像质量评价网络在训练过程中使用平均绝对误差损失函数计算预测值与标签之间的损失，然后通过反向传播更新网络参数，指导训练损失达到最低，训练集的SROCC和PLCC的指标与测试集的SROCC和PLCC指标不断上升，同时测试集的指标与训练集指标相差不大。
CN202210467963.7A 2022-04-29 2022-04-29 基于孪生网络与特征融合的无参考图像质量评价方法 Pending CN115205196A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210467963.7A CN115205196A (zh) 2022-04-29 2022-04-29 基于孪生网络与特征融合的无参考图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210467963.7A CN115205196A (zh) 2022-04-29 2022-04-29 基于孪生网络与特征融合的无参考图像质量评价方法

Publications (1)

Publication Number Publication Date
CN115205196A true CN115205196A (zh) 2022-10-18

Family

ID=83574588

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210467963.7A Pending CN115205196A (zh) 2022-04-29 2022-04-29 基于孪生网络与特征融合的无参考图像质量评价方法

Country Status (1)

Country Link
CN (1) CN115205196A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880537A (zh) * 2023-02-16 2023-03-31 江西财经大学 对抗样本图像质量评价方法及系统
CN116128798A (zh) * 2022-11-17 2023-05-16 台州金泰精锻科技股份有限公司 钟形壳锻面齿的精锻工艺
CN117237358A (zh) * 2023-11-15 2023-12-15 天津大学 一种基于度量学习的立体图像质量评价方法
CN117592114A (zh) * 2024-01-19 2024-02-23 中国电子科技集团公司第三十研究所 面向网络平行仿真的数据脱敏方法、系统和可读存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116128798A (zh) * 2022-11-17 2023-05-16 台州金泰精锻科技股份有限公司 钟形壳锻面齿的精锻工艺
CN116128798B (zh) * 2022-11-17 2024-02-27 台州金泰精锻科技股份有限公司 钟形壳锻面齿的精锻方法
CN115880537A (zh) * 2023-02-16 2023-03-31 江西财经大学 对抗样本图像质量评价方法及系统
CN115880537B (zh) * 2023-02-16 2023-05-09 江西财经大学 对抗样本图像质量评价方法及系统
CN117237358A (zh) * 2023-11-15 2023-12-15 天津大学 一种基于度量学习的立体图像质量评价方法
CN117237358B (zh) * 2023-11-15 2024-02-06 天津大学 一种基于度量学习的立体图像质量评价方法
CN117592114A (zh) * 2024-01-19 2024-02-23 中国电子科技集团公司第三十研究所 面向网络平行仿真的数据脱敏方法、系统和可读存储介质
CN117592114B (zh) * 2024-01-19 2024-04-19 中国电子科技集团公司第三十研究所 面向网络平行仿真的数据脱敏方法、系统和可读存储介质

Similar Documents

Publication Publication Date Title
CN115205196A (zh) 基于孪生网络与特征融合的无参考图像质量评价方法
CN106920215B (zh) 一种全景图像配准效果的检测方法
CN110516716B (zh) 基于多分支相似度网络的无参考图像质量评价方法
CN110349185B (zh) 一种rgbt目标跟踪模型的训练方法及装置
CN110728656A (zh) 基于元学习的无参考图像质量数据处理方法、智能终端
Chen et al. Remote sensing image quality evaluation based on deep support value learning networks
CN109360178A (zh) 基于融合图像的无参考立体图像质量评价方法
CN113554599B (zh) 一种基于人类视觉效应的视频质量评价方法
CN108235003B (zh) 基于3d卷积神经网络的立体视频质量评价方法
CN113610144A (zh) 一种基于多分支局部注意力网络的车辆分类方法
CN114066812B (zh) 基于空间注意力机制的无参考图像质量评价方法
CN113421237B (zh) 基于深度特征迁移学习的无参考图像质量评价方法
CN114187261B (zh) 一种基于多维注意力机制的无参考立体图像质量评价方法
CN113706406A (zh) 基于特征空间多分类对抗机制的红外可见光图像融合方法
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
CN113658091A (zh) 一种图像评价方法、存储介质及终端设备
Hu et al. Deep network based stereoscopic image quality assessment via binocular summing and differencing
CN110738645B (zh) 基于卷积神经网络的3d图像质量检测方法
CN116844008A (zh) 一种注意力机制引导的内容感知无参考图像质量评价方法
CN116823782A (zh) 一种基于图卷积和多尺度特征的无参考图像质量评价方法
CN117058716A (zh) 基于图像预融合的跨域行为识别方法及装置
CN116823794A (zh) 一种基于多域失真学习的无参考图像质量评价方法
CN116485743A (zh) 一种无参考图像质量评价方法、系统、电子设备及存储介质
CN114841887B (zh) 一种基于多层次差异学习的图像恢复质量评价方法
CN112991257B (zh) 基于半监督孪生网络的异质遥感图像变化快速检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination