CN114841887A - 一种基于多层次差异学习的图像恢复质量评价方法 - Google Patents
一种基于多层次差异学习的图像恢复质量评价方法 Download PDFInfo
- Publication number
- CN114841887A CN114841887A CN202210515284.2A CN202210515284A CN114841887A CN 114841887 A CN114841887 A CN 114841887A CN 202210515284 A CN202210515284 A CN 202210515284A CN 114841887 A CN114841887 A CN 114841887A
- Authority
- CN
- China
- Prior art keywords
- image
- difference
- quality evaluation
- quality
- inputting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 47
- 230000008447 perception Effects 0.000 claims abstract description 26
- 238000011084 recovery Methods 0.000 claims abstract description 22
- 239000013598 vector Substances 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明属于计算机视觉领域，具体涉及一种基于多层次差异学习的图像恢复质量评价方法，该方法包括：获取待评价的恢复图像，将恢复图像输入到训练好的基于多层次差异学习的图像恢复质量评价模型中，得到质量评价结果；根据质量评价结果对该图像进行分类保存；其中基于多层次差异学习的图像恢复质量评价模型包括多层差异生成子网络和感知差异回归子网络；本发明所提方法并不是只对恢复后的图像进行质量评估，而是能够量化失真恢复图像对之间的感知差异值，使得对恢复图像进行预测更加可靠和有效。
Description
技术领域
本发明属于计算机视觉领域，具体涉及一种基于多层次差异学习的图像恢复质量评价方法。
背景技术
图像恢复(image restoration,IR)技术是指将低质量的图像恢复成清晰图像的图像。然而，如何客观地对这些算法进行基准测试的研究还很少，这是一个具有挑战性的问题，可能会阻碍图像恢复技术的快速发展。而针对图像恢复场景设计的图像质量评价技术可用于图像恢复算法的性能的排序、参数选择以及指导图像恢复算法的设计，可以很好地解决这个问题。
目前基于神经网络的无参考图像质量评价方法大多都是针对传统失真类型而设计的，虽然在CSIQ、LIVE和TID2013数据集上取得了较好的预测效果，但由于恢复图像的失真是多维且复杂的，这些方法难以准确评价恢复图像的质量；例如朱等人提出了一种针对图像去噪场景的MetricQ质量评价方法用于优化图像去噪算法的参数选择。Wu等人建立了一个图像去雨数据集，然后针对图像去雨场景专门设计了一个模型来评价去雨图像的质量。这些方法在一定程度上促进了特定场景的图像恢复质量评价的发展，但是由于他们是针对特定的恢复场景而设计模型的，所以其泛化能力相对有限，不能应用到多种图像恢复场景当中。
综上所述现有的技术存在以下问题：1、现有图像恢复质量评价方法无法应用到所有恢复场景中，泛化能力比较弱；2、现有图像恢复质量评价方法无法量化失真恢复图像对之间的质量变化。
发明内容
为解决以上现有技术存在的问题，本发明提出了一种基于多层次差异学习的图像恢复质量评价方法，该方法包括：获取待评价的恢复图像，将恢复图像输入到训练好的基于多层次差异学习的图像恢复质量评价模型中，得到质量评价结果；根据质量评价结果对该图像进行标记，选用标记图像的图像恢复方法对其他待恢复图像进行恢复；其中基于多层次差异学习的图像恢复质量评价模型包括多层差异生成子网络和感知差异回归子网络；
对基于多层次差异学习的图像恢复质量评价模型进行训练的过程包括：
S1：构建大规模图像质量数据集，采用FR-IQA的方法对数据集中的图像生成标签，并将同一视觉场景下的失真图像与恢复图像进行配对，形成DRI图像对；将所有的DRI图像对进行集合，得到训练集；
S2：将训练集中的DRI图像对输入到多层差异生成子网络中，得到图像的质量感知特征；
S3：将质量感知特征输入到感知差异回归子网络，得到输入DRI图像对的RPD值；
S4：根据输入DRI图像对的RPD值计算模型的损失函数；
S5：不断调整模型的参数，当损失函数最小时完成模型的训练。
优选的，采用多层差异生成子网络对输入的图像进行处理的过程包括：多层差异生成子网络由三个卷积块组成，每个卷积块包括三个卷积层；将DRI图像对输入到第一卷积块中进行特征提取，得到第一特征图；将第一特征图输入到注意力引导差异融合模块中，得到第一特征编码向量；将第一特征图经过最大池化操作后输入到第二卷积块中，得到第二特征图，将第二特征图输入到注意力引导差异融合模块中，得到第二特征编码向量；将第二特征图经过最大池化操作后输入到第三卷积块中，得到第三特征图，将第三特征图输入到注意力引导差异融合模块中，得到第三特征编码向量；将第一特征编码向量、第二特征编码向量以及第三特征编码向量经过最大池化操作后，得到三个质量感知特征。
进一步的，注意力引导差异融合模块对输入的特征进行处理的过程包括：获取恢复图像特征图
和失真图像特征图
根据
和
计算DRI对特征映射的空间差异特征
将
以及
在通道维度上进行拼接，将拼接后的融合特征输入到空间注意力以及通道注意力模块中进行加权；采用空间金字塔池化模块对加权后的融合特征进行处理，得到差异特征，该差异特征为特征编码向量。
优选的，采用感知差异回归子网络对质量感知特征进行处理的过程包括：将多层次差异生成子网络生成的三个质量感知特征输入到全连接层中进行特征映射，得到恢复图像和失真图像中的相对差异分数。
优选的，恢复图像和失真图像中的相对差异分数的计算表达式为：
其中，Qd和
分别表示待恢复图像和由第i个图像恢复算法产生的恢复图像的质量分数，
表示第i个图像对的相对质量差异分数。
优选的，模型的损失函数表达式为：
其中，N表示训练图像的个数，F表示，Ir表示恢复图像，Id表示失真图像，
表示恢复图像Ir和失真图像Id的相对质量差异的真实标签值。
为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一上述基于多层次差异学习的图像恢复质量评价方法。
为实现上述目的，本发明还提供一种基于多层次差异学习的图像恢复质量评价装置，包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述一种基于多层次差异学习的图像恢复质量评价装置执行任一上述基于多层次差异学习的图像恢复质量评价方法。
本发明的有益效果：
本公开所提方法并不是只对恢复后的图像进行质量评估，而是能够量化失真恢复图像对之间的感知差异值，这一点相比于仅仅基于恢复图像进行预测更加可靠和有效，因为预测出的相对感知差异值不仅仅可用于图像恢复算法的性能排名，还可以从相对感知差异值中分析出待恢复图像经过图像恢复算法处理之后其质量是增加或是减少。并且由于任何恢复场景下，待恢复图像以及恢复后图像之间都存在着差异信息，本公开有效地利用了这种差异信息，这使得本发明相对于其他图像恢复质量评价方法，泛化能力更强，能够应用于多种恢复场景。
附图说明
图1为本发明的基于多层次差异学习的图像恢复质量评价模型的结构图；
图2为本发明的注意力引导的差异融合模块结构图；
图3为本发明的注意力模块结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于多层次差异学习的图像恢复质量评价方法，该方法包括：获取待评价的恢复图像，将恢复图像输入到训练好的基于多层次差异学习的图像恢复质量评价模型中，得到质量评价结果；根据质量评价结果对该图像进行分类保存；其中基于多层次差异学习的图像恢复质量评价模型包括多层差异生成子网络和感知差异回归子网络。
对基于多层次差异学习的图像恢复质量评价模型进行训练的过程包括：
S1：构建大规模图像质量数据集，采用FR-IQA的方法对数据集中的图像生成标签，并将同一视觉场景下的失真图像与恢复图像进行配对，形成DRI图像对；将所有的DRI图像对进行集合，得到训练集；
S2：将训练集中的DRI图像对输入到多层差异生成子网络中，得到图像的质量感知特征；
S3：将质量感知特征输入到感知差异回归子网络，得到输入DRI图像对的RPD值；
S4：根据输入DRI图像对的RPD值计算模型的损失函数；
S5：不断调整模型的参数，当损失函数最小时完成模型的训练。
采用充足的数据对于以数据驱动的基于CNN的质量评价方法非常重要，能够更好的对方法中的模型进行训练，从而得到更加精确的结果；然而，现有的数据库相对较小，图像的数量不足以训练一个基于CNN的质量模型。例如，真实运动去模糊MDRID数据库只包含1300张带质量标签的去模糊图像，这种数据规模甚至不能训练一个浅神经网络。为了解决这一问题，首先建立一个大规模的图像质量数据集，然后将36000张失真图像中同一视觉内容的图像一一配对，从而获得630000对图像对。这些图像无需人工标记生成质量标签，而是使用可靠的FR-IQA方法来生成弱注释标签。然后，将失真图像与其对应的恢复图像进行配对，形成DRI对。下面将详细描述两种类型的数据准备。
为了解决训练数据的不足，首先建立了一个大规模的图像质量数据库用于预训练模型，该数据库包含1000幅参考图像和36000幅模拟失真图像。具体来说，从现有图像质量数据库(如CSIQ数据)和Internet等收集的1000幅图像作为参考图像；为保证视觉内容的多样性，这些参考图像涵盖了人、动物、车辆、建筑、自然景观等多种视觉内容。根据失真类型的特点，本公开在每幅参考图像中加入三类常见的传统失真类型用于生成失真图像。具体来说，这三类失真类型包括图像模糊(高斯模糊和运动模糊)、图像噪声(高斯噪声和椒盐噪声)和图像压缩失真(JPEG压缩失真和JPEG2K压缩失真)。为了模拟真实情况下广泛分布的失真程度，本公开为每种失真设置了6种不同程度的失真水平，通过上述方式，可以获得36000幅具有不同视觉内容、不同失真类型和不同失真程度的失真图像。
在模拟失真图像生成后，本公开使用全参考图像质量评价方法生成质量分数作为这些失真图像的主观分数。
利用单个图像来构建模拟失真图像对。由于每对DRI图像都来自同一个场景，因此构造模拟失真图像对的原则是：使用来自同一参考图像来构造模拟失真图像对，并将来自同一参考图像的所有失真图像称为一个图像组。对于每个图像组，构建
个图像对：
A＝{(Ii,Ij),i＝1,2...,35,i<j≤36}
其中，A表示图像对，Ii表示第i幅图像，Ij表示第j幅图像。每个图像对的质量标签集为：
D＝{Di,j＝Qi-Qj,i＝1,2,...,35,i＜j≤36}
其中，Di,j表示第i幅图像和第j幅图像的质量分数差，Qi和Qj分别表示第i幅图像和第j幅图像的质量分数。根据上述公式可以得到所有图像组的图像对和对应的质量标签：
其中，Ai和Di分别表示第i个参考图像的图像对集和质量标签集。最终，可以获得
对图像。
采用FR-IQA的方法对数据集中的图像生成标签的过程包括：假设有m×n幅恢复图像，其中m为待恢复图像数，n为图像恢复算法数；将每幅待恢复图像及其恢复图像的集合称为一个数据组。对于每个数据组，将待恢复图像和n个恢复图像进行配对，生成n个DRI对：
其中，Id和
分别表示待恢复图像和由第i个图像恢复算法产生的恢复图像。DRI对的质量标签集即为恢复图像和失真图像中的相对差异分数，其表示为：
其中，Qd和
分别表示待恢复图像和由第i个图像恢复算法产生的恢复图像的质量分数，
表示第i个图像对的相对质量差异分数。通过该方法，最终可以获得m×n图像对：
其中，Ai和Di分别表示为第i个数据组的图像对集和质量标签集。
将待恢复图像的n幅恢复图像之间进行配对，以得到更多的训练样本。对于每个数据组，可以从n幅恢复图像中构建
个图像对。因此，该方式可以进一步地获得
图像对，最终可以构建
个图像对。
基于多层次差异学习的图像恢复质量评价模型主要包括两个子网络，即多层差异生成子网络和感知差异回归子网络，网络的整体结构图如图1所示。利用多层次差异生成子网络生成质量感知特征，然后将质量感知特征输入到感知差异回归子网络中，生成两个输入图像的RPD。
具体的，采用多层差异生成子网络对输入的图像进行处理的过程包括：多层差异生成子网络由三个卷积块组成，每个卷积块包括三个卷积层；将DRI图像对输入到第一卷积块中进行特征提取，得到第一特征图；将第一特征图输入到注意力引导差异融合模块中，得到第一特征编码向量；将第一特征图经过最大池化操作后输入到第二卷积块中，得到第二特征图，将第二特征图输入到注意力引导差异融合模块中，得到第二特征编码向量；将第二特征图经过最大池化操作后输入到第三卷积块中，得到第三特征图，将第三特征图输入到注意力引导差异融合模块中，得到第三特征编码向量；将第一特征编码向量、第二特征编码向量以及第三特征编码向量经过最大池化操作后，得到三个质量感知特征。
多层次差异生成子网络由两条相同结构且权重共享的支路组成。在本方法中，使用多个卷积层和多个池化层的简单堆栈来构建分支。网络分为三个阶段，每个阶段之后连接一个最大池化层。每个分支网络都会生成一组不同尺寸的特征图。为了提取到更有效的差异特征，提出了一种注意力引导的差异融合模块(Attention Guided DiscrepancyFusion Module，ADF)，如图2所示。在ADF模块中，通过以下方法得到DRI对特征映射的空间差异特征：
其中
和
分别为恢复图像和失真图像的特征图，i(i＝1,2…,c)为不同深度的通道取值。将Mr,Md和Mf在通道维度上拼接在一起，然后将融合的特征输入到空间注意力以及通道注意力模块，注意力模块详见图3所示。注意力模块可以从特征的空间维度以及通道维度对特征进行加权。使得模型更加关注特征更重要的区域，使得模型能够更加灵活处理不同类型的信息，增强图像失真的表征能力。最后，利用空间金字塔池化(spatialpyramid pooling,SPP)模块获得差异特征。为了得到多层次差异特征，每个ADF模块中都进行如上操作。
感知差异回归子网络由两个全连接层组成，并且在第一个线性层之后加入了BatchNorm层以及ReLU激活函数，为防止过拟合，将Dropout Ratio设置为0.5。最后一个线性层直接预测出两个输入图像的RPD值。
模型预测RPD值可视为一个回归问题，所以使用均方误差作为损失函数去衡量预测的RPD值与标签之间的距离：
上式中的N为训练图像对的个数，
为恢复图像Ir和失真图像Id的相对质量差异的真实标签值，函数F为网络模型，F(Ir,Id)网络模型F的输出值，即预测值RPD。当损失函数值为最小时，模型F则为最优模型。
该模型首先在模拟失真图像对上进行预训练以获得先验模型，然后在失真恢复图像对(DRI)上进行微调。具体来说，批次大小设置为3。先验模型的预训练初始学习率为1e-4。在微调阶段，多层差异生成子网络和感知差异回归子网络的初始学习率分别设置为1e-5和1e-3。此外，使用Adaptive Moment Estimation(Adam)优化函数对模型进行优化。
多数据进行预测的过程包括：首先准备DRI对，然后在模型预测阶段使用训练好的模型预测这些失真恢复图像对的RPD值；其中，假设给定n个图像恢复算法，k个失真图像，因此可以生成k×n恢复的图像，并构建k×n DRI对；采用训练好的模型对这些DRI对进行预测。预测结果矩阵：
其中，V(i,j)＝Vij,i＝1,2,…,k,j＝1,2,…,n为第i个失真图像和第j个恢复图像组成的DRI对的预测结果。这些算法的性能排名由这些预测的RPD分数进行比较而决定。具体来说，为了第j个算法的性能，首先将包含第j个算法恢复后的图像的所有DRI对的预测RPD分数相加，可以表示为：
通过简单的比较得到了这些算法的性能排名。对于算法来说，R值越大，性能越好。
于本发明一实施例中，本发明还包括一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一所述基于多层次差异学习的图像恢复质量评价方法。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
一种基于多层次差异学习的图像恢复质量评价装置，包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述一种基于多层次差异学习的图像恢复质量评价装置执行任一上述基于深度学习的食物图像识别模型的营养管理方法。
具体地，所述存储器包括：ROM、RAM、磁碟、U盘、存储卡或者光盘等各种可以存储程序代码的介质。
优选地，所述处理器可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processor，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于多层次差异学习的图像恢复质量评价方法，其特征在于，包括：获取待评价的恢复图像，将恢复图像输入到训练好的基于多层次差异学习的图像恢复质量评价模型中，得到质量评价结果；根据质量评价结果对该图像进行标记，选用标记图像的图像恢复方法对其他待恢复图像进行恢复；其中基于多层次差异学习的图像恢复质量评价模型包括多层差异生成子网络和感知差异回归子网络；
对基于多层次差异学习的图像恢复质量评价模型进行训练的过程包括：
S1：构建大规模图像质量数据集，采用FR-IQA的方法对数据集中的图像生成标签，并将同一视觉场景下的失真图像与恢复图像进行配对，形成DRI图像对；将所有的DRI图像对进行集合，得到训练集；
S2：将训练集中的DRI图像对输入到多层差异生成子网络中，得到图像的质量感知特征；
S3：将质量感知特征输入到感知差异回归子网络，得到输入DRI图像对的RPD值；
S4：根据输入DRI图像对的RPD值计算模型的损失函数；
S5：不断调整模型的参数，当损失函数最小时完成模型的训练。
2.根据权利要求1所述的一种基于多层次差异学习的图像恢复质量评价方法，其特征在于，采用多层差异生成子网络对输入的图像进行处理的过程包括：多层差异生成子网络由三个卷积块组成，每个卷积块包括三个卷积层；将DRI图像对输入到第一卷积块中进行特征提取，得到第一特征图；将第一特征图输入到注意力引导差异融合模块中，得到第一特征编码向量；将第一特征图经过最大池化操作后输入到第二卷积块中，得到第二特征图，将第二特征图输入到注意力引导差异融合模块中，得到第二特征编码向量；将第二特征图经过最大池化操作后输入到第三卷积块中，得到第三特征图，将第三特征图输入到注意力引导差异融合模块中，得到第三特征编码向量；将第一特征编码向量、第二特征编码向量以及第三特征编码向量经过最大池化操作后，得到三个质量感知特征。
3.根据权利要求2所述的一种基于多层次差异学习的图像恢复质量评价方法，其特征在于，注意力引导差异融合模块对输入的特征进行处理的过程包括：获取恢复图像特征图
和失真图像特征图
根据
和
计算DRI对特征映射的空间差异特征
将
以及
在通道维度上进行拼接，将拼接后的融合特征输入到空间注意力以及通道注意力模块中进行加权；采用空间金字塔池化模块对加权后的融合特征进行处理，得到差异特征，该差异特征为特征编码向量。
4.根据权利要求1所述的一种基于多层次差异学习的图像恢复质量评价方法，其特征在于，采用感知差异回归子网络对质量感知特征进行处理的过程包括：将多层次差异生成子网络生成的三个质量感知特征输入到全连接层中进行特征映射，得到恢复图像和失真图像中的相对差异分数。
5.根据权利要求4所述的一种基于多层次差异学习的图像恢复质量评价方法，其特征在于，恢复图像和失真图像中的相对差异分数的计算表达式为：
其中，Qd和
分别表示待恢复图像和由第i个图像恢复算法产生的恢复图像的质量分数，
表示第i个图像对的相对质量差异分数。
6.根据权利要求1所述的一种基于多层次差异学习的图像恢复质量评价方法，其特征在于，模型的损失函数表达式为：
其中，N表示训练图像的个数，F(Ir,Id)i表示第i个图像对的相对感知差异分数，Ir表示恢复图像，Id表示失真图像，
表示恢复图像Ir和失真图像Id的相对质量差异的真实标签值。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行，以实现权利要求1至6中任一项基于多层次差异学习的图像恢复质量评价方法。
8.一种基于多层次差异学习的图像恢复质量评价装置，其特征在于，包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述一种基于多层次差异学习的图像恢复质量评价装置执行权利要求1至6中任一项基于多层次差异学习的图像恢复质量评价方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210515284.2A CN114841887A (zh) | 2022-05-12 | 2022-05-12 | 一种基于多层次差异学习的图像恢复质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210515284.2A CN114841887A (zh) | 2022-05-12 | 2022-05-12 | 一种基于多层次差异学习的图像恢复质量评价方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114841887A true CN114841887A (zh) | 2022-08-02 |
Family
ID=82568890
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210515284.2A Pending CN114841887A (zh) | 2022-05-12 | 2022-05-12 | 一种基于多层次差异学习的图像恢复质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114841887A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721304A (zh) * | 2023-08-10 | 2023-09-08 | 武汉大学 | 基于失真图像恢复指导的图像质量感知方法、系统及设备 |
-
2022
- 2022-05-12 CN CN202210515284.2A patent/CN114841887A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721304A (zh) * | 2023-08-10 | 2023-09-08 | 武汉大学 | 基于失真图像恢复指导的图像质量感知方法、系统及设备 |
| CN116721304B (zh) * | 2023-08-10 | 2023-10-20 | 武汉大学 | 基于失真图像恢复指导的图像质量感知方法、系统及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111523621B (zh) | 图像识别方法、装置、计算机设备和存储介质 | |
| Kim et al. | Fully deep blind image quality predictor | |
| CN112446270B (zh) | 行人再识别网络的训练方法、行人再识别方法和装置 | |
| CN111950649B (zh) | 基于注意力机制与胶囊网络的低照度图像分类方法 | |
| Esmaeili et al. | Fast-at: Fast automatic thumbnail generation using deep neural networks | |
| CN112288011B (zh) | 一种基于自注意力深度神经网络的图像匹配方法 | |
| CN110059728B (zh) | 基于注意力模型的rgb-d图像视觉显著性检测方法 | |
| CN110503076B (zh) | 基于人工智能的视频分类方法、装置、设备和介质 | |
| CN110765882B (zh) | 一种视频标签确定方法、装置、服务器及存储介质 | |
| CN113065645B (zh) | 孪生注意力网络、图像处理方法和装置 | |
| CN108389189B (zh) | 基于字典学习的立体图像质量评价方法 | |
| CN111047543A (zh) | 图像增强方法、装置和存储介质 | |
| CN115131218A (zh) | 图像处理方法、装置、计算机可读介质及电子设备 | |
| Malav et al. | DHSGAN: An end to end dehazing network for fog and smoke | |
| CN113011253A (zh) | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 | |
| CN116977674A (zh) | 图像匹配方法、相关设备、存储介质及程序产品 | |
| CN114841887A (zh) | 一种基于多层次差异学习的图像恢复质量评价方法 | |
| CN107729885B (zh) | 一种基于多重残差学习的人脸增强方法 | |
| Skočaj et al. | Incremental and robust learning of subspace representations | |
| CN113378620A (zh) | 监控视频噪声环境下跨摄像头行人重识别方法 | |
| CN109978928B (zh) | 一种基于加权投票的双目视觉立体匹配方法及其系统 | |
| CN116844008A (zh) | 一种注意力机制引导的内容感知无参考图像质量评价方法 | |
| CN115311186A (zh) | 一种红外与可见光图像跨尺度注意力对抗融合方法及终端 | |
| CN115375663A (zh) | 基于深度互学习和双尺度特征融合的图像质量评价方法 | |
| Zhang et al. | No-reference image quality assessment using independent component analysis and convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |