CN118115495B - 一种结合排序学习的超分辨率图像质量评价方法及系统 - Google Patents
一种结合排序学习的超分辨率图像质量评价方法及系统 Download PDFInfo
- Publication number
- CN118115495B CN118115495B CN202410487106.2A CN202410487106A CN118115495B CN 118115495 B CN118115495 B CN 118115495B CN 202410487106 A CN202410487106 A CN 202410487106A CN 118115495 B CN118115495 B CN 118115495B
- Authority
- CN
- China
- Prior art keywords
- super
- resolution image
- quality evaluation
- image quality
- frequency information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012163 sequencing technique Methods 0.000 claims abstract description 35
- 238000000605 extraction Methods 0.000 claims abstract description 25
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 27
- 238000007781 pre-processing Methods 0.000 claims description 19
- 230000004927 fusion Effects 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000011156 evaluation Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 6
- 238000012549 training Methods 0.000 description 11
- 238000001303 quality assessment method Methods 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本发明提出了一种结合排序学习的超分辨率图像质量评价方法及系统，首先将输入图像进行预处理，得到经过不同超分辨率图像质量重建算法的图像列；然后将图像输入到结合排序学习的超分辨率图像质量评价网络中，得到整体质量分数；结合排序学习的超分辨率图像质量评价网络包括特征提取模块、高频特征增强模块、低频特征增强模块、回归模块。本发明使得评价结果既能反应图像的高‑低频特征，又能反应超分辨率图像本身的性质，对于引导图像复原、去噪、重建等图像处理任务具有指导意义。
Description
技术领域
本发明涉及图像质量处理技术领域，尤其涉及一种结合排序学习的超分辨率图像质量评价方法及系统。
背景技术
随着通信与互联网技术的快速发展，图像是目前最为重要的信息载体之一，高质量图像的需求让图像超分辨率重建算法在众多领域得到了越来越广泛的应用。因此，设计一个符合人眼主观感受的超分辨率图像质量评价方法有十分重要的意义。
随着深度学习的发展，超分辨率图像质量评价算法也已经取得了长足进展。目前结合深度学习的超分辨率图像质量评价方法大多都由特征提取和质量回归两部分组成，而这类算法缺乏对超分辨率图像高频及低频特征的深度挖掘。同时，目前的超分辨率图像质量评价算法往往由简单的全连接层构成，没有针对超分辨率图像本身的特性进行针对性的设计，这也限制了算法的性能。
针对上述的问题，如何同时对超分辨率图像的高频信息和低频信息进行挖掘，以及如何结合超分辨率图像本身的特性进行设计，是超分辨率图像评价算法的重要课题。
发明内容
为了在分析图像本身的特征的同时挖掘高-低频信息，本发明的目的是提出一种结合排序学习的超分辨率图像质量评价方法及系统。该方法通过排序学习的思想的深度学习方法，使得超分辨率图像质量评价算法的泛化性和预测精度提高，也让用小样本数据集进行训练成为可能。
本发明的主要技术方案为：一种结合排序学习的超分辨率图像质量评价方法，具体步骤如下：
步骤1，对待测图像进行预处理，获得分辨率不同的图像列；
步骤2，将预处理后的图像输入到结合排序学习的超分辨率图像质量评价网络，得到整体质量分数；
所述结合排序学习的超分辨率图像质量评价网络，包括特征提取模块、高-低频信息增强模块和回归模块；
所述特征提取模块包括一个卷积神经网络，用于获得层级特征，然后将各层级特征输入到高-低频信息增强模块中；
所述高-低频信息增强模块中的高频信息增强模块包括一组并行的卷积层和池化层，以及一个用于特征融合的卷积层，最终输出增强后的高频融合特征；低频信息增强模块的网络结构与高频特征增强模块相同，只是网络参数不同，最终输出增强后的低频融合特征；
所述高-低频信息增强模块中的回归模块由高频信息与低频信息回归分支共两个分支组成，每个分支包括一个权重回归全连接组和一个分数回归全连接组，分别用于得到各自分支特征的权重与得分，然后通过一个加权求和单元进行加权求和得到最终的待评价图像质量分数。
进一步的，所述预处理是将待测图像以及用于超分辨率重建的低分辨率图像使用双三线性差值算法进行重建，然后将得到的超分辨率图像构成排序图像列，并赋予排序标签；重建算法包括SRCNN，SRGAN，RDN以及SwinIR。
进一步的，所述特征提取模块为resnet50模型，其输出5个层级特征。
进一步的，结合排序学习的超分辨率图像质量评价网络是经过参数优化后的网络，参数优化过程包括以下子步骤；
步骤S1，导入超分辨率图像质量评价数据集；
步骤S2，对超分辨率图像质量评价数据集中的超分辨率图像数据进行预处理；
步骤S3，将预处理后的图像数据输入到结合排序学习的超分辨率图像质量评价网络，通过梯度下降和损失函数不断优化模型参数，使模型能准确得到输入图像的质量分数。
进一步的，所述超分辨率图像质量评价数据集选用DIV2K数据集；
所述预处理与步骤1中所述的预处理方式相同，以保证训练环境和应用环境的一致性。
进一步的，步骤S3的具体实现过程表示如下；
（3）
上式中，式（1）表示超分辨率图像质量评价网络的输入，式（2）表示总体损失函数，式（3）表示ListMLE损失函数，式（4）是对式（3）的补充说明；
其中，Input表示输入，b表示批次次序，B表示数据集总共的批次数量，是指n张被输入超分辨率图像质量评价网络的超分辨率图像构成的图像列，是一张待评价的图像，loss为总体损失函数，表示超分辨率图像质量评价任务的损失，表示排序学习任务的损失，采用ListMLE损失函数计算；为排序学习损失的权重系数，是人为设定的超参数；为待排序的图像列，表示超分辨率图像质量评价网络对输入的图像列预测得到的质量分数，表示对应的正确排序，表示输入图像列图像的总数，表示图像列中排在第个位置的图片，表示对应的质量分数，表示图像列中排在第个位置的图片，表示对应的质量分数，u为常数，表示指数函数，用(z)=1/1+e-z来表示，z为自变量，e为自然底数，是根据Plackett-Luce模型对每个可能的排序所定义的概率，用来计算预测的质量分数到真实排序的损失值。
进一步的，通过质量评价网络预测质量分数的计算方式如下；
其中，分别表示高频信息和低频信息对应的权重，分别表示高频信息和低频信息对应的分数，表示权重回归全连接层组函数，表示分数回归全连接层组函数，Score表示预测的质量分数。
进一步的，超分辨率图像质量评价任务采用的损失函数如下；
其中，Loss表示损失，Score表示预测的质量分数，gt表示真实的质量分数。
本发明还提供一种结合排序学习的超分辨率图像质量评价系统，包括如下单元：
预处理单元，用于对待测图像进行预处理，获得分辨率不同的图像列；
质量评价单元，用于将预处理后的图像输入到结合排序学习的超分辨率图像质量评价网络，得到整体质量分数；
所述结合排序学习的超分辨率图像质量评价网络，包括特征提取模块、高-低频信息增强模块和回归模块；
所述特征提取模块包括一个卷积神经网络，用于获得层级特征，然后将各层级特征输入到高-低频信息增强模块中；
所述高-低频信息增强模块中的高频信息增强模块包括一组并行的卷积层和池化层，以及一个用于特征融合的卷积层，最终输出增强后的高频融合特征；低频信息增强模块的网络结构与高频特征增强模块相同，只是网络参数不同，最终输出增强后的低频融合特征；
所述高-低频信息增强模块中的回归模块由高频信息与低频信息回归分支共两个分支组成，每个分支包括一个权重回归全连接组和一个分数回归全连接组，分别用于得到各自分支特征的权重与得分，然后通过一个加权求和单元进行加权求和得到最终的待评价图像质量分数。
本发明采用结合排序学习的超分辨率图像质量评价模型对超分辨率图像进行质量评价。该技术结合了排序学习、多任务学习和深度学习算法，首先利用特征提取模块获得超分辨率图像的高-低频特征信息，然后输入高-低频特征增强模块对特征提取模块得到的高-低频特征进行特征增强，然后导入回归模块通过加权求和得到整体质量分数。与传统的超分辨率图像质量评价方法相比，本发明能够对超分辨率图像的高-低频特征进行更准确的质量评价，排序学习技术可以采用更多的特征来拟合排序模型，规避了人工拟合模型时手动调参的局限性，只需要向模型提供相应的训练数据，即可自动调节模型参数，训练出性能优异的排序模型。排序模型搭建的范式可以一般可以用：获取训练数据、提取特征、训练模型、测试模型以及效果评估这些步骤来总结，该方法也能针对超分辨率图像本身的特性的同时，也降低了时间复杂度，提高了训练效率，也让超分辨率图像质量评价的结果更符合人眼的主观感知。
附图说明
下面使用实施例，以及具体实施方式作进一步说明本文的技术方案。另外，在说明技术方案的过程中，也使用了一些附图。对于本技术领域的人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图以及本发明的意图。
图1为本发明实施例的方法流程图；
图2为本发明实施例的结合排序学习的超分辨率图像质量评价模型结构图；
图3为本发明实施例的结合排序学习的超分辨率图像质量评价模型训练流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本实施例以给定的待测图像数据集为例，对本发明做进一步的阐述。请见图1，本实施例提供的一种结合排序学习的超分辨率图像质量评价方法，包括以下步骤：
步骤1：将待测图像进行预处理后输入结合排序学习的超分辨率图像质量评价网络；
在一种实施方式中，预处理步骤包括把待测图像以及用于2倍、3倍、4倍超分辨率重建的低分辨率图像用双三线性差值算法，SRCNN（基于深度卷积神经网络的图像超分辨率重建方法），SRGAN（基于超分辨率生成对抗网络的图像超分辨率重建方法），RDN（基于残差密集网络的图像超分辨率重建算法）以及SwinIR（基于SwinTransformer的图像超分辨率重建算法）这5种超分辨率重建算法进行重建，然后将得到的超分辨率图像构成排序图像列，并赋予排序标签；
步骤2：将预处理后的图像输入结合排序学习的超分辨率图像质量评价网络，得到整体质量分数；
请见图2，所述结合排序学习的超分辨率图像质量评价网络，包括特征提取模块、高-低频信息增强模块和回归模块；
在一种实施方式中，所述特征提取模块包括一个卷积神经网络S，用于获得层级特征，然后将各层级特征输入到高-低频信息增强模块中，高-低频信息增强模块中的高频信息增强模块和低频信息增强模块为并列关系；所述高频信息增强模块包括一组并行的卷积核，和一个最大池化层，低频信息增强模块有和高频信息增强模块相同的层级结构，所述回归模块由两个高频信息与低频信息回归分支组成，每个分支都包括一个权重回归全连接组、一个分数回归全连接组和一个加权求和单元；
在一种实施方式中，步骤2中，所述特征提取模块由5个stage（层级）的resnet50的卷积层构成，其中每个stage输出的图像特征通道数分别为64，128，256，512以及512，每个层级特征均分别输入到高、低频特征增强模块，得到多层级的增强特征；
在一种实施方式中，步骤2中，所述高频特征增强模块包括一组并行的卷积核尺寸为3和5的两个特征提取卷积层，和一个最大池化层以及一个尺寸为1的卷积核用于特征融合，即高频特征增强模块中包括一个卷积核尺寸为3特征提取卷积层，一个卷积核尺寸为5的特征提取卷积层，两个特征提取卷积层连接后依次接入一个最大池化层以及一个尺寸为1的卷积核；低频信息增强模块包括一组并行的卷积核尺寸为9和11的两个特征提取卷积层和一个最大池化层以及一个尺寸为1的卷积核用于特征融合，其结构与高频特征增强模块相同，其输入都为特征提取模块中每个层级的所有特征，其输出都为经过增强后的融合特征和；
在一种实施方式中，步骤2中，所述回归模块由高频信息与低频信息回归分支共两个分支组成，每个分支都由权重回归全连接组与分数回归全连接组构成，分别用于得到各自分支特征的权重与得分，然后通过加权求和得到最终的待评价图像质量分数，根据预测分数和真实质量分数计算损失，从而优化网络。其损失和预测分数可以用如下公式表示：
其中，分别表示高频和低频对应权重与分数，表示图像的高-低频特征特征，表示权重分支的全连接层组函数，表示分数分支的全连接层组函数，Score表示预测分数，Loss表示损失，gt表示真实的质量分数。
在一种实施方式中，步骤2中，所述结合排序学习的超分辨率图像质量评价网络，是经过参数优化后的网络；参数优化过程包括以下子步骤；
步骤S1：导入超分辨率图像质量评价数据集；
步骤S2：对超分辨率图像数据进行预处理；
步骤S2：将预处理后的图像数据输入到结合排序学习的超分辨率图像质量评价网络，通过梯度下降和损失函数不断优化模型参数，使模型能准确得到输入图像的质量分数；
在一种实施方式中，步骤S1中，图像质量评价数据集选用DIV2K数据集，DIV2K数据集中所有数据的分辨率均为2K，数据集中包含包括自然图像、摄影图像和电影内容等多种来源的图像。这些图像涵盖了各种场景和内容，数据集也包括了2倍、3倍和4倍超分辨率的低分辨率图像。
在一种实施方式中，步骤S2中，对数据的预处理与步骤1种所述的预处理方式相同，以保证训练环境和应用环境的一致性。
在一种实施方式中，步骤S3中，训练过程将采用多任务学习，这使得它可以通过共享数据表示信息来同时学习多个相关的任务，整体的训练流程可以进行如下表示，其中，式（1）表示网络的输入，式（2）表示训练过程中的总体损失函数。式（3）表示本发明用到的损失函数ListMLE，式（4）是对式（3）的补充说明：
（3）
其中b表示批次次序，B表示数据集总共的批次数量，是指一系列被输入网络的超分辨率图像构成的图像列，是一张待评价的图像，表示超分辨率图像质量评价任务的损失，表示排序学习任务的损失，本发明采用了ListMLE损失函数。为排序学习损失的权重系数，是人为设定的超参数。其中，为待排序的图像列，表示网络对输入的图像列预测得到的分数，表示对应的正确排序，表示输入图像列图像的总数，表示序列中排在第个位置的图片，表示对应的质量分数，表示图像列中排在第个位置的图片，表示对应的质量分数，u为常数，表示指数函数可用(z)=1/1+e-z来表示，e是自然底数，是根据Plackett-Luce模型对每个可能的排序所定义的概率，用来计算预测分数到真实排序的损失值，由于概率相乘可能会导致其值很小因此取了负对数。
在一种实施方式中，训练过程采用最小绝对值偏差损失函数，训练至网络收敛，即损失函数曲线保持平稳不再下降；最终将模型输出的整体质量分数作为对输入图像的质量评价。
为了说明本发明的效果，在QADS和SRIJ数据集上对本发明方法的性能进行评估，采用斯皮尔曼等级相关系数SROCC和皮尔逊线性相关系数PLCC作为评价指标，与其他前沿的超分辨率图像质量评价算法的对比实验数据如下表1，性能最高的指标数据已用黑色加粗字体标出，由此可知，本发明的性能表现均为最优。
表1 本发明方法和现有方法的性能评估表
其中，PSNR表示峰值信噪比；
SSIM (Structural Similarity Index Measure，平均结构相似性)，参考文献Wang, Z., Bovik, A. C., Sheikh, H. R.,&Simoncelli, E. P. (2004). Imagequality assessment: from error visibility to structural similarity. IEEETransactions on Image Processing, 13(4), 600-612；
MS-SSIM (Multi-Scale Structural Similarity Index Measure，多尺度结构相似性)，参考文献Wang, Z., Simoncelli, E. P.,&Bovik, A. C. (2003). Multiscalestructural similarity for image quality assessment. In The Thrity-SeventhAsilomar Conference on Signals, Systems&Computers, 2003 (Vol. 2, pp. 1398-1402). Ieee；
GMSD(Gradient Magnitude Similarity Deviation，梯度幅度相似性偏差)，参考文献Xue, W., Zhang, L.,&Mou, X. (2013). Learning without human scores forblind image quality assessment. In Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition (pp. 995-1002)；
FSIM(Feature Similarity Index Measure，特征相似性指数测度)，参考文献Zhang, L., Zhang, L., Mou, X.,&Zhang, D. (2011). FSIM: A feature similarityindex for image quality assessment. IEEE transactions on Image Processing, 20(8), 2378-2386；
NIQE (Natural Image Quality Evaluator，无参考图像评价指标)，参考文献Mittal, A., Soundararajan, R.,&Bovik, A. C. (2012). Making a “completelyblind” image quality analyzer. IEEE Signal Processing Letters, 20(3), 209-212；
CNNIQA (Convolutional Neural Networks for Image Quality Assessment，用于图像质量评估的卷积神经网络)，参考文献Kang, L., Ye, P., Li, Y.,&Doermann, D.(2014). Convolutional neural networks for no-reference image qualityassessment. In Proceedings of the IEEE conference on computer vision andpattern recognition (pp. 1733-1740)。
本发明实施例还提供一种结合排序学习的超分辨率图像质量评价系统，包括如下单元：
预处理单元，用于对待测图像进行预处理，获得分辨率不同的图像列；
质量评价单元，用于将预处理后的图像输入到结合排序学习的超分辨率图像质量评价网络，得到整体质量分数；
所述结合排序学习的超分辨率图像质量评价网络，包括特征提取模块、高-低频信息增强模块和回归模块；
所述特征提取模块包括一个卷积神经网络，用于获得层级特征，然后将各层级特征输入到高-低频信息增强模块中；
所述高-低频信息增强模块中的高频信息增强模块包括一组并行的卷积层和池化层，以及一个用于特征融合的卷积层，最终输出增强后的高频融合特征；高-低频信息增强模块中的低频信息增强模块的网络结构与高频特征增强模块相同，只是网络参数不同，最终输出增强后的低频融合特征；
所述回归模块由高频信息与低频信息回归分支共两个分支组成，每个分支包括一个权重回归全连接组和一个分数回归全连接组，分别用于得到各自分支特征的权重与得分，然后通过一个加权求和单元进行加权求和得到最终的待评价图像质量分数。
各单元的具体实现方式与各步骤相应，本发明不予撰述。
本发明实施例还提供了一种结合排序学习的超分辨率图像质量评价设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的一种结合排序学习的超分辨率图像质量评价方法。
本发明能够实现对超分辨率图像的准确质量评价，评价结果既能反映图像的高-低频特征，又能反应超分辨率图像本身的性质。也可以应用于引导图像的去噪、修复、超分辨率复原等图像处理任务，具有很好的推广应用前景。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (9)
1.一种结合排序学习的超分辨率图像质量评价方法，其特征在于，包括以下步骤：
步骤1，对待测图像进行预处理，获得分辨率不同的图像列；
步骤2，将预处理后的图像输入到结合排序学习的超分辨率图像质量评价网络，得到整体质量分数；
所述结合排序学习的超分辨率图像质量评价网络，包括特征提取模块、高-低频信息增强模块和回归模块；
所述特征提取模块包括一个卷积神经网络，用于获得层级特征，然后将各层级特征输入到高-低频信息增强模块中；
所述高-低频信息增强模块中的高频信息增强模块包括一组并行的卷积层和池化层，以及一个用于特征融合的卷积层，最终输出增强后的高频融合特征；高-低频信息增强模块中的低频信息增强模块的网络结构与高频特征增强模块相同，只是网络参数不同，最终输出增强后的低频融合特征；
所述回归模块由高频信息与低频信息回归分支共两个分支组成，每个分支包括一个权重回归全连接组和一个分数回归全连接组，分别用于得到各自分支特征的权重与得分，然后通过一个加权求和单元进行加权求和得到最终的待评价图像质量分数。
2.根据权利要求1所述的一种结合排序学习的超分辨率图像质量评价方法，其特征在于：所述预处理是将待测图像以及用于超分辨率重建的低分辨率图像使用双三线性差值算法进行重建，然后将得到的超分辨率图像构成排序图像列，并赋予排序标签；重建算法包括SRCNN，SRGAN，RDN以及SwinIR。
3.根据权利要求1所述的一种结合排序学习的超分辨率图像质量评价方法，其特征在于：所述特征提取模块为resnet50模型，其输出5个层级特征。
4.根据权利要求1所述的一种结合排序学习的超分辨率图像质量评价方法，其特征在于：结合排序学习的超分辨率图像质量评价网络是经过参数优化后的网络，参数优化过程包括以下子步骤；
步骤S1，导入超分辨率图像质量评价数据集；
步骤S2，对超分辨率图像质量评价数据集中的超分辨率图像数据进行预处理；
步骤S3，将预处理后的图像数据输入到结合排序学习的超分辨率图像质量评价网络，通过梯度下降和损失函数不断优化模型参数，使模型能准确得到输入图像的质量分数。
5.根据权利要求4所述的一种结合排序学习的超分辨率图像质量评价方法，其特征在于：所述超分辨率图像质量评价数据集选用DIV2K数据集；
所述预处理与步骤1中所述的预处理方式相同。
6.根据权利要求4所述的一种结合排序学习的超分辨率图像质量评价方法，其特征在于：步骤S3的具体实现过程表示如下；
（3）
上式中，式（1）表示超分辨率图像质量评价网络的输入，式（2）表示总体损失函数，式（3）表示ListMLE损失函数，式（4）是对式（3）的补充说明；
其中，Input表示输入，b表示批次次序，B表示数据集总共的批次数量，是指n张被输入超分辨率图像质量评价网络的超分辨率图像构成的图像列，是一张待评价的图像，loss为总体损失函数，表示超分辨率图像质量评价任务的损失，表示排序学习任务的损失，采用ListMLE损失函数计算；为排序学习损失的权重系数，是人为设定的超参数；为待排序的图像列，表示超分辨率图像质量评价网络对输入的图像列预测得到的质量分数，表示对应的正确排序，表示输入图像列图像的总数，表示图像列中排在第个位置的图片，表示对应的质量分数，表示图像列中排在第个位置的图片，表示对应的质量分数，u为常数，表示指数函数，用(z)=1/1+e-z来表示，z为自变量，e为自然底数，是根据Plackett-Luce模型对每个可能的排序所定义的概率，用来计算预测的质量分数到真实排序的损失值。
7.根据权利要求1所述的一种结合排序学习的超分辨率图像质量评价方法，其特征在于：通过超分辨率质量评价网络预测质量分数的计算方式如下；
其中，分别表示高频信息和低频信息对应的权重，分别表示高频信息和低频信息对应的分数，表示权重回归全连接层组函数，表示分数回归全连接层组函数，Score表示预测的质量分数。
8.根据权利要求6所述的一种结合排序学习的超分辨率图像质量评价方法，其特征在于：超分辨率图像质量评价任务采用的损失函数如下；
其中，Loss表示损失，Score表示预测的质量分数，gt表示真实的质量分数。
9.一种结合排序学习的超分辨率图像质量评价系统，其特征在于，包括如下单元：
预处理单元，用于对待测图像进行预处理，获得分辨率不同的图像列；
质量评价单元，用于将预处理后的图像输入到结合排序学习的超分辨率图像质量评价网络，得到整体质量分数；
所述结合排序学习的超分辨率图像质量评价网络，包括特征提取模块、高-低频信息增强模块和回归模块；
所述特征提取模块包括一个卷积神经网络，用于获得层级特征，然后将各层级特征输入到高-低频信息增强模块中；
所述高-低频信息增强模块中的高频信息增强模块包括一组并行的卷积层和池化层，以及一个用于特征融合的卷积层，最终输出增强后的高频融合特征；高-低频信息增强模块中的低频信息增强模块的网络结构与高频特征增强模块相同，只是网络参数不同，最终输出增强后的低频融合特征；
所述回归模块由高频信息与低频信息回归分支共两个分支组成，每个分支包括一个权重回归全连接组和一个分数回归全连接组，分别用于得到各自分支特征的权重与得分，然后通过一个加权求和单元进行加权求和得到最终的待评价图像质量分数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410487106.2A CN118115495B (zh) | 2024-04-23 | 2024-04-23 | 一种结合排序学习的超分辨率图像质量评价方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410487106.2A CN118115495B (zh) | 2024-04-23 | 2024-04-23 | 一种结合排序学习的超分辨率图像质量评价方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118115495A CN118115495A (zh) | 2024-05-31 |
| CN118115495B true CN118115495B (zh) | 2024-07-09 |
Family
ID=91221396
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410487106.2A Active CN118115495B (zh) | 2024-04-23 | 2024-04-23 | 一种结合排序学习的超分辨率图像质量评价方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118115495B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508967A (zh) * | 2020-12-04 | 2021-03-16 | 武汉大学 | 一种图像质量评价方法及系统 |
| CN116363094A (zh) * | 2023-03-29 | 2023-06-30 | 天津科技大学 | 一种超分辨率重建图像质量评价方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107633520A (zh) * | 2017-09-28 | 2018-01-26 | 福建帝视信息科技有限公司 | 一种基于深度残差网络的超分辨率图像质量评估方法 |
| CN109410177B (zh) * | 2018-09-28 | 2022-04-01 | 深圳大学 | 一种超分辨率图像的图像质量分析方法及系统 |
| CN117252812A (zh) * | 2023-08-25 | 2023-12-19 | 西安工程大学 | 基于三重注意双尺度残差网络的超分辨图像质量评价方法 |
| CN117437528A (zh) * | 2023-11-15 | 2024-01-23 | 重庆大学 | 一种基于klt理论和视差补偿的sr图像质量评价方法及系统 |
-
2024
- 2024-04-23 CN CN202410487106.2A patent/CN118115495B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112508967A (zh) * | 2020-12-04 | 2021-03-16 | 武汉大学 | 一种图像质量评价方法及系统 |
| CN116363094A (zh) * | 2023-03-29 | 2023-06-30 | 天津科技大学 | 一种超分辨率重建图像质量评价方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118115495A (zh) | 2024-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110188765B (zh) | 图像语义分割模型生成方法、装置、设备及存储介质 | |
| US11568544B2 (en) | Utilizing a two-stream encoder neural network to generate composite digital images | |
| CN110399929B (zh) | 眼底图像分类方法、装置以及计算机可读存储介质 | |
| CN110866471A (zh) | 人脸图像质量评价方法及装置、计算机可读介质、通信终端 | |
| CN108197652B (zh) | 用于生成信息的方法和装置 | |
| CN110210513B (zh) | 数据分类方法、装置及终端设备 | |
| CN112784778B (zh) | 生成模型并识别年龄和性别的方法、装置、设备和介质 | |
| CN113449851A (zh) | 数据处理方法及设备 | |
| CN110930378A (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
| CN116485741A (zh) | 一种无参考图像质量评价方法、系统、电子设备及存储介质 | |
| CN112348808A (zh) | 屏幕透图检测方法及装置 | |
| CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
| CN116402679A (zh) | 一种轻量级红外超分辨率自适应重建方法 | |
| CN118115495B (zh) | 一种结合排序学习的超分辨率图像质量评价方法及系统 | |
| CN116309612A (zh) | 基于频率解耦监督的半导体硅晶圆检测方法、装置及介质 | |
| CN116485743A (zh) | 一种无参考图像质量评价方法、系统、电子设备及存储介质 | |
| CN113610856B (zh) | 训练图像分割模型和图像分割的方法和装置 | |
| CN112541915A (zh) | 用于高分辨率图像的高效布匹缺陷检测方法、系统及设备 | |
| CN117456339B (zh) | 一种基于多层次特征复用的图像质量评价方法及系统 | |
| CN115831356B (zh) | 一种基于人工智能算法的辅助预测诊断方法 | |
| CN118155270B (zh) | 模型训练方法、人脸识别方法及相关设备 | |
| Fan et al. | Joint transformer progressive self‐calibration network for low light enhancement | |
| CN117372261B (zh) | 基于卷积神经网络的分辨率重建方法、装置、设备及介质 | |
| CN118135229B (zh) | 一种医学图像分割方法、系统及计算机 | |
| CN114648646B (zh) | 一种图像分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |