CN117456339B - 一种基于多层次特征复用的图像质量评价方法及系统 - Google Patents
一种基于多层次特征复用的图像质量评价方法及系统 Download PDFInfo
- Publication number
- CN117456339B CN117456339B CN202311556027.4A CN202311556027A CN117456339B CN 117456339 B CN117456339 B CN 117456339B CN 202311556027 A CN202311556027 A CN 202311556027A CN 117456339 B CN117456339 B CN 117456339B
- Authority
- CN
- China
- Prior art keywords
- image
- multiplexing
- features
- riesz
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 66
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 61
- 238000007781 pre-processing Methods 0.000 claims abstract description 31
- 230000009466 transformation Effects 0.000 claims abstract description 28
- 238000010606 normalization Methods 0.000 claims abstract description 22
- 238000012549 training Methods 0.000 claims description 15
- 238000011156 evaluation Methods 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 4
- 238000001303 quality assessment method Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 239000013598 vector Substances 0.000 claims description 4
- 238000004880 explosion Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000009338 overlapping cropping Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
- G06V10/993—Evaluation of the quality of the acquired pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多层次特征复用的图像质量评价方法及系统，首先将输入图像进行预处理，得到若干输入图像块；然后将图像块输入多层次特征复用网络中，得到整体质量分数；多层次特征复用网络包括浅层特征提取模块、深层特征提取模块、空间注意力模块、线性加权回归模块；浅层特征提取模块包括一个Riesz变换层和一个残差连接单元；深层特征提取模块包括一个卷积神经网络S和一个残差连接单元；空间注意力模块包括一个卷积神经网络W和一个残差连接单元；线性加权回归模块包括两个线性层、一个归一化层、和一个加权求和单元。本发明提高所提取特征的利用效率，从而使模型的质量评价既能反映图像的客观失真程度，又能符合人眼的主观感知。
Description
技术领域
本发明涉及图像质量处理技术领域，尤其涉及一种基于多层次特征复用的图像质量评价方法及系统。
背景技术
随着第五代通信技术的发展，数字图像等信息呈现出爆炸性增长。然而，由于获取方式的差异，图像的质量参差不齐[1]。在这样的背景下，图像质量评价(Image qualityassessment，IQA)变得尤为重要。良好的IQA方法与策略，能筛选出更为优质的图像信息，从而为5G时代提供更为优质的视觉体验。
根据参考信息的可用性，图像质量评价可以分为全参考(FR-IQA)，半参考(RR-IQA)和无参考(NR-IQA)[2]。实际应用中，通常无法获得参考信息。因此，NR-IQA的应用更加广泛。它旨在不凭借任何参考信息，直接提供与人主观感知一致的质量评价，是当前IQA领域研究的热门方向。
随着机器学习的发展，学者尝试在IQA领域引入深度学习方法。由于卷积神经网络(CNN)等网络强大的特征提取能力，基于深度学习的NR-IQA方法已经取得了长足的进步。比较有代表性的有基于分类任务和回归模型的CNNIQA[3]、CNNIQA++[4]和DeepBIQ[5]方法，通过CNN进行特征提取，预测出图像失真类型，并依据失真类型回归得到质量分数。
考虑到失真类型的复杂性，后续的DeepIQA方法大多摒弃了对失真类型的预测，转为直接通过特征提取和线性回归得到图像质量分数。例如WaDIQaM[6]，通过训练FR-IQA模型，并将参数共享到NR-IQA模型，进一步迁移学习得到无参考质量评价。此外WaDIQaM等方法还引入了注意力机制，通过为图像不同局部分配不同的注意力权重，以模拟人眼对图像不同局部的感知差异，从而使得模型提供的质量评价能够更好地符合人眼的主观感受。
虽然CNN能够多层次提取出丰富的图像特征，但由于CNN提取的特征图(FeatureMap)具有高度的相似性，以及较为匮乏的可解释性，目前的研究一般认为，CNN提取的特征存在大量信息冗余[7]。同时，随着网络深度的增加，CNN中较为浅层的特征几乎被完全忽略，特征利用效率低。因此，如何更好地实现特征的筛选和复用，使得所提取得特征能更好地反映图像的失真程度，是当前DeepIQA的重要研究课题。
[1]Wang Z.Applications of objective image quality assessment methods[applications corner][J].IEEE signal processing magazine,2011,28(6):137-142.
[2]Wang Z,Bovik AC,Sheikh H R,et al.Image quality assessment:fromerror visibility to structural similarity[J].IEEE transactions on imageprocessing,2004,13(4):600-612.
[3]Hou W,Gao X,Tao D,et al.Blind image quality assessment via deeplearning[J].IEEE transactions on neural networks and learning systems,2014,26(6):1275-1286.
[4]Kang L,Ye P,Li Y,et al.Simultaneous estimation of image qualityand distortion via multi-task convolutional neural networks[C]//2015 IEEEinternational conference on image processing(ICIP).IEEE,2015:2791-2795.
[5]Bianco S,Celona L,Napoletano P,et al.On the use of deep learningfor blind image quality assessment[J].Signal,Image and Video Processing,2018,12:355-362.
[6]Bosse S,Maniry D,Müller K R,et al.Deep neural networks for no-reference and full-reference image quality assessment[J].IEEE Transactions onimage processing,2017,27(1):206-219.
[7]Zhang Q,Jiang Z,Lu Q,et al.Split to be slim:An overlookedredundancy in vanilla convolution[J].arXiv preprint arXiv:2006.12085,2020.
发明内容
为了对CNN提取的图像特征进行筛选和复用，本发明提出了一种基于多层次特征复用的图像质量评价方法及系统。该方法通过残差网络结构实现多层次特征的筛选与复用，能够提高特征的利用效率，同时减少冗余信息。
本发明的主要技术方案为：一种基于多层次特征复用的图像质量评价方法及系统，具体步骤如下：
步骤1：对输入图像I进行预处理，得到若干图像块In；
步骤2：将预处理后的图像块In输入多层次特征复用网络，得到整体质量分数；
所述多层次特征复用网络，包括浅层特征提取模块、深层特征提取模块、空间注意力模块、线性加权回归模块；
所述浅层特征提取模块，包括一个Riesz变换层和一个残差连接单元，其中，残差连接单元的两端为输入图像块In的原始信息与Riesz变换层的输出，称为第一特征；
所述深层特征提取模块，包括一个卷积神经网络S和一个残差连接单元，其中，卷积神经网络的输入通道数为输入特征维度，输出通道数为输出特征维度，残差连接单元的两端为输入的第一特征与卷积神经网络S的输出，称为第二特征；
所述空间注意力模块，包括一个卷积神经网络W和一个残差连接单元，其中，卷积神经网络W的输入通道为输入特征维度，输出通道为输出特征维度，残差连接单元的两端为输入图像块In的原始信息和卷积神经网络W的输出；
所述线性加权回归模块，包括两个线性层、一个归一化层、和一个加权求和单元，其中，线性层的输入通道数均为特征维度，输出通道数为图像块个数；
空间注意力模块输出的特征经过线性层和归一化层的处理得到局部注意力权重，深层特征提取模块输出的特征直接经过一个线性层得到局部质量分数，局部注意力权重和局部质量分数通过加权求和单元处理得到整体质量分数。
进一步的，步骤1中，对输入图像i进行预处理，包括无重叠裁剪和归一化，所述无重叠裁剪是指将输入图像裁剪为若干图像块In；所述归一化利用最大值最小值归一化使得样本数据具有相同分布，减小样本数据在经过CNN的每个层时的分布差异，避免梯度爆炸问题的发生。
进一步的，步骤2中，所述浅层特征提取模块基于Riesz变换对输入图像块进行浅层特征提取，得到Riesz特征，再通过残差连接单元，将图像块in的原始信息和Riesz特征连接，实现第一次特征的复用和筛选，最终输出第一特征；
其中，Riesz变换核的空域表达形式为：
其中，h1，h2为空域上沿x,y方向上的Riesz变换核，(x,y)为空域上的二维坐标值索引，x,y分别为空域x,y方向上的单位向量；
其频域响应为：
其中，H1，H2为频域上的Riesz变换核，(u,v)为频域上的二维坐标值索引，j为虚数单位；
以输入图像块In为例，对其进行一阶Riesz变换，得到：
其中，fnR(x,y)为输入图像块的一阶Riesz变换，它包含In1(x,y)，In2(x,y)，分别代表输入图像沿x,y两个方向的一阶Riesz变换；
最终，Riesz变换层的输出结果，即图像块In的单演信号InM被定义为：
InM＝[In,In1,In2]＝[I,h1(x,y)*In,h2(x,y)*In]
＝In-(i,j)fR(x,y) (4)
其中，i和j为虚数单位。
进一步的，步骤2中，所述深层特征提取模块采用VGG16网络中的特征提取层，包括5个卷积块，每卷积块均含有两个3×3卷积核和一个最大池化层，后三个卷积块分别额外含有一个1×1卷积核，所有卷积核的步长均为1；特征提取时，首先对特征1进行深层次特征提取，得到深层特征，再通过残差连接单元将第一特征与深层特征连接，实现第二次特征复用和筛选，得到第二特征。
进一步的，步骤2中，所述空间注意力模块采用VGG16网络中的特征提取层，包括5个卷积块，每卷积块均含有两个3×3卷积核和一个池化层，后三个卷积块分别额外含有一个1×1卷积核，所有卷积核的步长均为1；特征提取时，将图像块In输入空间注意力模块，得到空间注意力特征。
进一步的，步骤2中，所述线性加权回归模块，首先将第二特征输入线性层，得到图像块In的局部质量分数；同时，将空间注意力特征输入线性层，并使用Softmax函数进行归一化，得到局部注意力权重；最后将局部质量分数和局部注意力权重输入加权求和单元，得到输入图像I的整体质量分数。
进一步的，步骤2中所述多层次特征复用网络是经过参数优化后的多层次特征复用网络；参数优化过程包括以下子步骤：
步骤S1，导入图像质量评价数据集；
图像质量评价数据集选用合成失真数据集LIVE、CSIQ、TID2013和真实失真数据集CLIVE、KonIQ；
步骤S2，对数据进行预处理；
对数据的预处理分为对图像数据的预处理和对主观评价分数的预处理；对图像的预处理应与步骤1中所述预处理方式相同，以保证训练环境和应用环境的一致性；对主观评价分数的预处理为，对评价分数进行归一化，使得所有评价分数分布在0～1之间，以消除不同数据集量纲不同带来的影响；
步骤S3，将预处理后的数据输入到多层次特征复用网络中进行训练，通过梯度下降和反向传播算法不断优化模型参数，使模型能准确得到输入图像的质量分数。
进一步的，步骤S3中，训练过程采用最小绝对值偏差损失函数，训练至网络收敛，即损失函数曲线保持平稳不再下降，最终将模型输出的整体质量分数作为对输入图像的质量评价。
本发明还提供一种基于多层次特征复用的图像质量评价系统，包括以下单元：
预处理单元，用于对输入图像I进行预处理，得到若干图像块In，n为图像块的索引；
质量评价单元，用于将预处理后的图像块In输入多层次特征复用网络，得到整体质量分数；
所述多层次特征复用网络，包括浅层特征提取模块、深层特征提取模块、空间注意力模块、线性加权回归模块；
所述浅层特征提取模块，包括一个Riesz变换层和一个残差连接单元，其中，残差连接单元的两端为输入图像块In的原始信息与Riesz变换层的输出，称为第一特征；
所述深层特征提取模块，包括一个卷积神经网络S和一个残差连接单元，其中，卷积神经网络的输入通道数为输入特征维度，输出通道数为输出特征维度，残差连接单元的两端为输入的第一特征与卷积神经网络S的输出，称为第二特征；
所述空间注意力模块，包括一个卷积神经网络W和一个残差连接单元，其中，卷积神经网络W的输入通道为输入特征维度，输出通道为输出特征维度，残差连接单元的两端为输入图像块In的原始信息和卷积神经网络W的输出；
所述线性加权回归模块，包括两个线性层、一个归一化层、和一个加权求和单元，其中，线性层的输入通道数均为特征维度，输出通道数为图像块个数；
空间注意力模块输出的特征经过线性层和归一化层的处理得到局部注意力权重，深层特征提取模块输出的特征直接经过一个线性层得到局部质量分数，局部注意力权重和局部质量分数通过加权求和单元处理得到整体质量分数。
本发明还提供一种基于多层次特征复用的图像质量评价设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于残差神经网络的多层次特征复用图像质量评价方法。
本发明采用基于残差神经网络结构的多层次特征复用图像质量评价模型对图像进行质量评价。该技术结合了Riesz变换和深度学习算法，首先利用Riesz变换对输入图像块进行浅层特征提取，这些特征包含了图像块的纹理信息，并采用残差连接，实现图像块原始信息和纹理信息的特征复用，得到复用特征。再通过卷积神经网络，对复用特征进行深层特征提取，并采用残差连接，实现第一特征和深层特征的复用。同时，利用卷积神经网络，对输入图像块进行注意力检测，得到图像块的注意力特征。最终，将复用特征和注意力特征进行线性回归，分别得到图像块的局部质量分数和局部注意力权重，加权求和得到图像的整体质量分数。与传统的DeepIQA方法相比，本发明能够对图像块的浅层和深层特征进行筛选和复用，提高特征的利用效率，减少冗余信息，使得模型的质量评价既能反映图像的客观失真程度，又能符合人眼的主观感知。
附图说明
下面使用实施例，以及具体实施方式作进一步说明本文的技术方案。另外，在说明技术方案的过程中，也使用了一些附图。对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图以及本发明的意图。
图1为本发明实施例的方法流程图；
图2为本发明实施例的多层次特征复用图像质量评价模型结构图；
图3为本发明实施例的多层次特征复用图像质量评价模型训练流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本实施例以给定的待测图像数据集为例，对本发明做进一步的阐述。请见图1，本实施例提供的一种基于多层次特征复用的图像质量评价方法，包括以下步骤：
步骤1：采集需要进行质量评价的图像I，并进行预处理；
在一种实施方式中，预处理包括无重叠裁剪和归一化，所述无重叠裁剪是指将输入图像I裁剪为若干图像块In，便于局部特征提取和局部注意力检测；所述归一化利用最大值最小值归一化使得样本数据具有相同分布，减小样本数据在经过CNN的每个层时的分布差异，避免梯度爆炸等问题的发生。
步骤2：将预处理后的图像块In输入多层次特征复用网络，得到图像质量评价。
请见图2，所述多层次特征复用网络，包括浅层特征提取模块、深层特征提取模块、空间注意力模块、线性加权回归模块；
在一种实施方式中，所述浅层特征提取模块，包括一个Riesz变换层和一个残差连接单元，其中，残差连接单元的两端为输入图像块In的原始信息与Riesz变换层的输出，称为第一特征；
所述深层特征提取模块，包括一个卷积神经网络S和一个残差连接单元，其中，卷积神经网络的输入通道数为输入特征维度，输出通道数为输出特征维度，残差连接单元的两端为输入的第一特征与卷积神经网络S的输出，称为第二特征；
所述空间注意力模块，包括一个卷积神经网络W和一个残差连接单元，其中，卷积神经网络W的输入通道为输入特征维度，输出通道为输出特征维度，残差连接单元的两端为输入图像块In的原始信息和卷积神经网络W的输出；
所述线性加权回归模块，包括两个线性层、一个归一化层、和一个加权求和单元，其中，线性层的输入通道数均为特征维度，输出通道数为图像块个数，空间注意力模块输出的特征经过线性层和归一化层的处理得到局部注意力权重，深层特征提取模块输出的特征直接经过一个线性层得到局部质量分数，局部注意力权重和局部质量分数通过加权求和单元处理得到整体质量分数。
在一种实施方式中，步骤2中，所述浅层特征提取模块基于Riesz变换对输入图像块进行浅层特征提取，得到Riesz特征，再通过残差连接单元，将图像块In的原始信息和Riesz特征连接，实现第一次特征的复用和筛选，最终输出第一特征。
其中，Riesz变换核的空域表达形式为：
其中，h1，h2为空域上沿x,y方向上的Riesz变换核，(x,y)为空域上的二维坐标值索引，x,y分别为空域x,y方向上的单位向量；
Riesz变换核的频域响应为：
其中，H1，H2为频域上的Riesz变换核，(u,v)为频域上的二维坐标值索引，j为虚数单位；
以输入图像块In为例，对其进行一阶Riesz变换，得到：
其中，fnR(x,y)为输入图像块的一阶Riesz变换，它包含In1(x,y)，In2(x,y)，分别代表输入图像沿x,y两个方向的一阶Riesz变换；
最终，Riesz变换层的输出结果，即图像块In的单演信号UnM被定义为：
InM＝[In,In1,In2]＝[I,h1(x,y)*In,h2(x,y)*In]
＝In-(i,j)fR(x,y)#(4)
其中，i和j为虚数单位,fnR(x,y)是图像块In的一阶Riesz变换；
在一种实施方式中，步骤2中，所述深层特征提取模块采用VGG16网络中的特征提取层，包括5个卷积块，每卷积块均含有两个3×3卷积核和一个最大池化层，后三个卷积块分别额外含有一个1×1卷积核，所有卷积核的步长均为1；特征提取时，首先对第一特征进行深层次特征提取，得到深层特征，再通过残差连接单元将第一特征与深层特征连接，实现第二次特征复用和筛选，得到第二特征。
在一种实施方式中，步骤2中，所述空间注意力模块采用VGG16网络中的特征提取层，包括5个卷积块，每卷积块均含有两个3×3卷积核和一个池化层，后三个卷积块分别额外含有一个1×1卷积核，所有卷积核的步长均为1；特征提取时，将图像块In输入空间注意力模块，得到空间注意力特征。
在一种实施方式中，步骤2中，所述线性加权回归模块，首先将第二特征输入线性层，得到图像块In的局部质量分数；同时，将空间注意力特征输入线性层，并使用Softmax函数进行归一化，得到局部注意力权重；最后将局部质量分数和局部注意力权重输入加权求和单元，得到输入图像I的整体质量分数。
请见图3，在一种实施方式中，所述多层次特征复用网络，是训练好的多层次特征复用网络；训练过程包括以下子步骤：
步骤S1：导入图像质量评价数据集；
在一种实施方式中，图像质量评价数据集选用合成失真数据集LIVE、CSIQ、TID2013和真实失真数据集CLIVE、KonIQ，前三者包含通过计算模拟得到的各种典型类别失真图像，后两者为广泛采集到的因为拍摄设备、拍摄环境等因素造成的自然失真图像，五个数据集均包含每幅图像的主观评价分数。
步骤S2：对数据进行预处理；
在一种实施方式中，对数据的预处理分为对图像数据的预处理和对主观评价分数的预处理；对图像的预处理应与步骤1中所述预处理方式相同，以保证训练环境和应用环境的一致性；对主观评价分数的预处理为，对评价分数进行归一化，使得所有评价分数分布在0～1之间，以消除不同数据集量纲不同带来的影响。
步骤S3：将预处理后的数据输入到多层次特征复用网络中进行训练，通过梯度下降和反向传播算法不断优化模型参数，使模型能准确得到输入图像的质量分数。
在一种实施方式中，训练过程采用最小绝对值偏差损失函数，训练至网络收敛，即损失函数曲线保持平稳不再下降；最终将模型输出的整体质量分数作为对输入图像的质量评价。
本发明实施例还提供一种基于多层次特征复用的图像质量评价系统，包括以下单元：
预处理单元，用于对输入图像I进行预处理，得到若干图像块In，n为图像块的索引；
质量评价单元，用于将预处理后的图像块In输入多层次特征复用网络，得到整体质量分数；
所述多层次特征复用网络，包括浅层特征提取模块、深层特征提取模块、空间注意力模块、线性加权回归模块；
所述浅层特征提取模块，包括一个Riesz变换层和一个残差连接单元，其中，残差连接单元的两端为输入图像块In的原始信息与Riesz变换层的输出，称为第一特征；
所述深层特征提取模块，包括一个卷积神经网络S和一个残差连接单元，其中，卷积神经网络的输入通道数为输入特征维度，输出通道数为输出特征维度，残差连接单元的两端为输入的第一特征与卷积神经网络S的输出，称为第二特征；
所述空间注意力模块，包括一个卷积神经网络W和一个残差连接单元，其中，卷积神经网络W的输入通道为输入特征维度，输出通道为输出特征维度，残差连接单元的两端为输入图像块In的原始信息和卷积神经网络W的输出；
所述线性加权回归模块，包括两个线性层、一个归一化层、和一个加权求和单元，其中，线性层的输入通道数均为特征维度，输出通道数为图像块个数；
空间注意力模块输出的特征经过线性层和归一化层的处理得到局部注意力权重，深层特征提取模块输出的特征直接经过一个线性层得到局部质量分数，局部注意力权重和局部质量分数通过加权求和单元处理得到整体质量分数。
各单元的具体实现方式与各步骤相同，本发明不予撰述。
本发明还提供了一种基于多层次特征复用的图像质量评价设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现所述的基于多层次特征复用的图像质量评价方法。
本发明能够实现对待测图像的准确质量评价，评价结果既能反映图像的客观失真程度，又能符合人眼的主观感知。也可以应用于引导图像的去噪、修复、超分辨率复原等图像处理任务，具有很好的推广应用前景
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (8)
1.一种基于多层次特征复用的图像质量评价方法，其特征在于，包括以下步骤：
步骤1，对输入图像I进行预处理，得到若干图像块In，n为图像块的索引；
步骤2，将预处理后的图像块In输入多层次特征复用网络，得到整体质量分数；
所述多层次特征复用网络，包括浅层特征提取模块、深层特征提取模块、空间注意力模块、线性加权回归模块；
所述浅层特征提取模块，包括一个Riesz变换层和一个残差连接单元；所述浅层特征提取模块基于Riesz变换对输入图像块进行浅层特征提取，得到Riesz特征，再通过残差连接单元，将图像块In的原始信息和Riesz特征连接，实现第一次特征的复用和筛选，最终输出第一特征；
其中，Riesz变换核的空域表达形式为：
其中，h1，h2为空域上沿x,y方向上的Riesz变换核，(x,y)为空域上的二维坐标值索引，x,y分别为空域x,y方向上的单位向量；
其频域响应为：
其中，H1，H2为频域上的Riesz变换核，(u,v)为频域上的二维坐标值索引，j为虚数单位；
针对输入图像块In，对其进行一阶Riesz变换，得到：
其中，fnR(x,y)为输入图像块的一阶Riesz变换，它包含In1(x,y)，In2(x,y)，分别代表输入图像沿x,y两个方向的一阶Riesz变换；
最终，Riesz变换层的输出结果，即图像块In的单演信号InM被定义为：
InM＝[In,In1,In2]＝[I,h1(x,y)*In,h2(x,y)*In]
＝In-(i,j)fR(x,y) (4)
其中，i和j为虚数单位；
所述深层特征提取模块，包括一个卷积神经网络S和一个残差连接单元，其中，卷积神经网络的输入通道数为输入特征维度，输出通道数为输出特征维度；
所述深层特征提取模块采用VGG16网络中的特征提取层，包括5个卷积块，每卷积块均含有两个3×3卷积核和一个最大池化层，后三个卷积块分别额外含有一个1×1卷积核，所有卷积核的步长均为1；特征提取时，首先对第一特征进行深层次特征提取，得到深层特征，再通过残差连接单元将第一特征与深层特征连接，实现第二次特征复用和筛选，得到第二特征；
所述空间注意力模块，包括一个卷积神经网络W和一个残差连接单元，其中，卷积神经网络W的输入通道为输入特征维度，输出通道为输出特征维度，残差连接单元的两端为输入图像块In的原始信息和卷积神经网络W的输出；
所述线性加权回归模块，包括两个线性层、一个归一化层、和一个加权求和单元，其中，线性层的输入通道数均为特征维度，输出通道数为图像块个数；
空间注意力模块输出的特征经过线性层和归一化层的处理得到局部注意力权重，深层特征提取模块输出的特征直接经过一个线性层得到局部质量分数，局部注意力权重和局部质量分数通过加权求和单元处理得到整体质量分数。
2.根据权利要求1所述的一种基于多层次特征复用的图像质量评价方法，其特征在于：步骤1中，对输入图像I进行预处理，包括无重叠裁剪和归一化，所述无重叠裁剪是指将输入图像裁剪为若干图像块In；所述归一化利用最大值最小值归一化使得样本数据具有相同分布，减小样本数据在经过CNN的每个层时的分布差异，避免梯度爆炸问题的发生。
3.根据权利要求1所述的一种基于多层次特征复用的图像质量评价方法，其特征在于：步骤2中，所述空间注意力模块采用VGG16网络中的特征提取层，包括5个卷积块，每卷积块均含有两个3×3卷积核和一个池化层，后三个卷积块分别额外含有一个1×1卷积核，所有卷积核的步长均为1；特征提取时，将图像块In输入空间注意力模块，得到空间注意力特征。
4.根据权利要求1所述的一种基于多层次特征复用的图像质量评价方法，其特征在于：步骤2中，所述线性加权回归模块，首先将第二特征输入线性层，得到图像块In的局部质量分数；同时，将空间注意力特征输入线性层，并使用Softmax函数进行归一化，得到局部注意力权重；最后将局部质量分数和局部注意力权重输入加权求和单元，得到输入图像I的整体质量分数。
5.根据权利要求1所述的一种基于多层次特征复用的图像质量评价方法，其特征在于：步骤2中所述多层次特征复用网络是经过参数优化后的多层次特征复用网络；参数优化过程包括以下子步骤：
步骤S1，导入图像质量评价数据集；
图像质量评价数据集选用合成失真数据集LIVE、CSIQ、TID2013和真实失真数据集CLIVE、KonIQ；
步骤S2，对数据进行预处理；
对数据的预处理分为对图像数据的预处理和对主观评价分数的预处理；对图像的预处理应与步骤1中所述预处理方式相同，以保证训练环境和应用环境的一致性；对主观评价分数的预处理为，对评价分数进行归一化，使得所有评价分数分布在0～1之间，以消除不同数据集量纲不同带来的影响；
步骤S3，将预处理后的数据输入到多层次特征复用网络中进行训练，通过梯度下降和反向传播算法不断优化模型参数，使模型能准确得到输入图像的质量分数。
6.根据权利要求5所述的一种基于多层次特征复用的图像质量评价方法，其特征在于，其特征在于：步骤S3中，训练过程采用最小绝对值偏差损失函数，训练至网络收敛，即损失函数曲线保持平稳不再下降，最终将模型输出的整体质量分数作为对输入图像的质量评价。
7.一种基于多层次特征复用的图像质量评价系统，其特征在于，包括以下单元：
预处理单元，用于对输入图像I进行预处理，得到若干图像块In，n为图像块的索引；
质量评价单元，用于将预处理后的图像块In输入多层次特征复用网络，得到整体质量分数；
所述多层次特征复用网络，包括浅层特征提取模块、深层特征提取模块、空间注意力模块、线性加权回归模块；
所述浅层特征提取模块，包括一个Riesz变换层和一个残差连接单元；所述浅层特征提取模块基于Riesz变换对输入图像块进行浅层特征提取，得到Riesz特征，再通过残差连接单元，将图像块In的原始信息和Riesz特征连接，实现第一次特征的复用和筛选，最终输出第一特征；
其中，Riesz变换核的空域表达形式为：
其中，h1，h2为空域上沿x,y方向上的Riesz变换核，(x,y)为空域上的二维坐标值索引，x,y分别为空域x,y方向上的单位向量；
其频域响应为：
其中，H1，H2为频域上的Riesz变换核，(u,v)为频域上的二维坐标值索引，j为虚数单位；
针对输入图像块In，对其进行一阶Riesz变换，得到：
其中，fnR(x,y)为输入图像块的一阶Riesz变换，它包含In1(x,y)，In2(x,y)，分别代表输入图像沿x,y两个方向的一阶Riesz变换；
最终，Riesz变换层的输出结果，即图像块In的单演信号InM被定义为：
InM＝[In,In1,In2]＝[I,h1(x,y)*In,h2(x,y)*In]
＝In-(i,j)fR(x,y) (4)
其中，i和j为虚数单位；
所述深层特征提取模块，包括一个卷积神经网络S和一个残差连接单元，其中，卷积神经网络的输入通道数为输入特征维度，输出通道数为输出特征维度；
所述深层特征提取模块采用VGG16网络中的特征提取层，包括5个卷积块，每卷积块均含有两个3×3卷积核和一个最大池化层，后三个卷积块分别额外含有一个1×1卷积核，所有卷积核的步长均为1；特征提取时，首先对第一特征进行深层次特征提取，得到深层特征，再通过残差连接单元将第一特征与深层特征连接，实现第二次特征复用和筛选，得到第二特征；
所述空间注意力模块，包括一个卷积神经网络W和一个残差连接单元，其中，卷积神经网络W的输入通道为输入特征维度，输出通道为输出特征维度，残差连接单元的两端为输入图像块In的原始信息和卷积神经网络W的输出；
所述线性加权回归模块，包括两个线性层、一个归一化层、和一个加权求和单元，其中，线性层的输入通道数均为特征维度，输出通道数为图像块个数；
空间注意力模块输出的特征经过线性层和归一化层的处理得到局部注意力权重，深层特征提取模块输出的特征直接经过一个线性层得到局部质量分数，局部注意力权重和局部质量分数通过加权求和单元处理得到整体质量分数。
8.一种基于多层次特征复用的图像质量评价设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的一种基于多层次特征复用的图像质量评价方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311556027.4A CN117456339B (zh) | 2023-11-17 | 2023-11-17 | 一种基于多层次特征复用的图像质量评价方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311556027.4A CN117456339B (zh) | 2023-11-17 | 2023-11-17 | 一种基于多层次特征复用的图像质量评价方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117456339A CN117456339A (zh) | 2024-01-26 |
| CN117456339B true CN117456339B (zh) | 2024-05-17 |
Family
ID=89592948
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311556027.4A Active CN117456339B (zh) | 2023-11-17 | 2023-11-17 | 一种基于多层次特征复用的图像质量评价方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117456339B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991670A (zh) * | 2017-03-29 | 2017-07-28 | 武汉大学 | 一种无参考噪声图像质量评价方法及系统 |
| CN107274379A (zh) * | 2017-05-09 | 2017-10-20 | 武汉大学 | 一种图像质量评价方法及系统 |
| CN110223242A (zh) * | 2019-05-07 | 2019-09-10 | 北京航空航天大学 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
| CN112508967A (zh) * | 2020-12-04 | 2021-03-16 | 武汉大学 | 一种图像质量评价方法及系统 |
| CN112634238A (zh) * | 2020-12-25 | 2021-04-09 | 武汉大学 | 一种基于注意力模块的图像质量评价方法 |
| CN113421237A (zh) * | 2021-06-18 | 2021-09-21 | 西安电子科技大学 | 基于深度特征迁移学习的无参考图像质量评价方法 |
| CN115100490A (zh) * | 2022-07-20 | 2022-09-23 | 广东工业大学 | 一种图像质量评价方法、系统以及可读存储介质 |
| CN115345791A (zh) * | 2022-08-10 | 2022-11-15 | 南京理工大学 | 一种基于注意力机制残差网络模型的红外图像去模糊算法 |
| CN116844008A (zh) * | 2023-06-30 | 2023-10-03 | 中国地质大学（武汉） | 一种注意力机制引导的内容感知无参考图像质量评价方法 |
| CN116934583A (zh) * | 2022-04-01 | 2023-10-24 | 四川大学 | 基于深浅特征融合网络的遥感图像超分辨率算法 |
-
2023
- 2023-11-17 CN CN202311556027.4A patent/CN117456339B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106991670A (zh) * | 2017-03-29 | 2017-07-28 | 武汉大学 | 一种无参考噪声图像质量评价方法及系统 |
| CN107274379A (zh) * | 2017-05-09 | 2017-10-20 | 武汉大学 | 一种图像质量评价方法及系统 |
| CN110223242A (zh) * | 2019-05-07 | 2019-09-10 | 北京航空航天大学 | 一种基于时空域残差生成对抗网络的视频湍流移除方法 |
| CN112508967A (zh) * | 2020-12-04 | 2021-03-16 | 武汉大学 | 一种图像质量评价方法及系统 |
| CN112634238A (zh) * | 2020-12-25 | 2021-04-09 | 武汉大学 | 一种基于注意力模块的图像质量评价方法 |
| CN113421237A (zh) * | 2021-06-18 | 2021-09-21 | 西安电子科技大学 | 基于深度特征迁移学习的无参考图像质量评价方法 |
| CN116934583A (zh) * | 2022-04-01 | 2023-10-24 | 四川大学 | 基于深浅特征融合网络的遥感图像超分辨率算法 |
| CN115100490A (zh) * | 2022-07-20 | 2022-09-23 | 广东工业大学 | 一种图像质量评价方法、系统以及可读存储介质 |
| CN115345791A (zh) * | 2022-08-10 | 2022-11-15 | 南京理工大学 | 一种基于注意力机制残差网络模型的红外图像去模糊算法 |
| CN116844008A (zh) * | 2023-06-30 | 2023-10-03 | 中国地质大学（武汉） | 一种注意力机制引导的内容感知无参考图像质量评价方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117456339A (zh) | 2024-01-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110599409B (zh) | 基于多尺度卷积组与并行的卷积神经网络图像去噪方法 | |
| CN106529447B (zh) | 一种小样本人脸识别方法 | |
| CN109711426B (zh) | 一种基于gan和迁移学习的病理图片分类装置及方法 | |
| CN110059728B (zh) | 基于注意力模型的rgb-d图像视觉显著性检测方法 | |
| CN109948692B (zh) | 基于多颜色空间卷积神经网络及随机森林的计算机生成图片检测方法 | |
| CN112819910A (zh) | 基于双鬼注意力机制网络的高光谱图像重建方法 | |
| CN109376787B (zh) | 流形学习网络及基于其的计算机视觉图像集分类方法 | |
| CN113011253B (zh) | 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质 | |
| CN110046544A (zh) | 基于卷积神经网络的数字手势识别方法 | |
| CN112507920A (zh) | 一种基于时间位移和注意力机制的考试异常行为识别方法 | |
| CN111882516B (zh) | 一种基于视觉显著性和深度神经网络的图像质量评价方法 | |
| CN113011506B (zh) | 一种基于深度重分形频谱网络的纹理图像分类方法 | |
| CN111539434B (zh) | 基于相似度的红外弱小目标检测方法 | |
| CN116993639A (zh) | 基于结构重参数化的可见光与红外图像融合方法 | |
| CN117456339B (zh) | 一种基于多层次特征复用的图像质量评价方法及系统 | |
| CN116485743A (zh) | 一种无参考图像质量评价方法、系统、电子设备及存储介质 | |
| CN115984924A (zh) | 一种基于类脑技术的自然场景下的表情识别方法 | |
| CN109829377A (zh) | 一种基于深度余弦度量学习的行人重识别方法 | |
| CN115661618A (zh) | 图像质量评估模型的训练方法、图像质量评估方法及装置 | |
| CN114049675A (zh) | 基于轻量双通道神经网络的人脸表情识别方法 | |
| Zhang et al. | Split-Conv: A Resource-efficient Compression Method for Image Quality Assessment Models | |
| CN118115495B (zh) | 一种结合排序学习的超分辨率图像质量评价方法及系统 | |
| CN113642429B (zh) | 一种基于tpp-tccnn的海洋鱼类识别方法 | |
| CN117557857B (zh) | 结合渐进式引导蒸馏和结构重构的检测网络轻量化方法 | |
| CN114332485B (zh) | 基于YOLOv3模型的高阶目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |