CN113222902A - 一种无参考图像质量评价方法及系统 - Google Patents

一种无参考图像质量评价方法及系统 Download PDF

Info

Publication number
CN113222902A
CN113222902A CN202110422726.4A CN202110422726A CN113222902A CN 113222902 A CN113222902 A CN 113222902A CN 202110422726 A CN202110422726 A CN 202110422726A CN 113222902 A CN113222902 A CN 113222902A
Authority
CN
China
Prior art keywords
image
images
cnn network
scale
score
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110422726.4A
Other languages
English (en)
Other versions
CN113222902B (zh
Inventor
张卫冬
王璠
陈佳
艾轶博
张英杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202110422726.4A priority Critical patent/CN113222902B/zh
Publication of CN113222902A publication Critical patent/CN113222902A/zh
Application granted granted Critical
Publication of CN113222902B publication Critical patent/CN113222902B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种无参考图像质量评价方法及系统，所述方法包括：将图像裁剪为预设尺寸的图像块，得到图像块在其尺度空间的四个尺度的图像，相邻尺度的图像相减得到多尺度边缘特征，将不同尺度的图像块输入到第一CNN网络中进行训练，学习图像的多尺度边缘特征；在第一CNN网络结构的基础上，增加上采样和全连接层，融合不同网络层的输出，得到第二CNN网络，根据第一CNN网络学习的参数，将图像块输入到第二CNN网络中进行训练，学习图像的质量分数；测试时，将预测得到的图像块的质量分数取平均，作为整图的质量分数。本发明无需使用参考图像，即可客观地对失真图像进行质量评价。

Description

一种无参考图像质量评价方法及系统
技术领域
本发明涉及图像质量评价技术领域，特别涉及一种基于CNN及多尺度融合的无参考图像质量评价方法及系统。
背景技术
图像是人类感知和机器模式识别的重要信息源，图像的质量对所获取信息的充分性和准确性起着决定性的作用。然而，图像在获取、压缩、处理、传输、显示等过程中难免会出现一定程度的失真。如何衡量图像的质量、评定图像是否满足某种特定应用要求是需要解决的问题，而解决这个问题需要建立有效的图像质量评价体制。目前，图像质量评价从方法上可分为主观评价方法和客观评价方法，前者凭借实验人员的主观感知来评价对象的质量；后者依据模型给出的量化指标，模拟人类视觉系统感知机制来衡量图像质量。
主观评价由观察者对图像质量进行主观评分。一般采用平均主观得分(Meanopinion score,MOS)或平均主观得分差(Differential mean opinion score,DMOS)(即人眼对无失真图像和有失真图像评价得分的差异)表示，主观评价工作量大、耗时长，使用起来很不方便。客观评价方法是由计算机根据一定算法计算得到图像的质量指标，根据评价时是否需要参考图像又可以分为全参考(Full Reference,FR)、半参考(部分参考)(Reduced Reference,RR)和无参考(No Reference,NR)等三类评价方法。全参考方法在评价失真图像时，需要提供一个无失真的原始图像，经过对两图像的信息量或特征相似度的对比，得到一个对失真图像的评价结果；半参考方法在评价失真图像时，根据失真图像的参考图像部分特征信息进行评价；无参考方法在评价失真图像时，不需无失真的参考图像进行对比，直接对失真图像进行质量评价。
当前许多无参考图像质量评价方法，在训练阶段依旧有参考图像的参与，但是在实际的应用中，失真图像的参考图像是很难找到的，因此客观地不使用参考图像的方法对图像质量进行评价具有重要意义。
发明内容
本发明的目的在于提供一种无参考图像质量评价方法及系统，能够不使用参考图像，客观地对失真图像进行质量评价。
为解决上述技术问题，本发明的实施例提供如下方案：
一方面，提供了一种无参考图像质量评价方法，包括以下步骤：
S1、将图像裁剪为预设尺寸的图像块，得到图像块在其尺度空间的四个尺度的图像，相邻尺度的图像相减得到多尺度边缘特征，将不同尺度的图像块输入到第一CNN网络中进行训练，学习图像的多尺度边缘特征；
S2、在第一CNN网络结构的基础上，增加上采样和全连接层，融合不同网络层的输出，得到第二CNN网络，根据第一CNN网络学习的参数，将图像块输入到第二CNN网络中进行训练，学习图像的质量分数；
S3、测试时，将预测得到的图像块的质量分数取平均，作为整图的质量分数。
优选地，所述步骤S1中，多尺度边缘特征计算步骤包括：
一个图像块I(x,y)的尺度空间L(x,y,σi)＝{I0(x,y),I1(x,y),…，Ii(x,y)}为原始图像块I(x,y)与可变尺度的二维高斯函数的卷积；
其中二维高斯函数为：
Figure BDA0003025091970000021
Figure BDA0003025091970000022
通过相邻尺度空间的图像相减得到图像的多尺度边缘特征为：
Di(x,y)＝Ii(x,y)-Ii+1(x,y)
＝G(x,y,σi)*I(x,y)-G(x,y,σi+1)*I(x,y)
＝[G(x,y,σi)-G(x,y,σi+1)]*I(x,y)。
优选地，所述步骤S1中，输入的图像块在经过第一CNN网络的卷积层后，根据在其尺度空间的位置，经过第一CNN网络中不同的Inception模块，然后进行上采样，之后通过卷积层，预测多尺度边缘特征。
优选地，所述步骤S2中，根据第一CNN网络的结构和参数，将不同的网络层进行融合，然后通过卷积层和两个全连接层，预测图像的质量分数。
优选地，所述方法还包括：
计算算法预测评分与数据集的主观评分的斯皮尔曼秩相关系数和皮尔森线性相关系数；
斯皮尔曼秩相关系数计算如下：
Figure BDA0003025091970000031
其中，N为图片数量，d为主观评分和算法预测评分的排序位置的差值；
皮尔森线性相关系数计算如下：
Figure BDA0003025091970000032
其中，N为图片数量，P为算法预测评分，S为主观评分；
相关系数越接近1则相关性越好。
一方面，提供了一种无参考图像质量评价系统，包括：
第一学习模块，用于将图像裁剪为预设尺寸的图像块，得到图像块在其尺度空间的四个尺度的图像，相邻尺度的图像相减得到多尺度边缘特征，将不同尺度的图像块输入到第一CNN网络中进行训练，学习图像的多尺度边缘特征；
第二学习模块，用于在第一CNN网络结构的基础上，增加上采样和全连接层，融合不同网络层的输出，得到第二CNN网络，根据第一CNN网络学习的参数，将图像块输入到第二CNN网络中进行训练，学习图像的质量分数；
分数计算模块，用于测试时，将预测得到的图像块的质量分数取平均，作为整图的质量分数。
优选地，所述第一学习模块中，多尺度边缘特征计算步骤包括：
一个图像块I(x,y)的尺度空间L(x,y,σi)＝{I0(x,y),I1(x,y),…，Ii(x,y)}为原始图像块I(x,y)与可变尺度的二维高斯函数的卷积；
其中二维高斯函数为：
Figure BDA0003025091970000033
Figure BDA0003025091970000034
通过相邻尺度空间的图像相减得到图像的多尺度边缘特征为：
Di(x,y)＝Ii(x,y)-Ii+1(x,y)
＝G(x,y,σi)*I(x,y)-G(x,y,σi+1)*I(x,y)
＝[G(x,y,σi)-G(x,y,σi+1)]*I(x,y)。
优选地，所述第一学习模块中，输入的图像块在经过第一CNN网络的卷积层后，根据在其尺度空间的位置，经过第一CNN网络中不同的Inception模块，然后进行上采样，之后通过卷积层，预测多尺度边缘特征。
优选地，所述第二学习模块中，根据第一CNN网络的结构和参数，将不同的网络层进行融合，然后通过卷积层和两个全连接层，预测图像的质量分数。
优选地，所述系统还包括：
相关性评价模块，用于计算预测评分与数据集的主观评分的斯皮尔曼秩相关系数和皮尔森线性相关系数；
斯皮尔曼秩相关系数计算如下：
Figure BDA0003025091970000041
其中，N为图片数量，d为主观评分和预测评分的排序位置的差值；
皮尔森线性相关系数计算如下：
Figure BDA0003025091970000042
其中，N为图片数量，P为预测评分，S为主观评分；
相关系数越接近1则相关性越好。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，将图像裁剪为预设尺寸的图像块，然后得到图像块在其尺度空间的四个尺度的图像，相邻尺度的图像相减得到多尺度边缘特征；将不同尺度的图像块输入到第一CNN网络中进行训练，学习图像的多尺度边缘特征；在多尺度边缘特征学习网络结构的基础上，增加上采样和全连接层，融合网络不同层的输出，得到第二CNN网络，用于学习图像的质量分数；测试时，将预测得到的图像块的质量分数取平均，作为整图的质量分数。这样，本发明完全无需采用参考图像，即可对失真图像进行质量评价。与现有技术相比，本发明的测试结果表现性能良好，能够客观的评价图像质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种无参考图像质量评价方法的流程图；
图2是本发明实施例提供的步骤S1中CNN网络结构图；
图3是本发明实施例提供的Inception结构示意图；
图4是本发明实施例提供的步骤S2中CNN网络结构图；
图5是本发明在LIVE数据集部分图片的质量评分结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明的实施例提供了一种无参考图像质量评价方法，如图1所示，所述方法包括以下步骤：
S1、将图像裁剪为预设尺寸的图像块，得到图像块在其尺度空间的四个尺度的图像，相邻尺度的图像相减得到多尺度边缘特征，将不同尺度的图像块输入到第一CNN网络中进行训练，学习图像的多尺度边缘特征；
S2、在第一CNN网络结构的基础上，增加上采样和全连接层，融合不同网络层的输出，得到第二CNN网络，根据第一CNN网络学习的参数，将图像块输入到第二CNN网络中进行训练，学习图像的质量分数；
S3、测试时，将预测得到的图像块的质量分数取平均，作为整图的质量分数。
通过采用上述方法，本发明完全无需采用参考图像，即可对失真图像进行质量评价。
下面以LIVE数据集的图片为例，对本发明方法的应用进行详细的说明。
LIVE数据库为2014年建立的，其中图像为尺寸不同的彩色图像，有参考图像29张，包含5种常见的失真类型：加性高斯白噪声、高斯模糊、JPEG压缩和JPEG2000压缩和快衰落，失真图像数量为982张。
在S1步骤训练前，随机选取80％的图像，将图像按80步长依次裁剪为224×224的图像块，然后得到图像块在其尺度空间的四个尺度的图像，相邻尺度的图像相减得到多尺度边缘特征。
以一个图像块I(x,y)为例，其尺度空间为：
L(x,y,σi)＝{I0(x,y),I1(x,y),I3(x,y),I4(x,y),I5(x,y)}
其中，
Figure BDA0003025091970000061
其中σi＝(i+1)×0.5
Figure BDA0003025091970000062
通过相邻尺度空间的图像相减得到图像的多尺度边缘特征为：
Di(x,y)＝Ii(x,y)-Ii+1(x,y)
＝G(x,y,σi)*I(x,y)-G(x,y,σi+1)*I(x,y)
＝[G(x,y,σi)-G(x,y,σi+1)]*I(x,y)
将图像块及其不同尺度的图像输入图2所示的第一CNN网络，其中I0(x,y)在第四个Inception结构后输出，I1(x,y)在第三个Inception结构后输出，I2(x,y)在第三个Inception结构后输出I3(x,y)在第三个Inception结构后输出。Inception结构如图3所示，分别学习的多尺度边缘特征为D0(x,y)、D1(x,y)、D2(x,y)、D3(x,y)。
根据上述步骤训练的网络的结构和参数，将不同的网络层进行融合，然后添加卷积层和两个全连接层，得到第二CNN网络，如图4所示。重新随机选取80％的图像，将图像按80步长依次裁剪为224×224的图像块，将图像块直接输入网络，根据图像块对应的整图的图像质量分数，让网络学习预测图像质量分数，直到网络收敛，训练阶段优化器使用的是Adam方法，learning_rate为0.001，weight_decay为0.0005，decay_steps为100，decay_rate为0.9。
取剩下的20％的图像，分割为图像块直接输入到第二阶段训练好的模型，进行图像质量分数的预测，然后取图像块的平均值作为整图的分数，与数据集的准确评分相比较。部分评分结果如图5所示。
图像质量评价算法性能好坏的评估就是看在具有不同失真的大数据集上观察者的主观评分和算法评分的相关度。如果它们的相关度较高，则说明该质量评价算法的性能较好。
计算斯皮尔曼秩相关系数(Spearman rank order correlation coefficient,SROCC)：
Figure BDA0003025091970000071
其中，N为图片数量，d为主观评分和算法评分的排序位置的差值。
皮尔森线性相关系数(Pearson linear correlation coefficient,PLCC)，定义如下：
Figure BDA0003025091970000072
其中，N为图片数量，P为算法预测评分，S为主观评分。
与其他图像质量评价方法的SROCC和PLCC值相比较，如表1所示，相关性越好则该值越接近1。与部分其他方法相比较，本发明的测试结果表现性能良好，能够客观的评价图像质量。
表1不同方法在LIVE数据集的测试结果
Figure BDA0003025091970000073
相应地，本发明的实施例还提供了一种无参考图像质量评价系统，所述系统包括：
第一学习模块，用于将图像裁剪为预设尺寸的图像块，得到图像块在其尺度空间的四个尺度的图像，相邻尺度的图像相减得到多尺度边缘特征，将不同尺度的图像块输入到第一CNN网络中进行训练，学习图像的多尺度边缘特征；
第二学习模块，用于在第一CNN网络结构的基础上，增加上采样和全连接层，融合不同网络层的输出，得到第二CNN网络，根据第一CNN网络学习的参数，将图像块输入到第二CNN网络中进行训练，学习图像的质量分数；
分数计算模块，用于测试时，将预测得到的图像块的质量分数取平均，作为整图的质量分数。
进一步地，所述第一学习模块中，多尺度边缘特征计算步骤包括：
一个图像块I(x,y)的尺度空间L(x,y,σi)＝{I0(x,y),I1(x,y),…，Ii(x,y)}为原始图像块I(x,y)与可变尺度的二维高斯函数的卷积；
其中二维高斯函数为：
Figure BDA0003025091970000081
Figure BDA0003025091970000082
通过相邻尺度空间的图像相减得到图像的多尺度边缘特征为：
Di(x,y)＝Ii(x,y)-Ii+1(x,y)
＝G(x,y,σi)*I(x,y)-G(x,y,σi+1)*I(x,y)
＝[G(x,y,σi)-G(x,y,σi+1)]*I(x,y)。
进一步地，所述第一学习模块中，输入的图像块在经过第一CNN网络的卷积层后，根据在其尺度空间的位置，经过第一CNN网络中不同的Inception模块，然后进行上采样，之后通过卷积层，预测多尺度边缘特征。
进一步地，所述第二学习模块中，根据第一CNN网络的结构和参数，将不同的网络层进行融合，然后通过卷积层和两个全连接层，预测图像的质量分数。
进一步地，所述系统还包括：
相关性评价模块，用于计算预测评分与数据集的主观评分的斯皮尔曼秩相关系数和皮尔森线性相关系数；
斯皮尔曼秩相关系数计算如下：
Figure BDA0003025091970000083
其中，N为图片数量，d为主观评分和预测评分的排序位置的差值；
皮尔森线性相关系数计算如下：
Figure BDA0003025091970000084
其中，N为图片数量，P为预测评分，S为主观评分；
相关系数越接近1则相关性越好。
本实施例的系统，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
综上所述，本发明能够不使用参考图像，客观地对失真图像进行质量评价，与现有技术相比，具有良好的表现性能。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种无参考图像质量评价方法，其特征在于，包括以下步骤：
S1、将图像裁剪为预设尺寸的图像块，得到图像块在其尺度空间的四个尺度的图像，相邻尺度的图像相减得到多尺度边缘特征，将不同尺度的图像块输入到第一CNN网络中进行训练，学习图像的多尺度边缘特征；
S2、在第一CNN网络结构的基础上，增加上采样和全连接层，融合不同网络层的输出，得到第二CNN网络，根据第一CNN网络学习的参数，将图像块输入到第二CNN网络中进行训练，学习图像的质量分数；
S3、测试时，将预测得到的图像块的质量分数取平均，作为整图的质量分数。
2.根据权利要求1所述的无参考图像质量评价方法，其特征在于，所述步骤S1中，多尺度边缘特征计算步骤包括：
一个图像块I(x,y)的尺度空间L(x,y,σi)＝{I0(x,y),I1(x,y),…，Ii(x,y)}为原始图像块I(x,y)与可变尺度的二维高斯函数的卷积；
其中二维高斯函数为：
Figure FDA0003025091960000011
Figure FDA0003025091960000012
通过相邻尺度空间的图像相减得到图像的多尺度边缘特征为：
Di(x,y)＝Ii(x,y)-Ii+1(x,y)
＝G(x,y,σi)*I(x,y)-G(x,y,σi+1)*I(x,y)
＝[G(x,y,σi)-G(x,y,σi+1)]*I(x,y)。
3.根据权利要求1所述的无参考图像质量评价方法，其特征在于，所述步骤S1中，输入的图像块在经过第一CNN网络的卷积层后，根据在其尺度空间的位置，经过第一CNN网络中不同的Inception模块，然后进行上采样，之后通过卷积层，预测多尺度边缘特征。
4.根据权利要求1所述的无参考图像质量评价方法，其特征在于，所述步骤S2中，根据第一CNN网络的结构和参数，将不同的网络层进行融合，然后通过卷积层和两个全连接层，预测图像的质量分数。
5.根据权利要求1所述的无参考图像质量评价方法，其特征在于，所述方法还包括：
计算算法预测评分与数据集的主观评分的斯皮尔曼秩相关系数和皮尔森线性相关系数；
斯皮尔曼秩相关系数计算如下：
Figure FDA0003025091960000021
其中，N为图片数量，d为主观评分和算法预测评分的排序位置的差值；
皮尔森线性相关系数计算如下：
Figure FDA0003025091960000022
其中，N为图片数量，P为算法预测评分，S为主观评分；
相关系数越接近1则相关性越好。
6.一种无参考图像质量评价系统，其特征在于，包括：
第一学习模块，用于将图像裁剪为预设尺寸的图像块，得到图像块在其尺度空间的四个尺度的图像，相邻尺度的图像相减得到多尺度边缘特征，将不同尺度的图像块输入到第一CNN网络中进行训练，学习图像的多尺度边缘特征；
第二学习模块，用于在第一CNN网络结构的基础上，增加上采样和全连接层，融合不同网络层的输出，得到第二CNN网络，根据第一CNN网络学习的参数，将图像块输入到第二CNN网络中进行训练，学习图像的质量分数；
分数计算模块，用于测试时，将预测得到的图像块的质量分数取平均，作为整图的质量分数。
7.根据权利要求6所述的无参考图像质量评价系统，其特征在于，所述第一学习模块中，多尺度边缘特征计算步骤包括：
一个图像块I(x,y)的尺度空间L(x,y,σi)＝{I0(x,y),I1(x,y),…，Ii(x,y)}为原始图像块I(x,y)与可变尺度的二维高斯函数的卷积；
其中二维高斯函数为：
Figure FDA0003025091960000023
Figure FDA0003025091960000024
通过相邻尺度空间的图像相减得到图像的多尺度边缘特征为：
Di(x,y)＝Ii(x,y)-Ii+1(x,y)
＝G(x,y,σi)*I(x,y)-G(x,y,σi+1)*I(x,y)
＝[G(x,y,σi)-G(x,y,σi+1)]*I(x,y)。
8.根据权利要求6所述的无参考图像质量评价系统，其特征在于，所述第一学习模块中，输入的图像块在经过第一CNN网络的卷积层后，根据在其尺度空间的位置，经过第一CNN网络中不同的Inception模块，然后进行上采样，之后通过卷积层，预测多尺度边缘特征。
9.根据权利要求6所述的无参考图像质量评价系统，其特征在于，所述第二学习模块中，根据第一CNN网络的结构和参数，将不同的网络层进行融合，然后通过卷积层和两个全连接层，预测图像的质量分数。
10.根据权利要求6所述的无参考图像质量评价系统，其特征在于，所述系统还包括：
相关性评价模块，用于计算预测评分与数据集的主观评分的斯皮尔曼秩相关系数和皮尔森线性相关系数；
斯皮尔曼秩相关系数计算如下：
Figure FDA0003025091960000031
其中，N为图片数量，d为主观评分和预测评分的排序位置的差值；
皮尔森线性相关系数计算如下：
Figure FDA0003025091960000032
其中，N为图片数量，P为预测评分，S为主观评分；
相关系数越接近1则相关性越好。
CN202110422726.4A 2021-04-16 2021-04-16 一种无参考图像质量评价方法及系统 Active CN113222902B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110422726.4A CN113222902B (zh) 2021-04-16 2021-04-16 一种无参考图像质量评价方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110422726.4A CN113222902B (zh) 2021-04-16 2021-04-16 一种无参考图像质量评价方法及系统

Publications (2)

Publication Number Publication Date
CN113222902A true CN113222902A (zh) 2021-08-06
CN113222902B CN113222902B (zh) 2024-02-02

Family

ID=77087975

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110422726.4A Active CN113222902B (zh) 2021-04-16 2021-04-16 一种无参考图像质量评价方法及系统

Country Status (1)

Country Link
CN (1) CN113222902B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862819A (zh) * 2022-05-24 2022-08-05 深圳大学 基于非对称网络的图像质量评价方法、装置、设备及介质
CN114897884A (zh) * 2022-06-17 2022-08-12 福州大学 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127926A (zh) * 2007-09-14 2008-02-20 西安电子科技大学 基于多尺度几何分析的图像质量评测方法
CN101482973A (zh) * 2009-01-21 2009-07-15 西安交通大学 基于早期视觉的部分参考图像质量评价方法
CN103533344A (zh) * 2013-10-09 2014-01-22 上海大学 基于多尺度分解的压缩图像质量无参评估方法
CN104143188A (zh) * 2014-07-04 2014-11-12 上海交通大学 基于多尺度边缘表达的图片质量评价方法
CN106548472A (zh) * 2016-11-03 2017-03-29 天津大学 基于沃尔什哈达玛变换的无参考图像质量评价方法
CN108090902A (zh) * 2017-12-30 2018-05-29 中国传媒大学 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法
CN110473181A (zh) * 2019-07-31 2019-11-19 天津大学 基于边缘特征信息的屏幕内容图像的无参质量评价方法
WO2020041882A1 (en) * 2018-08-29 2020-03-05 Uti Limited Partnership Neural network trained system for producing low dynamic range images from wide dynamic range images
CN112464740A (zh) * 2020-11-05 2021-03-09 北京科技大学 一种用于自顶向下姿态识别过程的图像处理方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101127926A (zh) * 2007-09-14 2008-02-20 西安电子科技大学 基于多尺度几何分析的图像质量评测方法
CN101482973A (zh) * 2009-01-21 2009-07-15 西安交通大学 基于早期视觉的部分参考图像质量评价方法
CN101482973B (zh) * 2009-01-21 2010-11-10 西安交通大学 基于早期视觉的部分参考图像质量评价方法
CN103533344A (zh) * 2013-10-09 2014-01-22 上海大学 基于多尺度分解的压缩图像质量无参评估方法
CN104143188A (zh) * 2014-07-04 2014-11-12 上海交通大学 基于多尺度边缘表达的图片质量评价方法
CN106548472A (zh) * 2016-11-03 2017-03-29 天津大学 基于沃尔什哈达玛变换的无参考图像质量评价方法
CN108090902A (zh) * 2017-12-30 2018-05-29 中国传媒大学 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法
WO2020041882A1 (en) * 2018-08-29 2020-03-05 Uti Limited Partnership Neural network trained system for producing low dynamic range images from wide dynamic range images
CN110473181A (zh) * 2019-07-31 2019-11-19 天津大学 基于边缘特征信息的屏幕内容图像的无参质量评价方法
CN112464740A (zh) * 2020-11-05 2021-03-09 北京科技大学 一种用于自顶向下姿态识别过程的图像处理方法及系统

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHENCHEN SUN ET AL: "No-reference Image Blur Assessment Based on Multi-scale Spatial Local Features", 《KSII TRANSACTIONS ON INTERNET AND INFORMATION SYSTEMS》, vol. 14, no. 10, pages 4060 - 4079 *
FAN WANG ET AL: "No-Reference Image Quality Assessment Based on Image Multi-Scale Contour Prediction", 《APPLIED SCIENCES》, vol. 12, no. 6, pages 1 - 11 *
YU ZHOU ET AL: "No-Reference Quality Assessment for View Synthesis Using DoG-Based Edge Statistics and Texture Naturalness", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 28, no. 9, pages 4566 - 4579, XP011735626, DOI: 10.1109/TIP.2019.2912463 *
王杨等: "基于双目融合的无参考立体图像质量评价", 《计算机工程与科学》, vol. 42, no. 3, pages 510 - 516 *
王璠: "图像质量评价与提升算法及应用研究", 《中国博士学位论文全文数据库（信息科技辑）》, no. 2, pages 138 - 135 *
符颖: "基于视觉感知的屏幕图像质量评价方法研究", 《中国优秀硕士学位论文全文数据库（信息科技辑）》, no. 12, pages 138 - 1771 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114862819A (zh) * 2022-05-24 2022-08-05 深圳大学 基于非对称网络的图像质量评价方法、装置、设备及介质
CN114862819B (zh) * 2022-05-24 2023-02-03 深圳大学 基于非对称网络的图像质量评价方法、装置、设备及介质
CN114897884A (zh) * 2022-06-17 2022-08-12 福州大学 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法

Also Published As

Publication number Publication date
CN113222902B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN108090902B (zh) 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法
Perez-Ortiz et al. A practical guide and software for analysing pairwise comparison experiments
Liu et al. A high-definition diversity-scene database for image quality assessment
CN113222902B (zh) 一种无参考图像质量评价方法及系统
Krasula et al. Preference of experience in image tone-mapping: Dataset and framework for objective measures comparison
CN112767385B (zh) 基于显著性策略与特征融合无参考图像质量评价方法
CN114612714B (zh) 基于课程学习的无参考图像质量评价方法
CN112950579B (zh) 图像质量评价方法、装置和电子设备
CN114066812B (zh) 基于空间注意力机制的无参考图像质量评价方法
CN110782413A (zh) 一种图像处理方法、装置、设备及存储介质
CN117710370B (zh) 多任务驱动的真实失真全景图像盲质量评价方法与系统
CN117237279A (zh) 一种非均匀失真全景图像盲质量评价方法及系统
CN114897884A (zh) 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法
CN114596287A (zh) 图像质量确定方法、装置、设备和存储介质
CN107590804A (zh) 基于通道特征和卷积神经网络的屏幕图像质量评价方法
Lévêque et al. CUID: A new study of perceived image quality and its subjective assessment
CN108257117B (zh) 图像曝光度的评测方法及装置
CN106022362A (zh) 针对jpeg2000压缩失真的无参考图像质量客观评价方法
Qureshi et al. A comprehensive performance evaluation of objective quality metrics for contrast enhancement techniques
CN115457029B (zh) 一种基于感知特征的水下图像质量测量方法
Zewdie et al. A new pooling strategy for image quality metrics: Five number summary
Radun et al. Evaluating the multivariate visual quality performance of image-processing components
CN109685757B (zh) 一种基于灰度差分统计的无参考图像质量评价方法及系统
Gao et al. A content-based image quality metric

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant