CN113469998A - 基于主观和客观特征融合的全参考图像质量评价方法 - Google Patents

基于主观和客观特征融合的全参考图像质量评价方法 Download PDF

Info

Publication number
CN113469998A
CN113469998A CN202110824509.8A CN202110824509A CN113469998A CN 113469998 A CN113469998 A CN 113469998A CN 202110824509 A CN202110824509 A CN 202110824509A CN 113469998 A CN113469998 A CN 113469998A
Authority
CN
China
Prior art keywords
image
quality evaluation
image quality
feature vector
evaluation model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110824509.8A
Other languages
English (en)
Other versions
CN113469998B (zh
Inventor
艾达
刘芸宏
李雨璇
刘颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Posts and Telecommunications
Original Assignee
Xian University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Posts and Telecommunications filed Critical Xian University of Posts and Telecommunications
Priority to CN202110824509.8A priority Critical patent/CN113469998B/zh
Publication of CN113469998A publication Critical patent/CN113469998A/zh
Application granted granted Critical
Publication of CN113469998B publication Critical patent/CN113469998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一种基于主观和客观特征融合的全参考图像质量评价方法，由选择数据集、图像预处理、构建图像质量评价模型、训练图像质量评价模型、测试图像质量评价模型组成。采用图像差分方法和显著性检测方法提取图像的差分图和显著性图，作为图像质量评价模型的输入，将提取的差分图像块特征和显著性图像块特征融合，能够更准确地预测失真图像的感知质量水平，与主观质量评价相一致。经仿真对比实验证明表明，本发明方法对不同数据集都有较好的质量预测结果，改善了图像评价性能，训练数据减少1/2以上。本发明具有训练数据小、图像质量评价模型结构简单、评价准确等优点，可用于图像处理。

Description

基于主观和客观特征融合的全参考图像质量评价方法
技术领域
本发明属于图像处理技术领域，具体涉及到全参考图像质量评价方法。
背景技术
随着新技术的发展与经济水平的提高，成像设备在人们的日常生活中变得十分普及，图像数量急剧增加，已经成为人们日常生活中不可缺少的重要信息媒介。人们对于图像质量的追求也越来越高，而图像从产生到应用的过程中经常会不可避免地受到外界的干扰，造成质量的下降，而图像质量的优劣直接影响最终用户的要求以及计算机获取信息的质量。因此，图像质量评价对评估图像视频的恢复质量有重要的应用价值。
图像质量评价方法分为主观评价和客观评价两类，主观评价基于观测者的直观感受，评价结果可靠，但需要大量专业人员，耗时费力，难以实现实时评价。客观评价通过建立模型对图像进行自动评估，主要分为全参考型图像质量评估、部分参考型图像质量评估以及无参考型图像质量评估。其中全参考型可以参考原始图像的所有特征信息，与主观评价具有很好的一致性，相比于其他两种方法表现更好，因此基于全参考图像质量评价方法具有重要的研究意义。
近年来，基于深度学习的图像质量评价技术已成为研究热点并取得一定成果。现有方法大都在通过训练神经网络提取图像的各种特征，通过改进神经网络结构和优化参数来提升评价性能，能够准确反映图像数据的一些简单却有效特征反而被忽略，使得图像质量评价性能达到饱和。
发明内容
本发明所要解决的技术问题在于克服上述现有技术的缺点，提出一种训练数据小、图像质量评价模型结构简单、评价准确的基于主观和客观特征融合的全参考图像质量评价方法。
解决上述技术问题所采用的技术方案是由下述步骤组成：
(1)选择数据集
将图像质量评价数据库中的参考图像和失真图像分为训练集、验证集、测试集，训练集图像为全部图像的80％，验证集图像为全部图像的10％，测试集图像为全部图像的10％，训练集与验证集、测试集之间没有重叠。
(2)图像预处理
对参考图像和失真图像进行图像差分，得到差分图；对失真图像采用直方图的对比度方法提取显著性图，对失真图像的图像I中每种颜色ci的显著性值Sci按式(1)确定：
Figure BDA0003173191860000021
其中n是不同颜色的像素数量，fj为图像中每种颜色cj出现的概率，D(ci,cj)是ci与cj之间的色差。
用相似颜色的显著性值Sci加权平均来代替每种颜色ci的显著性值Sci，选择m个最接近的颜色来细化图像I中颜色c的显著性值Sc，
Figure BDA0003173191860000022
Figure BDA0003173191860000023
其中T是颜色c与其m个最近邻颜色之间的度量之和，m取值为n/4，m不为1。
经过上述图像预处理后为图像中每一个像素分配相应颜色的显著性值Sc，生成显著性图。
将每张差分图和显著性图裁剪成32×32像素大小的图像块作为输入样本。
(3)构建图像质量评价模型
图像质量评价模型包括特征提取模块1、特征向量融合模块2、质量回归模块3，特征提取模块1依次与特征向量融合模块2、质量回归模块3串联构成。
(4)训练图像质量评价模型
用基于梯度的自适应矩估计优化器梯度的一阶矩估计方法和二阶矩估计方法自适应调整每个参数学习率，设置学习率为0.0001，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999。
训练集中的差分图像块和显著性图像块通过图像质量评价模型的特征提取模块1分别生成特征向量Ε和特征向量Σ：
Ε＝(ε1,ε2,…,ε256) (3)
Figure BDA0003173191860000031
Σ＝(σ1,σ2,…,σ256) (4)
Figure BDA0003173191860000032
其中，εi和σi是2×2的矩阵；
特征向量融合模块2对提取到的特征向量Ε和特征向量Σ进行特征融合，对特征向量Ε和特征向量Σ进行哈达玛积得到特征向量Φ如下：
Φ＝(φ1,φ2,…,φ256) (5)
Figure BDA0003173191860000033
其中φi通过对εi和σi进行哈达玛积，即逐点像素相乘得到。
通过Φ连接到特征向量Ε和特征向量Σ构建成特征向量X
X＝concat(Ε,Σ,Φ) (6)
其中concat(.)表示将特征向量Ε、特征向量Σ、特征向量Φ按列串联。
将融合后的特征向量X作为质量回归模块3的输入，质量回归模块3的每个全连接层结合激活函数ReLU将特征向量X回归到失真图像的质量分数；将图像质量评价模型训练至损失函数不再减小，在每个周期内，将验证集输入到训练后的图像质量评价模型中；选择验证集中损失最小的模型作为最终模型。
(5)测试图像质量评价模型
将测试集的图像输入到训练好的图像质量评价模型中，得到最终的图像质量分数。
在本发明的(3)构建图像质量评价模型步骤中，所述的特征提取模块1由卷积层和最大池化层组成，其中每串联的2个卷积层与1个最大池化层串联构成1个卷积池化单元，至少4个卷积池化单元依次串联构成特征提取模块1，卷积层的卷积核像素为3×3，滑动窗口的步长为1，最大池化层的核像素为2×2，滑动窗口的步长为2。
在本发明的(3)构建图像质量评价模型步骤中，所述的特征提取模块1最佳由8个卷积层和4个最大池化层组成，其中每串联的2个卷积层与1个最大池化层串联构成1个卷积池化单元，4个卷积池化单元依次串联构成特征提取模块1，卷积层的卷积核像素为3×3，滑动窗口的步长为1，最大池化层的核像素为2×2，滑动窗口的步长为2。
在本发明的(3)构建图像质量评价模型步骤中，所述的特征向量融合模块2由2个特征向量融合单元串联构成。
在本发明的(3)构建图像质量评价模型步骤中，所述的质量回归模块3由至少2个全连接层串联构成。
在本发明的(3)构建图像质量评价模型步骤中，所述的质量回归模块3最佳由2个全连接层串联构成。
本发明的有益效果是：
由于本发明对参考图像与失真图像分为训练集、测试集、验证集，参考图像与失真图像进行图像差分，得到差分图，采用基于直方图对比度的显著性区域检测方法提取显著性图，每张差分图和显著性图裁剪成32×32像素大小的图像块输入图像质量评价模型，将提取的差分图像块特征和显著性图像块特征融合，能够更准确地预测失真图像的感知质量水平，与主观质量评价相一致。经仿真对比实验表明，本发明方法对不同数据集都有较好的质量预测结果；以高质量的图像特征数据作为图像质量评价模型输入，训练数据减少1/2以上，在有效改善图像评价性能的同时，图像质量评价模型架构也更加简单。本发明方法可用于图像处理。
附图说明
图1是本发明实施例1的流程图。
图2是图1中图像质量评价模型的结构示意图。
具体实施方法
下面结合附图和实施例对本发明进一步的详细说明，但本发明不限于下述的实施方式。
实施例1
以在TID2013图像质量评价数据库中选取3000幅图像为例，本实施例的基于主观和客观特征融合的全参考图像质量评价方法由下述步骤组成(参见图1)：
(1)选择数据集
将图像质量评价数据库中的参考图像和失真图像3000幅分为训练集、验证集、测试集，训练集图像为全部图像的80％，验证集图像为全部图像的10％，测试集图像为全部图像的10％，训练集与验证集、测试集之间没有重叠。
(2)图像预处理
对参考图像和失真图像进行图像差分，得到差分图；对失真图像采用直方图的对比度方法提取显著性图，对失真图像的图像I中每种颜色ci的显著性值Sci按式(1)确定：
Figure BDA0003173191860000051
其中n是不同颜色的像素数量，fj为图像中每种颜色cj出现的概率，D(ci,cj)是ci与cj之间的色差。
用相似颜色的显著性值Sci加权平均来代替每种颜色ci的显著性值Sci，选择m个最接近的颜色来细化图像I中颜色c的显著性值Sc，
Figure BDA0003173191860000052
Figure BDA0003173191860000053
其中T是颜色c与其m个最近邻颜色之间的度量之和，m取值为n/4，m不为1。
经过上述图像预处理后为图像中每一个像素分配相应颜色的显著性值Sc，生成显著性图。
将每张差分图和显著性图裁剪成32×32像素大小的图像块作为输入样本。
(3)构建图像质量评价模型
图像质量评价模型包括特征提取模块1、特征向量融合模块2、质量回归模块3，特征提取模块1依次与特征向量融合模块2、质量回归模块3串联构成。
在图2中，本实施例的特征提取模块1由8个卷积层和4个最大池化层组成，其中每串联的2个卷积层与1个最大池化层串联构成1个卷积池化单元，4个卷积池化单元依次串联构成特征提取模块1，卷积层的卷积核像素为3×3，滑动窗口的步长为1，最大池化层的核像素为2×2，滑动窗口的步长为2。特征提取模块1的具体参数见表1。
表1特征提取模块参数
类型 激活函数 输出尺寸 参数
巻积层1，巻积层2 LReLU 32×32×32 卷积核像素：3×3；卷积核个数：32
最大池化层1 - 16×16×32 核像素：2×2；步长：2×2
巻积层3，巻积层4 LReLU 16×16×64 卷积核像素：3×3；卷积核个数：64
最大池化层2 - 8×8×64 核像素：2×2；步长：2×2
巻积层5，C巻积层6 LReLU 8×8×128 卷积核像素：3×3；卷积核个数：128
最大池化层3 - 4×4×128 核像素：2×2；步长：2×2
巻积层7，巻积层8 LReLU 4×4×256 卷积核像素：3×3；卷积核个数：256
最大池化层4 - 2×2×256 核像素：2×2；步长：2×2
本实施例的特征向量融合模块2由2个特征向量融合单元串联构成。
本实施例的质量回归模块3由2个全连接层串联构成。
(4)训练图像质量评价模型
用基于梯度的自适应矩估计优化器梯度的一阶矩估计方法和二阶矩估计方法自适应调整每个参数学习率，设置学习率为0.0001，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999。
训练集中的差分图像块和显著性图像块通过图像质量评价模型的特征提取模块1分别生成特征向量Ε和特征向量Σ：
Ε＝(ε1,ε2,…,ε256) (3)
Figure BDA0003173191860000061
Σ＝(σ1,σ2,…,σ256) (4)
Figure BDA0003173191860000062
其中，εi和σi是2×2的矩阵。
特征向量融合模块2对提取到的特征向量Ε和特征向量Σ进行特征融合，对特征向量Ε和特征向量Σ进行哈达玛积得到特征向量Φ如下：
Φ＝(φ1,φ2,…,φ256) (5)
Figure BDA0003173191860000071
其中φi通过对εi和σi进行哈达玛积，即逐点像素相乘得到。
通过Φ连接到特征向量Ε和特征向量Σ构建成特征向量X
X＝concat(Ε,Σ,Φ) (6)
其中concat(.)表示将特征向量Ε、特征向量Σ、特征向量Φ按列串联。
将融合后的特征向量X作为质量回归模块3的输入，质量回归模块3的每个全连接层结合激活函数ReLU将特征向量X回归到失真图像的质量分数；图像质量评价模型共被训练120个周期，在每个周期内，将验证集输入到训练后的图像质量评价模型中；选择验证集中损失最小的模型作为最终模型。
(5)测试图像质量评价模型
将测试集的图像输入到训练好的图像质量评价模型中，得到最终的图像质量分数。
本发明采用对参考图像与失真图像进行图像差分，得到差分图，采用基于直方图对比度的显著性区域检测方法提取显著性图，每张差分图和显著性图裁剪成32×32像素大小的图像块输入图像质量评价模型；将提取的差分图像块特征和显著性图像块特征融合，能够更准确地预测失真图像的感知质量水平，与主观质量评价相一致。
实施例2
以在TID2013图像质量评价数据库中选取3000幅图像为例，本实施例的基于主观和客观特征融合的全参考图像质量评价方法由下述步骤组成(参见图1)：
(1)选择数据集
该步骤与实施例1相同。
(2)图像预处理
该步骤与实施例1相同。
(3)构建图像质量评价模型
图像质量评价模型包括特征提取模块1、特征向量融合模块2、质量回归模块3，特征提取模块1依次与特征向量融合模块2、质量回归模块3串联构成。
本实施例的特征提取模块1由10个卷积层和5个最大池化层组成，其中每串联的2个卷积层与1个最大池化层串联构成1个卷积池化单元，5个卷积池化单元依次串联构成特征提取模块1，卷积层的卷积核像素为3×3，滑动窗口的步长为1，最大池化层的核像素为2×2，滑动窗口的步长为2。特征提取模块1的具体参数见表2。
表2特征提取模块参数
类型 激活函数 输出尺寸 参数
巻积层1，巻积层2 LReLU 32×32×32 卷积核像素：3×3；卷积核个数：32
最大池化层1 - 16×16×32 核像素：2×2；步长：2×2
巻积层3，巻积层4 LReLU 16×16×64 卷积核像素：3×3；卷积核个数：64
最大池化层2 - 8×8×64 核像素：2×2；步长：2×2
巻积层5，C巻积层6 LReLU 8×8×128 卷积核像素：3×3；卷积核个数：128
最大池化层3 - 4×4×128 核像素：2×2；步长：2×2
巻积层7，巻积层8 LReLU 4×4×256 卷积核像素：3×3；卷积核个数：256
最大池化层4 - 2×2×256 核像素：2×2；步长：2×2
巻积层9，巻积层10 LReLU 2×2×256 卷积核像素：3×3；卷积核个数：512
最大池化层5 - 1×1×256 核像素：2×2；步长：2×2
本实施例的特征向量融合模块2由2个特征向量融合单元串联构成。
本实施例的质量回归模块3由3个全连接层串联构成。
(4)训练图像质量评价模型
用基于梯度的自适应矩估计优化器梯度的一阶矩估计方法和二阶矩估计方法自适应调整每个参数学习率，设置学习率为0.0001，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999。
训练集中的差分图像块和显著性图像块通过图像质量评价模型的特征提取模块1分别生成特征向量Ε和特征向量Σ：
Ε＝(ε1,ε2,…,ε512) (7)
εi＝(εi11)
Σ＝(σ1,σ2,…,σ512) (8)
σi＝(σi11)
其中，εi和σi是1×1的矩阵。
特征向量融合模块2对提取到的特征向量Ε和特征向量Σ进行特征融合，对特征向量Ε和特征向量Σ进行哈达玛积得到特征向量Φ如下：
Φ＝(φ1,φ2,…,φ512) (9)
φi＝(εi11σi11)
其中φi通过对εi和σi进行哈达玛积，即逐点像素相乘得到。
通过Φ连接到特征向量Ε和特征向量Σ构建成特征向量X
X＝concat(Ε,Σ,Φ) (6)
其中concat(.)表示将特征向量Ε、特征向量Σ、特征向量Φ按列串联。
将融合后的特征向量X作为质量回归模块3的输入，质量回归模块3的每个全连接层结合激活函数ReLU将特征向量X回归到失真图像的质量分数；图像质量评价模型共被训练120个周期，在每个周期内，将验证集输入到训练后的图像质量评价模型中；选择验证集中损失最小的模型作为最终模型。
其它步骤与实施例1相同。
为了验证本发明的有益效果，发明人在TID2013、CSIQ、LIVE图像质量评价数据库中分别选取3000、900、983幅图像，采用本发明实施例1的方法与峰值信噪比(简称为PSNR)、结构相似性(简称为SSIM)、特征相似性(简称为FSIMC)、deep similarity for imagequality assessment(简称为DeepSim)、deep learning of human vsual sensitivity inimage quality assessment framework(简称为DeepQA)、deep neural networks for no-reference and full-reference image quality assessment(简称为WaDIQaM-FR)、anovel just-noticeable-difference-based saliency-channel attention residualnetwork for full-reference image quality predictions(简称为JND-SalCAB)方法进行了对比仿真实验，
在仿真实验中，皮尔逊线相关系数PLCC和秩相关系数SROCC按下式确定：
Figure BDA0003173191860000091
Figure BDA0003173191860000101
其中N表示测试集图像数量，xi是第i幅图像的客观预测得分，yi是第i幅图像的主观评分，其中i＝(1,2,…,N)，
Figure BDA0003173191860000102
分别是数据库图像的主观分数和客观算法获得的质量分数的平均值，Rxi和Ryi分别表示xi和yi的排列次序。
实验和计算结果见表3。
表3实施例1方法与对比实验方法仿真实验结果
Figure BDA0003173191860000103
由表3可见，本发明方法在CISQ和LIVE数据库的实验结果，明显优于所有的全参考图像质量评价方法的实验结果，仅皮尔逊线相关系数值比TID2013数据集的实验结果比JND-SalCAB低0.8％，说明模型对不同数据集都有较好的质量预测结果；以高质量的图像特征数据作为图像质量评价模型输入，训练数据减少1/2以上，在有效改善图像评价性能的同时，图像质量评价模型架构也更加简单。

Claims (6)

1.一种基于主观和客观特征融合的全参考图像质量评价方法，其特征在于由下述步骤组成：
(1)选择数据集
将图像质量评价数据库中的参考图像和失真图像分为训练集、验证集、测试集，训练集图像为全部图像的80％，验证集图像为全部图像的10％，测试集图像为全部图像的10％，训练集与验证集、测试集之间没有重叠；
(2)图像预处理
对参考图像和失真图像进行图像差分，得到差分图；对失真图像采用直方图的对比度方法提取显著性图，对失真图像的图像I中每种颜色ci的显著性值Sci按式(1)确定：
Figure FDA0003173191850000011
其中n是不同颜色的像素数量，fj为图像中每种颜色cj出现的概率，D(ci,cj)是ci与cj之间的色差；
用相似颜色的显著性值Sci加权平均来代替每种颜色ci的显著性值Sci，选择m个最接近的颜色来细化图像I中颜色c的显著性值Sc，
Figure FDA0003173191850000012
Figure FDA0003173191850000013
其中T是颜色c与其m个最近邻颜色之间的度量之和，m取值为n/4，m不为1；
经过上述图像预处理后为图像中每一个像素分配相应颜色的显著性值Sc，生成显著性图；
将每张差分图和显著性图裁剪成32×32像素大小的图像块作为输入样本；
(3)构建图像质量评价模型
图像质量评价模型包括特征提取模块1、特征向量融合模块2、质量回归模块3，特征提取模块1依次与特征向量融合模块2、质量回归模块3串联构成；
(4)训练图像质量评价模型
用基于梯度的自适应矩估计优化器梯度的一阶矩估计方法和二阶矩估计方法自适应调整每个参数学习率，设置学习率为0.0001，一阶矩估计的指数衰减率为0.9，二阶矩估计的指数衰减率为0.999；
训练集中的差分图像块和显著性图像块通过图像质量评价模型的特征提取模块1分别生成特征向量Ε和特征向量Σ：
Ε＝(ε1,ε2,…,ε256) (3)
Figure FDA0003173191850000021
其中，εi和σi是2×2的矩阵；
特征向量融合模块2对提取到的特征向量Ε和特征向量Σ进行特征融合，对特征向量Ε和特征向量Σ进行哈达玛积得到特征向量Φ如下：
Φ＝(φ1,φ2,…,φ256) (5)
Figure FDA0003173191850000022
其中φi通过对εi和σi进行哈达玛积，即逐点像素相乘得到；
通过Φ连接到特征向量Ε和特征向量Σ构建成特征向量X:
X＝concat(Ε,Σ,Φ) (6)
其中concat(.)表示将特征向量Ε、特征向量Σ、特征向量Φ按列串联；
将融合后的特征向量X作为质量回归模块3的输入，质量回归模块3的每个全连接层结合激活函数ReLU将特征向量X回归到失真图像的质量分数；将图像质量评价模型训练至损失函数不再减小，在每个周期内，将验证集输入到训练后的图像质量评价模型中；选择验证集中损失最小的模型作为最终模型；
(5)测试图像质量评价模型
将测试集的图像输入到训练好的图像质量评价模型中，得到最终的图像质量分数。
2.根据权利要求1所述的基于主观和客观特征融合的全参考图像质量评价方法，其特征在于：在(3)构建图像质量评价模型步骤中，所述的特征提取模块1由卷积层和最大池化层组成，其中每串联的2个卷积层与1个最大池化层串联构成1个卷积池化单元，至少4个卷积池化单元依次串联构成特征提取模块1，卷积层的卷积核像素为3×3，滑动窗口的步长为1，最大池化层的核像素为2×2，滑动窗口的步长为2。
3.根据权利要求1或2所述的基于主观和客观特征融合的全参考图像质量评价方法，其特征在于：在(3)构建图像质量评价模型步骤中，所述的特征提取模块1由8个卷积层和4个最大池化层组成，其中每串联的2个卷积层与1个最大池化层串联构成1个卷积池化单元，4个卷积池化单元依次串联构成特征提取模块1，卷积层的卷积核像素为3×3，滑动窗口的步长为1，最大池化层的核像素为2×2，滑动窗口的步长为2。
4.根据权利要求1所述的基于主观和客观特征融合的全参考图像质量评价方法，其特征在于：在(3)构建图像质量评价模型步骤中，所述的特征向量融合模块2由2个特征向量融合单元串联构成。
5.根据权利要求1所述的基于主观和客观特征融合的全参考图像质量评价方法，其特征在于：在(3)构建图像质量评价模型步骤中，所述的质量回归模块3由至少2个全连接层串联构成。
6.根据权利要求1或5所述的基于主观和客观特征融合的全参考图像质量评价方法，其特征在于：在(3)构建图像质量评价模型步骤中，所述的质量回归模块3由2个全连接层串联构成。
CN202110824509.8A 2021-07-21 2021-07-21 基于主观和客观特征融合的全参考图像质量评价方法 Active CN113469998B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110824509.8A CN113469998B (zh) 2021-07-21 2021-07-21 基于主观和客观特征融合的全参考图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110824509.8A CN113469998B (zh) 2021-07-21 2021-07-21 基于主观和客观特征融合的全参考图像质量评价方法

Publications (2)

Publication Number Publication Date
CN113469998A true CN113469998A (zh) 2021-10-01
CN113469998B CN113469998B (zh) 2022-10-18

Family

ID=77881493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110824509.8A Active CN113469998B (zh) 2021-07-21 2021-07-21 基于主观和客观特征融合的全参考图像质量评价方法

Country Status (1)

Country Link
CN (1) CN113469998B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483918A (zh) * 2017-07-20 2017-12-15 天津大学 基于显著性的全参考立体图像质量评价方法
CN110033446A (zh) * 2019-04-10 2019-07-19 西安电子科技大学 基于孪生网络的增强图像质量评价方法
CN110458172A (zh) * 2019-08-16 2019-11-15 中国农业大学 一种基于区域对比度检测的弱监督图像语义分割方法
US20190362484A1 (en) * 2018-05-24 2019-11-28 Tfi Digital Media Limited Patch selection for neural network based no-reference image quality assessment
CN111882516A (zh) * 2020-02-19 2020-11-03 南京信息工程大学 一种基于视觉显著性和深度神经网络的图像质量评价方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483918A (zh) * 2017-07-20 2017-12-15 天津大学 基于显著性的全参考立体图像质量评价方法
US20190362484A1 (en) * 2018-05-24 2019-11-28 Tfi Digital Media Limited Patch selection for neural network based no-reference image quality assessment
CN110033446A (zh) * 2019-04-10 2019-07-19 西安电子科技大学 基于孪生网络的增强图像质量评价方法
CN110458172A (zh) * 2019-08-16 2019-11-15 中国农业大学 一种基于区域对比度检测的弱监督图像语义分割方法
CN111882516A (zh) * 2020-02-19 2020-11-03 南京信息工程大学 一种基于视觉显著性和深度神经网络的图像质量评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郭迎春等: "融合显著图和保真图的全参考图像质量评价", 《光电子激光》 *

Also Published As

Publication number Publication date
CN113469998B (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN109559276B (zh) 一种基于质量评价和特征统计的图像超分辨率重建方法
CN107633520A (zh) 一种基于深度残差网络的超分辨率图像质量评估方法
CN105913413B (zh) 一种基于在线流形学习的彩色图像质量客观评价方法
CN110599439A (zh) 用于训练神经网络的图像块的选择方法及图像质量评价方法
CN107743225B (zh) 一种利用多层深度表征进行无参考图像质量预测的方法
CN105357519B (zh) 基于自相似度特征的无参考立体图像质量客观评价方法
CN113554599B (zh) 一种基于人类视觉效应的视频质量评价方法
CN109523513A (zh) 基于稀疏重建彩色融合图像的立体图像质量评价方法
CN111353533A (zh) 基于多任务学习的无参考图像质量评价方法及系统
Hou et al. Saliency-guided deep framework for image quality assessment
CN114897742B (zh) 一种纹理和结构特征两次融合的图像修复方法
CN110717895A (zh) 基于置信分数的无参考图像质量评价方法
CN111882516B (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN109429051A (zh) 基于多视图特征学习的无参考立体视频质量客观评价方法
CN113658130A (zh) 基于双重孪生网络的无参考屏幕内容图像质量评估方法
CN117237279A (zh) 一种非均匀失真全景图像盲质量评价方法及系统
CN111539404A (zh) 一种基于结构线索的全参考图像质量评估方法
CN106023152B (zh) 一种无参考立体图像质量客观评价方法
Pham et al. End-to-end image patch quality assessment for image/video with compression artifacts
Yang et al. EHNQ: Subjective and objective quality evaluation of enhanced night-time images
CN111784694A (zh) 一种基于视觉注意力机制的无参考视频质量评价方法
CN113469998B (zh) 基于主观和客观特征融合的全参考图像质量评价方法
CN111127386B (zh) 一种基于深度学习的图像质量评价方法
CN115272203A (zh) 一种基于深度学习的无参考图像质量评价方法
CN115761356A (zh) 图像识别方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant