CN113052801A - 一种基于深度和局部相似度的图像质量评价方法 - Google Patents

一种基于深度和局部相似度的图像质量评价方法 Download PDF

Info

Publication number
CN113052801A
CN113052801A CN202110265401.XA CN202110265401A CN113052801A CN 113052801 A CN113052801 A CN 113052801A CN 202110265401 A CN202110265401 A CN 202110265401A CN 113052801 A CN113052801 A CN 113052801A
Authority
CN
China
Prior art keywords
depth
scores
image
local similarity
dls
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110265401.XA
Other languages
English (en)
Inventor
杨嘉琛
兰贵鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202110265401.XA priority Critical patent/CN113052801A/zh
Publication of CN113052801A publication Critical patent/CN113052801A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度和局部相似度的图像质量评价方法，包括下列步骤：将失真图像和原始图像输入到两个独立的VGG‑F网络中，得到失真图像和原始图像的深度特征图；将失真图像和原始图像的深度特征图用进行卷积运算，得到边缘图；将失真图像的各卷积层输出的边缘图和原始图像的相对应的卷积层输出的边缘图进行局部比较，得到二者的相似度，计算各自的深度和局部相似度图；通过均值及其标准差池化，将深度和局部相似度DLS图的深度分数和局部相似度分数池化为深度特征级分数；将VGG‑F网络中某一卷积层中多个深度特征级分数合并为一个层级别分数，并将这些层级别分数合并得到整体质量分数示。

Description

一种基于深度和局部相似度的图像质量评价方法
技术领域
本发明属于数字图像处理领域，涉及一种新型的彩色图像质量评价方法。
背景技术
随着互联网和各种电子设备的飞速发展，每秒都产生成千上万的彩色图像。图像在采集、压缩、处理、传输等过程中不可避免地会因各种类型的失真而退化。因此，了解图像质量的下降程度对后续的处理是有帮助的。
根据失真图像的原始图像的可用性，图像质量评价可分为全参考(Full-Reference,FR)、半参考(Reduced-Reference,RR)和无参考(No-Reference,NR)。FR算法需要原始图像和失真图像来预测质量的下降程度，RR算法只应用了参考图像的部分信息。而NR算法实在不提供原始图像的情况下，对失真的图像进行质量预测。本发明属FR算法。
关于全参考图像质量评价的有意义的研究，从Wang和Bovik等人的通用质量指数开始[2]。随后，Wang等人基于人类视觉系统(HVS)对提取场景的结构信息高度敏感的假设，提出了结构相似性指数(SSIM)[3]。Zhang和Li等人发现了视觉显著图与感知预测相似，提出了基于频谱残差的相似度(SR-SIM)[4]。Zhang等人将SR-SIM扩展为基于视觉显著的索引，进一步解决了彩色图像质量下降的问题[5]。Bosse等人提出了基于卷积神经网络(CNN)的全参考图像质量评价算法[6]。Gao等人开发了深度相似度(DeepSim)，用于测量失真图像深度特征图和原始图像深度特征图之间的相似性[7]。
参考文献：
[1]J.Harel,C.Koch,and P.Perona,“Graph-based visual saliency,”inAdvances in neural information processing systems,2007,pp.545–552.
[2]Z.Wang and A.C.Bovik,“A universal image quality index,”IEEE signalprocessing letters,vol.9,no.3,pp.81–84,2002.
[3]Z.Wang,A.C.Bovik,H.R.Sheikh,E.P.Simoncelli et al.,“Image qualityassessment:from error visibility to structural similarity,”IEEE transactionson image processing,vol.13,no.4,pp.600–612,2004.
[4]L.Zhang and H.Li,“Sr-sim:A fast and high performance iqa indexbased on spectral residual,”in 2012 19th IEEE international conference onimage processing.IEEE,2012,pp.1473–1476.
[5]L.Zhang,Y.Shen,and H.Li,“Vsi:A visual saliency-induced index forperceptual image quality assessment,”IEEE Transactions on Image Processing,vol.23,no.10,pp.4270–4281,2014.
[6]S.Bosse,D.Maniry,K.-R.Müller,T.Wiegand,and W.Samek,“Deep neuralnetworks for no-reference and full-reference image qualityassessment,”IEEETransactions on Image Processing,vol.27,no.1,pp.206–219,2017.
[7]F.Gao,Y.Wang,P.Li,M.Tan,J.Y u,and Y.Zhu,“Deepsim:Deep similarityfor image quality assessment,”Neurocomputing,vol.257,pp.104–114,2017.
发明内容
本发明的目的是提供一种可以对彩色图像的质量，基于深度和局部相似度的均值及其标准差的图像质量评价(Mean and Deviation of Deep and Local Similarity forImage Quality Assessment,MaD-DLS)方法。本发明的实质性特点使是：(1)使用由卷积滤波器产生的深度特征图,有助于根据视觉显著性来池化原始图像特征图和失真图像特征图之间的深度和局部相似性。(2)与之前的方法相比，MaD-DLS既考虑了HVS的注意力对图像质量评价的影响，又考虑了图像中失真分布对图像质量评价的影响。技术方案如下：
一种基于深度和局部相似度的图像质量评价方法，包括下列步骤：
第一步：将失真图像和原始图像输入到两个独立的VGG-F网络中，得到失真图像和原始图像的深度特征图；其中，所采用的VGG-F网络为在ImageNet数据集上进行预训练之后的VGG-F网络，深度特征图是VGG-F网络每层卷积层的输出。
第二步：将第一步得到的失真图像和原始图像的深度特征图用Prewitt算子进行卷积运算，得到边缘图；
第三步：将第二步得到的失真图像的各卷积层输出的边缘图和原始图像的相对应的卷积层输出的边缘图进行局部比较，得到二者的相似度，计算各自的深度和局部相似度DLS图；
第四步：通过均值及其标准差MaD池化，将深度和局部相似度DLS图的深度分数和局部相似度分数池化为深度特征级分数，用QDF表示。
第五步：将VGG-F网络中某一卷积层中多个深度特征级分数QDF合并为一个层级别分数，用Qlayer表示，并将这些层级别分数合并得到整体质量分数，用Q表示。
进一步地，第四步通过均值及其标准差MaD池化，将深度和局部相似度DLS图的深度分数和局部相似度分数池化为深度特征级分数，方法如下：
第一步：计算DLS图的加权平均值，用QM表示：
Figure BDA0002971449710000021
其中DLS(x,y)为深度和局部相似度图，VS(x,y)为根据原始图像得到的视觉显著图；
第二步：计算DLS图的标准差，用QD表示，
第三步：通过自适应几何均值将QM和QD合并为深度特征级分数QDF：
QDF＝(QM)ω·(QD)1-ω
其中ω＝(QD)β，取β＝2。
进一步地，第五步通过将深度特征分数合并为层级别分数，层级别分数再合并得到整体的分数，其方法如下：
第一步：由VGG-F网络中某一卷积层获得的深度和局部相似度图计算出相应的深度特征级别分数，再将其合并为一个层级别分数，用
Figure BDA0002971449710000031
表示：
Figure BDA0002971449710000032
其中
Figure BDA0002971449710000033
为第i层的质量分数，F(i)为第i层中的深度和局部相似度DLS图的数量；
第二步：将层级别分数的平均值作为失真图像的整体质量得分，用Q表示：
Figure BDA0002971449710000034
其中L为卷积层的个数。
本发明所提出的新型的彩色图像质量评价方法是基于深度和局部相似度的均值及其标准差。与DeepSim有所不同，本方法使用的是由卷积滤波器产生的深度特征图，这包含了输入到CNN的图像位置信息。本发明所提出的基于深度和局部相似度的均值及其标准差(MaD-DLS)的图像质量评价方法使用由卷积滤波器产生的深度特征图,与DeepSim有所不同，其中包含输入到CNN的图像位置信息。因此，与DeepSim相比，本发明提出的方法有助于根据视觉显著性来池化原始图像特征图和失真图像特征图之间的深度和局部相似性。除此之外，与之前的方法相比，MaD-DLS既考虑了HVS的注意力对图像质量评价的影响，又考虑了图像中失真分布对图像质量评价的影响。在四个数据库计算的斯皮尔曼秩相关系数(SROCC)的加权平均值，本发明所提出的新型彩色图像质量评价方法具有最佳效果。如图3所示为：我们可以观察到，MaD-DLS的预测分数沿拟合逻辑函数的曲线紧密分布。这意味着MaD-DLS的预测分数与主观分数高度相关。为了全面评估算法的性能，我们针对四个数据库计算了斯皮尔曼秩相关系数(SROCC)的加权平均值。权重由数据库中的样本数确定。如图4所示，MaD-DLS排名第一。
附图说明：
图1本发明所提方法MaD-DLS框图
图2计算QDF的框图
图3部分实验结果图(TID2013数据库上图像质量评价算法的主观得分与客观得分的散点图)
(a)通过SSIM的客观得分 (b)通过SR-SIM的客观得分
(c)通过基于视觉显着性的指数的客观得分 (d)通过MaD-DLS的客观得分
图4各种算法的SROCC加权平均值
具体实施方式
本发明是一种可以对彩色图像的质量，基于深度和局部相似度的均值及其标准差的图像质量评价(Mean and Deviation of Deep and Local Similarity for ImageQuality Assessment,MaD-DLS)方法。本发明提出的新型彩色的图像质量评价框架，包括通过卷积得到失真图像和原始图像相应的深度特征图、将特征图通过Prewitt算子进行卷积运算得到边缘图、将失真图像的边缘图和原始图像的边缘图进行局部比较计算DLS图、通过均值及其标准差池化将DLS图的深度分数和局部相似度分数池化为深度特征级分数、将某一卷积层中多个深度特征级分数合并为一个层级别分数再将各卷积层得出的层级别分数合并得到整体质量分数等步骤。
本发明的基于深度和局部相似度的新型彩色图像质量评价方法，包括下列步骤：
第一步：将失真图像和原始图像输入到两个独立的VGG-F网络中，得到失真图像和原始图像的深度特征图(即经过五层卷积层卷积后，每层卷积层分别得到的结果，如图1所示)。
其中，VGG-F网络先在ImageNet数据集上进行预训练，再应用到本发明提出的网络结构中。输入到网路的失真图像和原始图像没有进行重新裁剪，而是通过将去平均RGB值对图像进行归一化。
失真图像和原始图像的深度特征图从VGG-F的5层卷积提取出来，在所有深度特征图中，64/s、256/s、256/s、256/s、256/s深度特征图被选作为后续处理的数据。其中，s代表深度特征图的采样率，目的是为了在一定程度上减少深度特征图中可能存在的冗余。
第二步：将失真图像和原始图像的深度特征图用Prewitt算子进行卷积运算，得到边缘图。
其中，水平和垂直方向检测的Prewitt算子分别为：
Figure BDA0002971449710000041
通过下式计算出失真图像或原始图像的边缘图：
Figure BDA0002971449710000042
其中，I(x,y)为失真图像或者原始图像。
第三步：将失真图像的边缘图和原始图像的边缘图进行局部比较，得到二者的相似度，计算深度和局部相似度(DLS)图。具体的流程图如图1的左部分所示。
DLS图的定义如下式所示：
Figure BDA0002971449710000043
其中Eo(x,y)、Ed(x,y)分别代表原始图像和失真图像的边缘图。C为用于确保稳定性的正常数，取C＝170。DLS图中的每个元素表示深度和局部质量得分，该值∈(0,1]，且越靠近1表示质量越好。通过前三步可以得到本发明所提方法计算得出的DLS图。
第四步：通过均值及其标准差(MaD)池化，将深度和局部相似度图的深度分数和局部相似度分数池化为深度特征级分数，用QDF表示。具体计算流程框图如图2所示。
通过MaD池化将深度和局部相似度分数池化为QDF，其方法如下：
(1)计算DLS图的加权平均值，用QM表示：
Figure BDA0002971449710000051
其中DLS(x,y)为经过前三步计算得出的深度和局部相似度图。VS map是以原始图像作为输入，通过一种较为通用的基于图的视觉显著模型(GBVS)[1]得到的视觉显著图，本实施例采用的是文献[1]中的视觉显著模型(GBVS)，而式中的VS(x,y)则是VS map经过下采样得到的与DLS(x,y)分辨率一致的视觉显著图。
(2)计算DLS图的标准差，标准差的值为[0,∞)，为了将标准差的值映射到0到1的范围内，这里使用指数函数。得到的表标准差的值用QD表示：
QD＝αstd(DLS(x,y))
其中std(DLS(x,y))为DLS图的标准差，取
Figure BDA0002971449710000052
(3)通过自适应几何均值将QM和QD合并为深度特征级分数QDF：
QDF＝(QM)ω·(QD)1-ω
其中ω＝(QD)β，取β＝2
第五步：将VGG-F网络中某一卷积层中多个深度特征级分数(QDF)合并为一个层级别分数，用Qlayer表示。并将这些层级别分数合并得到整体质量分数，用Q表示。
步骤五通过将QDF并为Qlayer，Qlayer再合并为Q，其方法如下：
(1)由VGG-F网络中某一卷积层获得的DLS图计算出的QDF，将其合并为一个Qlayer，用
Figure BDA0002971449710000053
表示：
Figure BDA0002971449710000054
其中
Figure BDA0002971449710000055
为第i层的质量分数，F(i)为第i层中的深度和局部相似度图的数量。
(2)将Qlayer的平均值作为失真图像的整体质量得分，用Q表示：
Figure BDA0002971449710000056
其中L为卷积层的个数。

Claims (3)

1.一种基于深度和局部相似度的图像质量评价方法，包括下列步骤：
第一步：将失真图像和原始图像输入到两个独立的VGG-F网络中，得到失真图像和原始图像的深度特征图；其中，所采用的VGG-F网络为在ImageNet数据集上进行预训练之后的VGG-F网络，深度特征图是VGG-F网络每层卷积层的输出。
第二步：将第一步得到的失真图像和原始图像的深度特征图用Prewitt算子进行卷积运算，得到边缘图；
第三步：将第二步得到的失真图像的各卷积层输出的边缘图和原始图像的相对应的卷积层输出的边缘图进行局部比较，得到二者的相似度，计算各自的深度和局部相似度DLS图；
第四步：通过均值及其标准差MaD池化，将深度和局部相似度DLS图的深度分数和局部相似度分数池化为深度特征级分数，用QDF表示。
第五步：将VGG-F网络中某一卷积层中多个深度特征级分数QDF合并为一个层级别分数，用Qlayer表示，并将这些层级别分数合并得到整体质量分数，用Q表示。
2.根据权利要求1所述的质量评价的方法，其特征在于：第四步通过均值及其标准差MaD池化，将深度和局部相似度DLS图的深度分数和局部相似度分数池化为深度特征级分数，方法如下：
第一步：计算DLS图的加权平均值，用QM表示：
Figure FDA0002971449700000011
其中DLS(x,y)为深度和局部相似度图，VS(x,y)为根据原始图像得到的视觉显著图；
第二步：计算DLS图的标准差，用QD表示，
第三步：通过自适应几何均值将QM和QD合并为深度特征级分数QDF：
QDF＝(QM)ω·(QD)1-ω
其中ω＝(QD)β，取β＝2。
3.根据权利要求1所述的质量评价的方法，其特征在于：第五步通过将深度特征分数合并为层级别分数，层级别分数再合并得到整体的分数，其方法如下：
第一步：由VGG-F网络中某一卷积层获得的深度和局部相似度图计算出相应的深度特征级别分数，再将其合并为一个层级别分数，用
Figure FDA0002971449700000012
表示：
Figure FDA0002971449700000013
其中
Figure FDA0002971449700000014
为第i层的质量分数，F(i)为第i层中的深度和局部相似度DLS图的数量；
第二步：将层级别分数的平均值作为失真图像的整体质量得分，用Q表示：
Figure FDA0002971449700000015
其中L为卷积层的个数。
CN202110265401.XA 2021-03-11 2021-03-11 一种基于深度和局部相似度的图像质量评价方法 Pending CN113052801A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110265401.XA CN113052801A (zh) 2021-03-11 2021-03-11 一种基于深度和局部相似度的图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110265401.XA CN113052801A (zh) 2021-03-11 2021-03-11 一种基于深度和局部相似度的图像质量评价方法

Publications (1)

Publication Number Publication Date
CN113052801A true CN113052801A (zh) 2021-06-29

Family

ID=76511411

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110265401.XA Pending CN113052801A (zh) 2021-03-11 2021-03-11 一种基于深度和局部相似度的图像质量评价方法

Country Status (1)

Country Link
CN (1) CN113052801A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074239A (zh) * 2017-12-30 2018-05-25 中国传媒大学 一种基于先验感知质量特征图的无参考图像质量客观评价方法
CN109671063A (zh) * 2018-12-11 2019-04-23 西安交通大学 一种基于深度网络特征间重要性的图像质量评估方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108074239A (zh) * 2017-12-30 2018-05-25 中国传媒大学 一种基于先验感知质量特征图的无参考图像质量客观评价方法
CN109671063A (zh) * 2018-12-11 2019-04-23 西安交通大学 一种基于深度网络特征间重要性的图像质量评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KYOHOON SIM 等: "MaD-DLS: Mean and Deviation of Deep and Local Similarity for Image Quality Assessment", IEEE *

Similar Documents

Publication Publication Date Title
CN110992275B (zh) 一种基于生成对抗网络的细化单幅图像去雨方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN112419242B (zh) 基于自注意力机制gan网络的无参考图像质量评价方法
Starovoytov et al. Comparative analysis of the SSIM index and the pearson coefficient as a criterion for image similarity
CN111160407B (zh) 一种深度学习目标检测方法及系统
CN110751612A (zh) 多通道多尺度卷积神经网络的单幅图像去雨方法
CN109685772B (zh) 一种基于配准失真表示的无参照立体图像质量评估方法
CN115330623A (zh) 一种基于生成对抗网络的图像去雾模型的构建方法和系统
CN108830829B (zh) 联合多种边缘检测算子的无参考质量评价算法
CN113313702A (zh) 基于边界约束与颜色校正的航拍图像去雾方法
CN107944497A (zh) 基于主成分分析的图像块相似性度量方法
CN112348762A (zh) 一种基于多尺度融合生成对抗网络的单幅图像去雨方法
CN113298763B (zh) 一种基于显著性窗口策略的图像质量评估方法
CN118229548A (zh) 基于渐进多分支和改进UNet3+深监督的红外与可见光图像融合方法
CN108629771B (zh) 一种具有尺度鲁棒性的图像质量盲评价方法
Yang et al. Latitude and binocular perception based blind stereoscopic omnidirectional image quality assessment for VR system
Ma et al. No-reference image quality assessment based on multi-task generative adversarial network
Yang et al. Image decomposition-based structural similarity index for image quality assessment
CN116309170A (zh) 一种输电线路巡检图像去雾方法和装置
CN108776958B (zh) 混合降质图像的图像质量评价方法和装置
Xie et al. DHD-Net: A novel deep-learning-based dehazing network
CN113052801A (zh) 一种基于深度和局部相似度的图像质量评价方法
CN114862762A (zh) 人体扫描图像的质量评估方法及其装置
Tang et al. Structure–texture decomposition-based dehazing of a single image with large sky area
CN112669225A (zh) 基于结构分解的水下图像增强方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210629