CN111127587A - 一种基于对抗生成网络的无参考图像质量地图生成方法 - Google Patents

一种基于对抗生成网络的无参考图像质量地图生成方法 Download PDF

Info

Publication number
CN111127587A
CN111127587A CN201911299146.XA CN201911299146A CN111127587A CN 111127587 A CN111127587 A CN 111127587A CN 201911299146 A CN201911299146 A CN 201911299146A CN 111127587 A CN111127587 A CN 111127587A
Authority
CN
China
Prior art keywords
map
graph
network
distortion
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911299146.XA
Other languages
English (en)
Other versions
CN111127587B (zh
Inventor
颜成钢
陈子阳
谷文玉
孙垚棋
张继勇
张勇东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201911299146.XA priority Critical patent/CN111127587B/zh
Publication of CN111127587A publication Critical patent/CN111127587A/zh
Application granted granted Critical
Publication of CN111127587B publication Critical patent/CN111127587B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于对抗生成网络的无参考图像质量地图生成方法。本发明在生成网络部分采用8个下采样和8个上采样的U‑net网络框架；在判别网络部分采用分类网络；在损失函数部分采用判别器的交叉熵加L1范数损失的方式；最后迭代训练出一个生成网络模型，通过该生成网络模型获取输入失真图的相似图，通过相似图，得到对应的质量分数。本发明无参考质量评价。通过使用训练好的神经网络框架，在没有自然图像的条件下对失真图像进行质量评价。解决了有权重问题的相似图的质量分数计算问题。基于对抗生成网络和U‑net，更有效的实现了图到图的转换和迁移。实验结果在图到图的实现中有较好的结果，且模拟到的质量分数和真实的质量分数有强烈相关性和较小误差。

Description

一种基于对抗生成网络的无参考图像质量地图生成方法
技术领域
本发明属于图像处理领域，提供一种基于对抗生成网络的无参考图像质量地图生成方法。涉及图像质量评价方法，而且涉及到深度学习中的生成对抗网络在图像质量评价中的应用。
背景技术
现如今，随着互联网技术以及通信技术的快速发展，数字图像已经成为人们日常生活中信息传递的重要方式。据统计，2011年以来，世界产生的数字照片总量达到上百亿张，而且这个数量还在逐年增长。然而，图像在采集、存储、压缩和传输等过程中容易受到不同种类的失真干扰，从而造成图像质量的降低。所以，如何准确、可靠地评价图像的质量成为当前及未来研究中一个重要的研究热点。通常，大多数图像是由人来观看，所以最可靠的图像质量评价方式是主观质量评价，即组织观看人员根据他们的经验来对图像的质量进行主观评分，然而，随着图像数量的增多，主观质量评价的实施变得困难，而且也无法应用于实时的图像处理系统中。所以，研究者们提出客观质量评价方法，通过设计客观算法来对图像的质量做出评价。
根据是否参考原始图像，现有的客观质量评价方法被分为三个类别，分别是全参考，部分参考和无参考质量评价方法。尽管目前针对这三类客观图像质量评价分别提出了大量的方法，但是客观质量评价的研究仍然不够成熟，主要表现在以下几个方面，第一，由于目前对人类视觉感知机制的理解不够深入，现有的基于度量信号失真的客观质量评价方法不能准确地模拟主观质量评价；第二，在无参考质量评价方法设计中，大多数方法仍然需要利用主观质量分数来训练质量评价模型；第三，在评价真实场景中的失真图像时，现有的客观算法的表现仍然不够理想。因此，建立一套可以准确反映人眼主观感受的立体图像质量客观评价机制具有深远意义。近年来，相关研究机构对平面图像质量评价算法进行了深入研究，如峰值信噪比(PSNR)、均方误差(MSE)、结构相似度(SSIM)等评价指标。然而平面图像中包含更多的因素，如深度图等。
近年来，深度学习成为机器学习和神经网络相关领域的研究热点，深度学习能够模拟人脑深层次处理数据的方式对原始数据内部结构和关系得到层次化的特征表示，因而经该预处理后的网络参数符合人脑的处理结果，训练后得到的网络稳定性和泛化能力也有一定的提高。
现有的无参考质量评价方法大多数属于主观质量分数已知的评价方法，此类方法通常需要大量的训练样本图像以及对应的主观分数来训练质量预测模型，相比之下，主观质量分数未知的无参考评价方法仍然较少而且已有方法的性能仍然不能与主观质量分数已知的方法相比。
发明内容
本发明的目的是针对现有技术的不足。提出了一种基于对抗生成网络的无参考图像质量地图生成方法，此方法针对网络中的生成器和损失函数做出创新。首先，在生成网络部分，我们采用8个下采样(downsampling)和8个上采样(upsampling)的U-net网络框架。在判别网络部分，我们采用简单的分类网络，损失函数部分，我们采用判别器的交叉熵加L1范数损失的方式。最后我们迭代训练出一个较好的生成网络模型，我们通过此网络，可以对输出图片，也就是失真图片进行相似图的生成。
生成网络模型具体设计如下：
3-1.生成网络：
3-1-1.使用拼接图Z1作为输入，大小为256×256，通道数为3；
3-1-2.通过1层卷积层，使大小为128×128，通道数变为64；
3-1-3.通过7层池化层，使大小为1×1，通道数变为512；
3-1-4.通过7层反卷积层，使大小变为128×128，通道数为128.
3-1-5.通过1层卷积层，使大小变为256×256，通道数为3；
3-1-6.在每一个对应的卷积和反卷积之间加上skip-connect；
3-2.判别网络
3-2-1.使用拼接图Z2作为输入，大小为256×256，通道数为6；
3-2-2.通过一层卷积层，使大小为128×128，通道数变为64；
3-2-3.通过三层卷积层，使大小为16×16，通道数变为512；
3-2-4.通过一层卷积层，使大小为32×32，通道数变为1；
3-2-5.Sigmoid后与32×32的全0或者全1矩阵作交叉熵，输出为损失；
所述的拼接图Z1是将已有失真图X和相似图Ⅰ左右拼接为一张图；
所述的拼接图Z2是将已有失真图X和相似图Ⅰ重叠拼接为一张图；
3-3.损失函数：
Figure BDA0002320817480000031
其中loss_GAN表示样本标签和判别器的输出之间的交叉熵；
Figure BDA0002320817480000032
代表生成器的预测图片和真实的相似图之间的L1距离：
Figure BDA0002320817480000033
M表示输入的相似图，G(x)表示生成器的输出。
所述的相似图Ⅰ的获取方式如下：
1-1.1-1.计算相似图Ⅰ：SSIM_MAP
1-1-1.计算亮度对比：
Figure BDA0002320817480000034
已知失真图X和自然图像Y，用
Figure BDA0002320817480000037
和
Figure BDA0002320817480000038
代表两幅图的亮度信息：
Figure BDA0002320817480000035
其中，xi,yi为分别为已知失真图X和自然图像Y的像素点值；
那么失真图X和自然图Y的亮度对比就表示为：
Figure BDA0002320817480000036
其中，C1是为了防止分母为0而设置的极小数；
1-1-2.计算对比度对比：C(x，y)
用σx和σy代表已知失真图X和自然图像Y的对比度信息：
Figure BDA0002320817480000041
那么失真图X和自然图Y的对比度对比就表示为：
Figure BDA0002320817480000042
其中C2是为了防止分母为0而设置的极小数；
1-1-3.计算结构性对比：S(x，y)
引入结构性信息公式：σxy
Figure BDA0002320817480000043
那么失真图X和自然图Y的结构性对比就表示为：
Figure BDA0002320817480000044
其中C3是为了防止分母为0而设置的极小数；
1-1-4.计算相似图
Figure BDA0002320817480000045
其中a、b、c为亮度、对比度和结构性的权重；失真图的质量分数MSSIM由SSIM_MAP求得：
MSSIM＝mean(SSIM_MAP)
其中，mean( )为取平均值操作。
所述的相似图Ⅰ的另一种获取方式如下：
1-2.计算相似图Ⅰ：FSIM_MAP
1-2-1.计算梯度图：G(x，y)
已知失真图X和自然图像Y，引入算子dx、dy：
Figure BDA0002320817480000046
失真图和自然图像都分别与两个算子进行卷积，并分别求取平方和的开根：
Figure BDA0002320817480000051
由GX和GY计算得到最后的梯度图G(x，y)
Figure BDA0002320817480000052
其中T1是为了防止分母为0而设置的极小数；
1-2-2.计算相位一致性映射图：PC(x，y)
失真图像X和自然图像Y都分别使用phasecong2( )函数计算出各自的相位一致图：PCX、PCY；
由PCX和PCY计算得到最后的相位一致性映射图PC(x，y)；
Figure BDA0002320817480000053
其中T2是为了防止分母为0而设置的极小数；
1-2-3.计算相似图
FSIM_MAP＝G(x，y)a*PC(x，y)b*PCm(x，y)
其中a、b、c为梯度图和相位一致性映射图的权重；PCm(x，y)为像素点的权重：PCm(x，y)＝max(PCX，PCY)；
为了在计质量分数的时候更方便有效，对相似图进行改进：
Figure BDA0002320817480000054
其中H和W分别为已有失真图X的长和宽；
失真图的质量分数MFSIM可以由FSIM_MAPNEW求得：
MFSIM＝mean(FSIM_MAPNEW)
其中mean()为取平均值操作。
本发明有益效果：
首先，本方法是无参考质量评价。通过使用训练好的神经网络框架，可以在没有自然图像(原图)的条件下对失真图像进行质量评价。
本方法解决了有权重问题的相似图的质量分数计算问题。
在无参考质量评价方法通常基于SVR(支持向量机)进行图像特征提取的情况下，本方法采用更有效的U-net神经网络进行特征提取。
在判别器通常针对整副图进行判别的情况下，本方法采用更有效的块判别方法，使得训练速度刚快，实验效果更好。
本方法基于对抗生成网络和U-net，更有效的实现了图到图的转换和迁移。实验结果不仅在图到图的实现中有较好的结果，而且模拟到的质量分数和真实的质量分数有强烈的相关性和较小的误差。
附图说明
图1为本发明示意图。
具体实施方式
下面对本发明作进一步说明。
如图1所示，一种基于对抗生成网络的无参考图像质量地图生成方法，首先要对图像进行预处理，得到失真图对应的相似图：SSIM_MAP和FSIM_MAP，然后训练一个基于U-net网络的神经网络框架，对训练后的网络输入失真图，可得到失真图的相似图，通过相似图，也就可以得到对应的质量分数。具体实现步骤如下：
步骤1：预处理得到相似图
1-1.计算相似图SSIM_MAP
1-1-1.计算亮度对比：
Figure BDA0002320817480000061
已知失真图X和自然图像Y，用
Figure BDA0002320817480000063
和
Figure BDA0002320817480000064
代表两幅图的亮度信息：
Figure BDA0002320817480000062
其中，xi,yi为分别为已知失真图X和自然图像Y的像素点值。
那么失真图X和自然图Y的亮度对比就可以表示为：
Figure BDA0002320817480000071
其中，C1是为了防止分母为0而设置的极小数。
1-1-2.计算对比度对比：C(x，y)
用σx和σy代表已知失真图X和自然图像Y的对比度信息：
Figure BDA0002320817480000072
那么失真图X和自然图Y的对比度对比就可以表示为：
Figure BDA0002320817480000073
其中C2是为了防止分母为0而设置的极小数。
1-1-3.计算结构性对比：S(x，y)
引入结构性信息公式：σxy
Figure BDA0002320817480000074
那么失真图X和自然图Y的结构性对比就可以表示为：
Figure BDA0002320817480000075
其中C3是为了防止分母为0而设置的极小数。
1-1-4.计算相似图
Figure BDA0002320817480000076
其中a、b、c为亮度、对比度和结构性的权重。
失真图的质量分数MSSIM可以由SSIM_MAP求得：
MSSIM＝mean(SSIM_MAP)
其中，mean()为取平均值操作。
1-2.计算相似图FSIM_MAP
1-2-1.计算梯度图：G(x，y)
已知失真图X和自然图像Y，引入算子dx、dy：
Figure BDA0002320817480000081
失真图和自然图像都分别与两个算子进行卷积，并分别求取平方和的开根：
Figure BDA0002320817480000082
由GX和GY计算得到最后的梯度图G(x，y)
Figure BDA0002320817480000083
其中T1是为了防止分母为0而设置的极小数。
1-2-2.计算相位一致性映射图：PC(x，y)
失真图像X和自然图像Y都分别使用phasecong2()函数计算出各自的相位一致图：PCX、PCY。
由PCX和PCY计算得到最后的相位一致性映射图PC(x，y)。
Figure BDA0002320817480000084
其中T2是为了防止分母为0而设置的极小数。
1-2-3.计算相似图
FSIM_MAP＝G(x，y)a*PC(x，y)b*PCm(x，y)
其中a、b、c为梯度图和相位一致性映射图的权重。PCm(x，y)为像素点的权重：PCm(x，y)＝max(PCX，PCY)。
为了在计质量分数的时候更方便有效，对相似图进行改进：
Figure BDA0002320817480000085
其中H和W分别为已有失真图X的长和宽。
失真图的质量分数MFSIM可以由FSIM_MAPNEW求得：
MFSIM＝mean(FSIM_MAPNEW)
其中mean()为取平均值操作。
步骤2：将已有失真图X和相似图SSIM_MAP(或相似图FSIM_MAPNEW)把两张图片左右拼接为一张拼接图Z；现在我们就只有失真图和相似图，没有自然图片。
步骤3：设计神经网络框架
3-1.生成网络：
3-1-1.使用拼接图Z作为输入，大小为256×256，通道数为3。
3-1-2.通过1层卷积层，使大小为128×128，通道数变为64。
3-1-3.通过7层池化层，使大小为1×1，通道数变为512。
3-1-4.通过7层反卷积层，使大小变为128×128，通道数为128.
3-1-5.通过1层卷积层，使大小变为256×256，通道数为3。
3-1-6.在每一个对应的卷积和反卷积之间加上skip-connect。
3-2.判别网络
3-2-1.把相似图SSIM_MAP(或相似图FSIM_MAP)和失真图重叠拼接到一起，大小为256×256，通道数为6。
3-2-2.通过一层卷积层，使大小为128×128，通道数变为64。
3-2-3.通过三层卷积层，使大小为16×16，通道数变为512。
3-2-4.通过一层卷积层，使大小为32×32，通道数变为1。
3-2-5.Sigmoid后与32×32的全0或者全1矩阵作交叉熵，输出为损失。
3-3.损失函数：
Figure BDA0002320817480000091
其中loss_GAN表示样本标签和判别器的输出之间的交叉熵。
Figure BDA0002320817480000092
代表生成器的预测图片和真实的相似图之间的L1距离：
Figure BDA0002320817480000093
M表示输入的相似图，G(x)表示生成器的输出。

Claims (4)

1.一种基于对抗生成网络的无参考图像质量地图生成方法，其特征在于：在生成网络部分采用8个下采样和8个上采样的U-net网络框架；在判别网络部分采用分类网络；在损失函数部分采用判别器的交叉熵加L1范数损失的方式；最后迭代训练出一个最优的生成网络模型，通过该生成网络模型获取输入失真图的相似图，通过相似图，得到对应的质量分数。
2.根据权利要求1所述的一种基于对抗生成网络的无参考图像质量地图生成方法，其特征在于生成网络模型具体设计如下：
3-1.生成网络：
3-1-1.使用拼接图Z1作为输入，大小为256×256，通道数为3；
3-1-2.通过1层卷积层，使大小为128×128，通道数变为64；
3-1-3.通过7层池化层，使大小为1×1，通道数变为512；
3-1-4.通过7层反卷积层，使大小变为128×128，通道数为128.
3-1-5.通过1层卷积层，使大小变为256×256，通道数为3；
3-1-6.在每一个对应的卷积和反卷积之间加上skip-connect；
3-2.判别网络
3-2-1.使用拼接图Z2作为输入，大小为256×256，通道数为6；
3-2-2.通过一层卷积层，使大小为128×128，通道数变为64；
3-2-3.通过三层卷积层，使大小为16×16，通道数变为512；
3-2-4.通过一层卷积层，使大小为32×32，通道数变为1；
3-2-5.Sigmoid后与32×32的全0或者全1矩阵作交叉熵，输出为损失；
所述的拼接图Z1是将已有失真图X和相似图Ⅰ左右拼接为一张图；
所述的拼接图Z2是将已有失真图X和相似图Ⅰ重叠拼接为一张图；
3-3.损失函数：
Figure FDA0002320817470000011
其中loss_GAN表示样本标签和判别器的输出之间的交叉熵；
Figure FDA0002320817470000012
代表生成器的预测图片和真实的相似图之间的L1距离：
Figure FDA0002320817470000021
M表示输入的相似图，G(x)表示生成器的输出。
3.根据权利要求2所述的一种基于对抗生成网络的无参考图像质量地图生成方法，其特征在于所述的相似图I的获取方式如下：
1-1.计算相似图I：SSIM_MAP
1-1-1.计算亮度对比：
Figure FDA0002320817470000022
已知失真图X和自然图像Y，用
Figure FDA0002320817470000023
和
Figure FDA0002320817470000024
代表两幅图的亮度信息：
Figure FDA0002320817470000025
其中，xi，yi为分别为已知失真图X和自然图像Y的像素点值；
那么失真图X和自然图Y的亮度对比就表示为：
Figure FDA0002320817470000026
其中，C1是为了防止分母为0而设置的极小数；
1-1-2.计算对比度对比：C(x，y)
用σx和σy代表已知失真图X和自然图像Y的对比度信息：
Figure FDA0002320817470000027
那么失真图X和自然图Y的对比度对比就表示为：
Figure FDA0002320817470000028
其中C2是为了防止分母为0而设置的极小数；
1-1-3.计算结构性对比：S(x，y)
引入结构性信息公式：σxy
Figure FDA0002320817470000031
那么失真图X和自然图Y的结构性对比就表示为：
Figure FDA0002320817470000032
其中C3是为了防止分母为0而设置的极小数；
1-1-4.计算相似图
SSIM_MAP＝￡(x，y)a*C(x，y)b*S(x，y)c
其中a、b、c为亮度、对比度和结构性的权重；
失真图的质量分数MSSIM由SSIM_MAP求得：
MSSIM＝mean(SSIM_MAP)
其中，mean()为取平均值操作。
4.根据权利要求2所述的一种基于对抗生成网络的无参考图像质量地图生成方法，其特征在于所述的相似图I的另一种获取方式如下：
1-2.计算相似图I：FSIM_MAP
1-2-1.计算梯度图：G(x，y)
已知失真图X和自然图像Y，引入算子dx、dy：
Figure FDA0002320817470000033
失真图和自然图像都分别与两个算子进行卷积，并分别求取平方和的开根：
Figure FDA0002320817470000034
由GX和GY计算得到最后的梯度图G(x，y)
Figure FDA0002320817470000035
其中T1是为了防止分母为0而设置的极小数；
1-2-2.计算相位一致性映射图：PC(x，y)
失真图像X和自然图像Y都分别使用phasecong2()函数计算出各自的相位一致图：PCX、PCY；
由PCX和PCY计算得到最后的相位一致性映射图PC(x，y)；
Figure FDA0002320817470000041
其中T2是为了防止分母为0而设置的极小数；
1-2-3.计算相似图
FSIM_MAP＝G(x，y)a*PC(x，y)b*PCm(x，y)
其中a、b、c为梯度图和相位一致性映射图的权重；PCm(x，y)为像素点的权重：PCm(x，y)＝max(PCX，PCY)；
为了在计质量分数的时候更方便有效，对相似图进行改进：
Figure FDA0002320817470000042
其中H和W分别为已有失真图X的长和宽；
失真图的质量分数MFSIM可以由FSIM_MAPNEW求得：
MFSIM＝mean(FSIM_MAPNEW)
其中mean()为取平均值操作。
CN201911299146.XA 2019-12-16 2019-12-16 一种基于对抗生成网络的无参考图像质量地图生成方法 Active CN111127587B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911299146.XA CN111127587B (zh) 2019-12-16 2019-12-16 一种基于对抗生成网络的无参考图像质量地图生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911299146.XA CN111127587B (zh) 2019-12-16 2019-12-16 一种基于对抗生成网络的无参考图像质量地图生成方法

Publications (2)

Publication Number Publication Date
CN111127587A true CN111127587A (zh) 2020-05-08
CN111127587B CN111127587B (zh) 2023-06-23

Family

ID=70499171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911299146.XA Active CN111127587B (zh) 2019-12-16 2019-12-16 一种基于对抗生成网络的无参考图像质量地图生成方法

Country Status (1)

Country Link
CN (1) CN111127587B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546848A (zh) * 2022-10-26 2022-12-30 南京航空航天大学 一种对抗生成网络训练方法、跨设备掌纹识别方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345891A (zh) * 2008-08-25 2009-01-14 重庆医科大学 基于信息熵和对比度的无参考图像质量评价方法
WO2016197026A1 (en) * 2015-06-05 2016-12-08 Sony Corporation Full reference image quality assessment based on convolutional neural network
CN107016708A (zh) * 2017-03-24 2017-08-04 杭州电子科技大学 一种基于深度学习的图像哈希编码方法
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
US9953437B1 (en) * 2017-10-18 2018-04-24 StradVision, Inc. Method and device for constructing a table including information on a pooling type and testing method and testing device using the same
CN108074239A (zh) * 2017-12-30 2018-05-25 中国传媒大学 一种基于先验感知质量特征图的无参考图像质量客观评价方法
CN108090902A (zh) * 2017-12-30 2018-05-29 中国传媒大学 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法
CN108648188A (zh) * 2018-05-15 2018-10-12 南京邮电大学 一种基于生成对抗网络的无参考图像质量评价方法
US20180373999A1 (en) * 2017-06-26 2018-12-27 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer
CN109872305A (zh) * 2019-01-22 2019-06-11 浙江科技学院 一种基于质量图生成网络的无参考立体图像质量评价方法
CN110415207A (zh) * 2019-04-30 2019-11-05 杭州电子科技大学 一种基于图像失真类型的图像质量评估的方法
US20190362484A1 (en) * 2018-05-24 2019-11-28 Tfi Digital Media Limited Patch selection for neural network based no-reference image quality assessment
CN110516716A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于多分支相似度网络的无参考图像质量评价方法
CN110570353A (zh) * 2019-08-27 2019-12-13 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101345891A (zh) * 2008-08-25 2009-01-14 重庆医科大学 基于信息熵和对比度的无参考图像质量评价方法
WO2016197026A1 (en) * 2015-06-05 2016-12-08 Sony Corporation Full reference image quality assessment based on convolutional neural network
US20180075581A1 (en) * 2016-09-15 2018-03-15 Twitter, Inc. Super resolution using a generative adversarial network
CN107016708A (zh) * 2017-03-24 2017-08-04 杭州电子科技大学 一种基于深度学习的图像哈希编码方法
US20180373999A1 (en) * 2017-06-26 2018-12-27 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer
US9953437B1 (en) * 2017-10-18 2018-04-24 StradVision, Inc. Method and device for constructing a table including information on a pooling type and testing method and testing device using the same
CN108090902A (zh) * 2017-12-30 2018-05-29 中国传媒大学 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法
CN108074239A (zh) * 2017-12-30 2018-05-25 中国传媒大学 一种基于先验感知质量特征图的无参考图像质量客观评价方法
CN108648188A (zh) * 2018-05-15 2018-10-12 南京邮电大学 一种基于生成对抗网络的无参考图像质量评价方法
US20190362484A1 (en) * 2018-05-24 2019-11-28 Tfi Digital Media Limited Patch selection for neural network based no-reference image quality assessment
CN109872305A (zh) * 2019-01-22 2019-06-11 浙江科技学院 一种基于质量图生成网络的无参考立体图像质量评价方法
CN110415207A (zh) * 2019-04-30 2019-11-05 杭州电子科技大学 一种基于图像失真类型的图像质量评估的方法
CN110516716A (zh) * 2019-08-05 2019-11-29 西安电子科技大学 基于多分支相似度网络的无参考图像质量评价方法
CN110570353A (zh) * 2019-08-27 2019-12-13 天津大学 密集连接生成对抗网络单幅图像超分辨率重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
YI ZHANG ET.AL: "Learing nutural staticstics of binocular contrast for no reference quality assessment of stereoscopic images" *
卢鹏;林根巧;邹国良;: "基于信息熵和深度学习的无参考图像质量评价方法研究", 计算机应用研究 *
卢鹏等: "基于信息熵和深度学习的无参考图像质量评价方法研究" *
杨鹏等: "基于机器学习的无参考图像质量评价综述" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546848A (zh) * 2022-10-26 2022-12-30 南京航空航天大学 一种对抗生成网络训练方法、跨设备掌纹识别方法及系统
CN115546848B (zh) * 2022-10-26 2024-02-02 南京航空航天大学 一种对抗生成网络训练方法、跨设备掌纹识别方法及系统

Also Published As

Publication number Publication date
CN111127587B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
Ying et al. From patches to pictures (PaQ-2-PiQ): Mapping the perceptual space of picture quality
CN109671023B (zh) 一种人脸图像超分辨率二次重建方法
TWI709107B (zh) 影像特徵提取方法及包含其顯著物體預測方法
Gu et al. Multiscale natural scene statistical analysis for no-reference quality evaluation of DIBR-synthesized views
CN108875935B (zh) 基于生成对抗网络的自然图像目标材质视觉特征映射方法
CN111488865B (zh) 图像优化方法、装置、计算机存储介质以及电子设备
CN102243711B (zh) 一种基于邻域嵌套的图像超分辨率重建方法
Pan et al. MIEGAN: Mobile image enhancement via a multi-module cascade neural network
CN111161360A (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN111178121B (zh) 基于空间特征和深度特征强化技术的害虫图像定位识别方法
CN111047543A (zh) 图像增强方法、装置和存储介质
Niu et al. Siamese-network-based learning to rank for no-reference 2D and 3D image quality assessment
CN113096015B (zh) 基于渐进式感知和超轻量级网络的图像超分辨率重建方法
CN109615576B (zh) 基于级联回归基学习的单帧图像超分辨重建方法
CN110910347A (zh) 一种基于图像分割的色调映射图像无参考质量评价方法
CN111127386B (zh) 一种基于深度学习的图像质量评价方法
CN111127587B (zh) 一种基于对抗生成网络的无参考图像质量地图生成方法
CN111401209B (zh) 一种基于深度学习的动作识别方法
Han Texture Image Compression Algorithm Based on Self‐Organizing Neural Network
CN116823647A (zh) 基于快速傅里叶变换和选择性注意力机制的图像补全方法
CN111127392B (zh) 一种基于对抗生成网络的无参考图像质量评价方法
CN116563133A (zh) 基于模拟曝光和多尺度融合的低照度彩色图像增强方法
Ling et al. Gans-nqm: A generative adversarial networks based no reference quality assessment metric for rgb-d synthesized views
CN110020986A (zh) 基于欧氏子空间群两重映射的单帧图像超分辨率重建方法
CN115619974A (zh) 基于改进PatchMatch网络的大型场景三维重建方法、重建装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant