CN110516716B - 基于多分支相似度网络的无参考图像质量评价方法 - Google Patents

基于多分支相似度网络的无参考图像质量评价方法 Download PDF

Info

Publication number
CN110516716B
CN110516716B CN201910718234.2A CN201910718234A CN110516716B CN 110516716 B CN110516716 B CN 110516716B CN 201910718234 A CN201910718234 A CN 201910718234A CN 110516716 B CN110516716 B CN 110516716B
Authority
CN
China
Prior art keywords
branch
similarity
convolution
network
similarity network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910718234.2A
Other languages
English (en)
Other versions
CN110516716A (zh
Inventor
路文
周自衡
何维佺
韩士帅
何立火
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Lianrong Technology Co ltd
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201910718234.2A priority Critical patent/CN110516716B/zh
Publication of CN110516716A publication Critical patent/CN110516716A/zh
Application granted granted Critical
Publication of CN110516716B publication Critical patent/CN110516716B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于多分支相似度网络的无参考图像质量评价方法，其步骤为：构建多分支卷积模块和相似度融合模块，构建多分支相似度网络，生成无参考的训练数据集和测试数据集，训练多分支卷积特征相似度网络，输出测试集中每张失真图像的质量评价分数值。本发明多分支卷积模块自适应提取图像的分层特征，通过相似度融和降低图像特征与图像内容的相关性，具有评价无参考图像质量时结果更加准确、应用场景更广泛的优点。

Description

基于多分支相似度网络的无参考图像质量评价方法
技术领域
本发明属于图像处理技术领域，更进一步涉及图像质量评价技术领域中的一种基于多分支特征相似度网络的无参考图像质量评价方法。本发明可用于自动评价没有原始参考图像的数字图像的失真程度。
背景技术
随着成像设备的普及和信息技术的发展，数字图像已经成为了一种主要的信息载体，在越来越多的应用场合被处理、传递、存储以及重构。但是，这些过程中不可避免的会引入噪声导致图像失真，一幅“干净”的图像被噪声污染后，会降低人眼感知的舒适度，甚至影响人们对图像内容的正确理解。因此，图像的感知质量是比较各种数字图像处理算法性能优劣以及描述图像视觉体验的重要指标。无参考图像质量评价是指不需要任何参考信息，只将失真图像作为输入进行评估，建立预测的质量值与人的主观评价一致的数学模型。在实际应用场景中我们无法得到参考图像，如相机捕捉的模糊的运动场景，真实拍摄的欠曝光夜景图像，因此无参考图像质量评价具有更实际的应用场景和更大挑战性。
宁波大学在其拥有的专利技术“一种基于深度学习的无参考图像质量客观评价方法”(申请号：2015105233731，授权公告号：CN105208374B)中公开了一种基于堆栈自编码器的无参考图像质量评价方法。该专利技术主要解决传统方法特征不稀疏的问题。该专利技术实现步骤为：(1)利用多分辨率金字塔和高斯差分分解方法，从空域提取自然统计特征；(2)构建深度稀疏堆栈自编码器学习所提取的自然场景统计特征的深度表征；(3)通过支持向量机将经过深度表征映射为图像的质量分数。该专利技术虽然改进了传统的无参考图像质量评价技术，通过深度堆栈自编码器获取了更稀疏的质量感知特征。但是，该方法仍然存在的不足之处是，使用了手工提取的统计特征表达能力不强，难以自适应表征各种场景的失真图像质量，且最终预测的质量分数和主观一致性不高。
北京理工大学在其拥有的专利技术“一种基于预注意机制和空间依赖性的无参考图像质量评价方法”(申请号：2017103237474，授权公告号：CN107018410B)中公开了一种同时考虑灰度信息和颜色信息的无参考图像质量评价方法。该专利技术主要解决传统方法对颜色信息的利用不充分的问题。该专利技术实现步骤为：(1)将图像分解为颜色信息和灰度信息两部分；(2)应用尺度空间对灰度信息做处理；(3)计算彩色信息图和灰度信息图的灰度色调共生矩阵，完成特征提取；(4)利用基于学习的机器学习方法，把质量特征向量映射为对应的质量分数。该专利技术虽然改进了传统的无参考图像质量评价技术，提取了颜色信息中包含的质量感知特征。但是，该方法仍然存在的不足之处是，提取的图像特征与图像内容相关性较强，存在大量与质量评价无关的冗余。
Kwan-Yee Lin等人在其发表的论文“Hallucinated-IQA:No-Reference ImageQuality Assessment via Adversarial Learning”(IEEE Computer Vision and PatternRecognition,2018)中公开了一种基于生成学习的无参考图像质量评价方法。该方法首先训练了一个生成对抗网络生成待测图像的幻像参考图，然后计算待测图像和幻想图的差异图，并构建了一个回归网络根据差异图计算图像的质量分数。该方法通过生产的幻像参考图消除了图像中与质量评价无关的信息冗余，显著提高了预测结果和主观评价的一致性。但是，该方法仍然存在的不足之处是，训练生成对抗网络生成幻像参考图时需要参考信息，这限制该方法在真实拍摄的失真图像上的应用。
发明内容
本发明的目的是针对上述现有技术的不足，提出了一种基于多分支相似度网络的无参考图像质量评价方法。本发明与现有其他无参考图像质量评价方法相比，能够更充分的挖掘各种场景的失真图像中的质量感知信息，并通过融合多分支特征相似度获取更稀疏的质量感知特征，再回归产生图像质量评价分数。
实现本发明目的的思路是：利用多分支卷积模块从输入的失真图像中自适应提取多分支特征，针对相似度融合模块中的卷积分支的输出特征进行两两之间的相似度计算，并与多个分支的输出特征矩阵并联输出，利用一个全连接层预测失真图像的质量分数，实现不需要任何参考信息，只将失真图像作为输入进行评估的无参考图像质量评价。
实现本发明目的的具体步骤如下：
(1)构建多分支卷积模块：
(1a)构建一个由Inception v4网络的前4个单元组成的多分支卷积模块；
(1b)将在ImageNet数据集上预训练过的Inception v4网络的前4个单元参数，设置为多分支卷积模块各层初始化参数；
(2)构建相似度融合模块：
(2a)构建含有3个卷积分支和1个池化分支的相似度融合模块，并设置参数；
(2b)按照下式，计算3个卷积分支输出特征两两之间的相似度矩阵，得到3个特征相似度矩阵：
Figure GDA0003159695100000031
其中，Simi,j表示第i个卷积分支和第j个卷积分支的特征相似度矩阵，hi或hj分别表示3个卷积分支中的第i个分支或第j个分支的输出特征矩阵，
Figure GDA0003159695100000032
表示矩阵的点乘操作；
(2c)将3个特征相似度矩阵与4个分支的输出特征矩阵并联，组成相似度融合模块的输出；
(2d)随机初始化设置相似度融合模块中的各层参数；
(3)构建多分支相似度网络：
将多分支卷积模块和相似度融合模块连接后，再与一个全连接层相连，组成多分支相似度网络；
(4)生成无参考的训练集和测试集：
(4a)将自然图像公知数据集中所有的参考图像及其对应的失真图像的主观评价质量分数映射到[0,100]区间，保存失真图像和对应的映射后主观评价质量分数；
(4b)按照参考图像随机划分所有的失真图像，将其中80％的参考图像对应的失真图像组成训练集，其余20％的参考图像对应的失真图像组成测试集，测试集在图像内容上与训练集没有重叠，训练集和测试集中的失真图像都是无参考的；
(5)训练多分支卷积特征相似度网络：
(5a)将训练集中的每张失真图像随机裁剪成384×384的图像块后，输入到多分支卷积特征相似度网络中，得到预测质量分数和两类网络参数W与b，其中，W表示多分支卷积特征相似度网络中边连接的权值向量，b表示多分支卷积特征相似度网络中下一层对上一层的偏置，随机初始化参数W和b；
(5b)将训练集中的失真图像依次输入到多分支相似度网络中，计算多分支卷积特征相似度网络预测质量分数与主观质量分数的Huber距离，作为多分支卷积特征相似度网络的损失值，用随机梯度下降法，更新参数W和b，使得多分支卷积特征相似度网络损失值逐渐减小，直到满足多分支相似度网络的损失值L≤5或者循环迭代轮数达到t＝200时停止训练，得到训练好的多分支相似度网络；
(6)输出测试集中每张失真图像的质量评价分数值：
将测试集中的无参考的失真图像依次输入到训练好的多分支相似度网络中，利用多分支相似度网络输出无参考的失真图像对应的图像质量评价分数值。
本发明与现有技术相比较，具有以下优点：
第一，由于本发明构建了一个多分支卷积模块，利用多分支卷积模块从输入的失真图像中自适应提取多分支特征，克服了现有技术的无参考图像质量评价方法中使用手工提取的统计特征表达能力不强，难以自适应表征各种场景的失真图像质量的问题，使得本发明可以通过多分支卷积模块自适应提取图像的分层特征，具有在评价无参考图像质量时结果更加准确的优点。
第二，由于本发明构建了一个相似度融合模块，利用相似度融合模块计算多分支特征两两之间的相似度并与多个分支的输出特征矩阵并联输出，克服了现有技术的无参考图像质量评价方法中提取的图像特征与图像内容相关性较强，存在大量与质量评价无关的冗余的问题，使得本发明可以通过相似度融和降低图像特征与图像内容的相关性，能够有效提升无参考图像质量评价在不同场景的通用性，具有应用场景更广泛的优点。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合附图和仿真实验对本发明做进一步的描述。
参照附图1，对本发明的具体步骤做进一步的详细描述。
步骤1，构建多分支卷积模块。
构建一个由Inception v4网络的前4个单元组成的多分支卷积模块。
将在ImageNet数据集上预训练过的Inception v4网络的前4个单元参数，设置为多分支卷积模块各层初始化参数。
步骤2，构建相似度融合模块。
构建含有3个卷积分支和1个池化分支的相似度融合模块。
所述的多分支相似度模块的参数设置如下：
第1个分支和第4个分支分别包含1个特征映射图总数为96，卷积核大小为1×1，卷积运算的步长为1的卷积层；
第2个分支包含2个卷积层：1个特征映射图总数为64，卷积核大小为1×1，卷积运算的步长为1的卷积层和1个特征映射图总数为96，卷积核大小为3×3，卷积运算的步长为1，填充像素数为1的卷积层；
第3个分支包含3个卷积层：1个特征映射图总数为64，卷积核大小为1×1，卷积运算的步长为1的卷积层和2个特征映射图总数为96，卷积核大小为3×3，卷积运算的步长为1，填充像素数为1的卷积层。
按照下式，计算3个卷积分支输出特征两两之间的相似度矩阵，得到3个特征相似度矩阵：
Figure GDA0003159695100000051
其中，Simi,j表示第i个卷积分支和第j个卷积分支的特征相似度矩阵，hi或hj分别表示3个卷积分支中的第i个分支或第j个分支的输出特征矩阵，
Figure GDA0003159695100000052
表示矩阵的点乘操作。
将3个特征相似度矩阵与4个分支的输出特征矩阵并联，组成相似度融合模块的输出。
随机初始化设置相似度融合模块中的各层参数。
步骤3，构建多分支相似度网络。
将多分支卷积模块和相似度融合模块连接后，再与一个全连接层相连，组成多分支相似度网络。
步骤4，生成无参考的训练集和测试集。
将自然图像公知数据集中所有的参考图像及其对应的失真图像的主观评价质量分数映射到[0,100]区间，保存失真图像和对应的映射后主观评价质量分数。
按照参考图像随机划分所有的失真图像，将其中80％的参考图像对应的失真图像组成训练集，其余20％的参考图像对应的失真图像组成测试集，测试集在图像内容上与训练集没有重叠，训练集和测试集中的失真图像都是无参考的。
步骤5，训练多分支卷积特征相似度网络。
将训练集中的每张失真图像随机裁剪成384×384的图像块后，输入到多分支卷积特征相似度网络中，得到预测质量分数和两类网络参数W与b，其中，W表示多分支卷积特征相似度网络中边连接的权值向量，b表示多分支卷积特征相似度网络中下一层对上一层的偏置，随机初始化参数W和b。
将训练集中的失真图像依次输入到多分支相似度网络中，计算多分支卷积特征相似度网络预测质量分数与主观质量分数的Huber距离，作为多分支卷积特征相似度网络的损失值，用随机梯度下降法，更新参数W和b，使得多分支卷积特征相似度网络损失值逐渐减小，直到满足多分支相似度网络的损失值L≤5或者循环迭代轮数达到t＝200时停止训练，得到训练好的多分支相似度网络。
所述计算多分支相似度网络预测的质量分数与主观质量分数的Huber距离的公式如下：
Figure GDA0003159695100000061
其中，L表示多分支相似度网络的损失值，S表示训练集中的失真图像输入到多分支相似度网络后输出的预测质量分数，T表示训练集中失真图像的主观评价质量分数。
所述的用随机梯度下降法，更新参数W和b的步骤如下：
第1步，按照下式，更新多分支相似度网络中的每个参数：
θ′k＝θk-α×Gk
其中，θ′k表示多分支相似度网络更新后的第k个参数，θk表示多分支相似度网络更新前的第k个参数，α表示更新参数时的学习率，α∈[0,1]，Gk表示多分支相似度网络损失值对网络更新前的第k个参数的偏导数。
第2步，将训练数据输入到参数更新后的多分支相似度网络中，计算参数更新后多分支相似度网络输出的预测质量分数与主观质量分数的Huber距离，作为参数更新后的多分支相似度网络的损失值。
第3步，判断参数更新后的多分支相似度网络满足网络的损失值L≤5或者循环迭代轮数达到t＝200，若是，则得到训练好的多分支相似度网络，否则，执行第1步。
步骤6，输出测试集中每张失真图像的质量评价分数值。
将测试集中的无参考的失真图像依次输入到训练好的多分支相似度网络中，利用多分支相似度网络输出无参考的失真图像对应的图像质量评价分数值。
下面结合仿真实验对本发明的效果做进一步的说明：
1.仿真实验条件：
本发明的仿真实验的硬件平台为：处理器为Intel(R)Xeon(R)E5-2630 CPU，主频为2.40GHz，内存64GB，显卡为NVIDIA GeForce RTX 2080Ti。
本发明的仿真实验的软件平台为：Ubuntu 16.04操作系统,Pytorch软件，Python3.6。
本发明仿真实验所使用的输入图像为自然光图像，来源于图像质量评价公知数据库LIVE、TID2013和CLIVE。
2.仿真内容及其结果分析：
本发明的仿真实验是采用本发明和两个现有技术(基于卷积神经网络的深度BIECON无参考图像质量评价方法、完全深度DIQA无参考图像质量评价方法)，分别对三个图像质量评价公知数据库CSIQ、TID2013和CLIVE中的失真图像进行无参考图像质量评价，预测失真图像的质量分数。
在仿真实验中，采用的两个现有技术是指：
基于卷积神经网络的深度BIECON无参考图像质量评价方法是指，J.Kim等人在“Fully deep blind image quality predictor.IEEE Journal of Selected Topics inSignal Processing,11(1):206–220,2017”中提出的无参考图像质量评价方法，简称基于卷积神经网络的深度BIECON无参考图像质量评价方法。
完全深度DIQA无参考图像质量评价方法是指，J.Kim等人在“Deep cnn-basedblind image quality predictor.IEEE Transactions on Neural Networks andLearning Systems,30(1):11–24,2018”中提出的无参考图像质量评价方法，简称完全深度DIQA无参考图像质量评价方法。
在仿真实验中，采用的三个图像质量评价公知数据库是指：
CSIQ公知数据库是指，E.C.Larson等人在“Most apparent distortion:full-reference image quality assessment and the role of strategy.Journal ofElectronic Imaging,19(1):011006,2010”中提出的图像质量评价数据库，简称CSIQ公知数据库。
TID2013公知数据库是指，N.Ponomarenko等人在“Color image databaseTID2013:Peculiarities and preliminary results.In European Workshop on VisualInformation Processing(EUVIP),106–111,2013.”中提出的图像质量评价数据库，简称TID2013公知数据库。
CLIVE公知数据库是指，D.Ghadiyaram等人在“Massive online crowdsourcedstudy of subjective and objective picture quality.IEEE Transactions on ImageProcessing,25(1):372–387,2016”中提出的图像质量评价数据库，简称CLIVE公知数据库。
为了评判本发明和另外两个现有技术的无参考图像质量评价效果的好坏，本仿真实验采用斯皮尔曼秩相关系数SROCC(Spearman rank-order correlation coefficient)和线性相关系数LCC(linear correlation coefficient)这两个指标，分别对本发明和两个现有技术的无参考图像质量评价效果进行评判。斯皮尔曼秩相关系数SROCC∈[-1,1]，其数值越高，说明被评判的无参考图像质量评价方法的评价结果能更正确地反映出不同图像之间的质量好坏程度，所述的线性相关系数LCC∈[-1,1]，其数值越高，说明被评判的无参考图像质量评价方法的评价结果更接近人类的主观评价分数。
所述的斯皮尔曼秩相关系数SROCC和线性相关系数LCC是按照下式计算得到的：
Figure GDA0003159695100000081
Figure GDA0003159695100000091
其中，SROCC表示斯皮尔曼秩相关系数，n表示用来评价的图像总数，∑表示求和操作，be表示第e幅失真图像的质量评价值的排序序号与其主观评价分数的排序序号之差，LCC表示线性相关系数，sr表示第r幅失真图像的质量评价分数，
Figure GDA0003159695100000092
表示所有失真图像的质量评价分数的平均值，pr表示第r幅失真图像的的主观评价分数，
Figure GDA0003159695100000093
表示所有失真图像的主观评价分数的平均值。
本仿真实验使用本发明和两个现有技术对三种不同的公知数据库里的图像进行评价，计算每种方法的评价结果的斯皮尔曼秩相关系数SROCC和线性相关系数LCC，计算结果如表1所示。
表1.三种方法的评价结果对比表
Figure GDA0003159695100000094
从表1可见，本发明在三种公知数据库上评价结果的斯皮尔曼秩相关系数SROCC和线性相关系数LCC均高于两种现有技术，证明本发明具有更好的无参考图像质量评价效果。

Claims (4)

1.一种基于多分支相似度网络的无参考图像质量评价方法，其特征在于，利用多分支卷积模块从输入的失真图像中自适应提取多分支特征，针对相似度融合模块中3个卷积分支的输出特征进行两两之间的相似度计算，并与多个分支的输出特征矩阵并联输出，利用一个全连接层预测失真图像的质量分数；该质量评价方法的具体步骤包括如下：
(1)构建多分支卷积模块：
(1a)构建一个由Inception v4网络的前4个单元组成的多分支卷积模块；
(1b)将在ImageNet数据集上预训练过的Inception v4网络的前4个单元参数，设置为多分支卷积模块各层初始化参数；
(2)构建相似度融合模块：
(2a)构建含有3个卷积分支和1个池化分支的相似度融合模块，并设置参数；
(2b)按照下式，计算3个卷积分支输出特征两两之间的相似度矩阵，得到3个特征相似度矩阵：
Figure FDA0003159695090000011
其中，Simi,j表示第i个卷积分支和第j个卷积分支的特征相似度矩阵，hi或hj分别表示3个卷积分支中的第i个分支或第j个分支的输出特征矩阵，
Figure FDA0003159695090000012
表示矩阵的点乘操作；
(2c)将3个特征相似度矩阵与4个分支的输出特征矩阵并联，组成相似度融合模块的输出；
(2d)随机初始化设置相似度融合模块中的各层参数；
(3)构建多分支相似度网络：
将多分支卷积模块和相似度融合模块连接后，再与一个全连接层相连，组成多分支相似度网络；
(4)生成无参考的训练集和测试集：
(4a)将自然图像公知数据集中所有的参考图像及其对应的失真图像的主观评价质量分数映射到[0,100]区间，保存失真图像和对应的映射后主观评价质量分数；
(4b)按照参考图像随机划分所有的失真图像，将其中80％的参考图像对应的失真图像组成训练集，其余20％的参考图像对应的失真图像组成测试集，测试集在图像内容上与训练集没有重叠，训练集和测试集中的失真图像都是无参考的；
(5)训练多分支卷积特征相似度网络：
(5a)将训练集中的每张失真图像随机裁剪成384×384的图像块后，输入到多分支卷积特征相似度网络中，得到预测质量分数和两类网络参数W与b，其中，W表示多分支卷积特征相似度网络中边连接的权值向量，b表示多分支卷积特征相似度网络中下一层对上一层的偏置，随机初始化参数W和b；
(5b)将训练集中的失真图像依次输入到多分支相似度网络中，计算多分支卷积特征相似度网络预测质量分数与主观质量分数的Huber距离，作为多分支卷积特征相似度网络的损失值，用随机梯度下降法，更新参数W和b，使得多分支卷积特征相似度网络损失值逐渐减小，直到满足多分支相似度网络的损失值L≤5或者循环迭代轮数达到t＝200时停止训练，得到训练好的多分支相似度网络；
(6)输出测试集中每张失真图像的质量评价分数值：
将测试集中的无参考的失真图像依次输入到训练好的多分支相似度网络中，利用多分支相似度网络输出无参考的失真图像对应的图像质量评价分数值。
2.根据权利要求1所述的基于多分支相似度网络的无参考图像质量评价方法，其特征在于：步骤(2a)中所述的相似度融合模块的参数设置如下：
第1个分支和第4个分支分别包含1个特征映射图总数为96，卷积核大小为1×1，卷积运算的步长为1的卷积层；
第2个分支包含2个卷积层：1个特征映射图总数为64，卷积核大小为1×1，卷积运算的步长为1的卷积层；1个特征映射图总数为96，卷积核大小为3×3，卷积运算的步长为1，填充像素数为1的卷积层；
第3个分支包含3个卷积层：1个特征映射图总数为64，卷积核大小为1×1，卷积运算的步长为1的卷积层；2个特征映射图总数为96，卷积核大小为3×3，卷积运算的步长为1，填充像素数为1的卷积层。
3.根据权利要求1所述的基于多分支相似度网络的无参考图像质量评价方法，其特征在于：步骤(5b)中所述计算多分支相似度网络预测的质量分数与主观质量分数的Huber距离的公式如下：
Figure FDA0003159695090000031
其中，L表示多分支相似度网络的损失值，S表示训练集中的失真图像输入到多分支相似度网络后输出的预测质量分数，T表示训练集中失真图像的主观评价质量分数。
4.根据权利要求1所述的基于多分支相似度网络的无参考图像质量评价方法，其特征在于，步骤(5b)中所述的用随机梯度下降法，更新参数W和b的步骤如下：
第一步，按照下式，更新多分支相似度网络中的每个参数：
θ′k＝θk-α×Gk
其中，θ′k表示多分支相似度网络更新后的第k个参数，θk表示多分支相似度网络更新前的第k个参数，α表示更新参数时的学习率，α∈[0,1]，Gk表示多分支相似度网络损失值对网络更新前的第k个参数的偏导数；
第二步，将训练数据输入到参数更新后的多分支相似度网络中，计算参数更新后多分支相似度网络输出的预测质量分数与主观质量分数的Huber距离，作为参数更新后的多分支相似度网络的损失值；
第三步，判断参数更新后的多分支相似度网络满足网络的损失值L≤5或者循环迭代轮数达到t＝200，若是，则得到训练好的多分支相似度网络，否则，执行第一步。
CN201910718234.2A 2019-08-05 2019-08-05 基于多分支相似度网络的无参考图像质量评价方法 Active CN110516716B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910718234.2A CN110516716B (zh) 2019-08-05 2019-08-05 基于多分支相似度网络的无参考图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910718234.2A CN110516716B (zh) 2019-08-05 2019-08-05 基于多分支相似度网络的无参考图像质量评价方法

Publications (2)

Publication Number Publication Date
CN110516716A CN110516716A (zh) 2019-11-29
CN110516716B true CN110516716B (zh) 2021-11-09

Family

ID=68625171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910718234.2A Active CN110516716B (zh) 2019-08-05 2019-08-05 基于多分支相似度网络的无参考图像质量评价方法

Country Status (1)

Country Link
CN (1) CN110516716B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111127587B (zh) * 2019-12-16 2023-06-23 杭州电子科技大学 一种基于对抗生成网络的无参考图像质量地图生成方法
CN111145150B (zh) * 2019-12-20 2022-11-11 中国科学院光电技术研究所 一种通用型无参考图像质量评价方法
CN111127460B (zh) * 2019-12-31 2022-06-14 福州大学 一种基于块连接的图像显示适应评估方法
CN111182292B (zh) * 2020-01-05 2021-06-29 西安电子科技大学 无参考视频质量评估方法、系统、视频接收器、智能终端
CN111583259B (zh) * 2020-06-04 2022-07-22 南昌航空大学 一种文档图像质量评价方法
CN112581461B (zh) * 2020-12-24 2023-06-02 深圳大学 基于生成网络的无参考图像质量评价方法及装置
CN113066065B (zh) * 2021-03-29 2023-08-04 中国科学院上海高等研究院 无参考图像质量检测方法、系统、终端及介质
CN113421237B (zh) * 2021-06-18 2023-04-18 西安电子科技大学 基于深度特征迁移学习的无参考图像质量评价方法
CN114549402B (zh) * 2022-01-05 2024-08-06 江苏海洋大学 一种不需要参考图像的水下图像质量比较方法
CN117437211B (zh) * 2023-11-20 2024-07-30 电子科技大学 一种基于双偏置校准学习的低成本图像质量评价方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法
CN108428227A (zh) * 2018-02-27 2018-08-21 浙江科技学院 基于全卷积神经网络的无参考图像质量评价方法
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及系统
CN108986050A (zh) * 2018-07-20 2018-12-11 北京航空航天大学 一种基于多分支卷积神经网络的图像和视频增强方法
CN109272499A (zh) * 2018-09-25 2019-01-25 西安电子科技大学 基于卷积自编码网络的无参考图像质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540589B2 (en) * 2017-10-24 2020-01-21 Deep North, Inc. Image quality assessment using similar scenes as reference

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651830A (zh) * 2016-09-28 2017-05-10 华南理工大学 一种基于并行卷积神经网络的图像质量测试方法
CN108428227A (zh) * 2018-02-27 2018-08-21 浙江科技学院 基于全卷积神经网络的无参考图像质量评价方法
CN108960087A (zh) * 2018-06-20 2018-12-07 中国科学院重庆绿色智能技术研究院 一种基于多维度评估标准的人脸图像质量评估方法及系统
CN108986050A (zh) * 2018-07-20 2018-12-11 北京航空航天大学 一种基于多分支卷积神经网络的图像和视频增强方法
CN109272499A (zh) * 2018-09-25 2019-01-25 西安电子科技大学 基于卷积自编码网络的无参考图像质量评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种利用像素局部相关性的图像质量评价方法;路文，李帅，徐红强，何立火;《西安电子科技大学学报》;20170228;第44卷(第1期);第94-99页 *

Also Published As

Publication number Publication date
CN110516716A (zh) 2019-11-29

Similar Documents

Publication Publication Date Title
CN110516716B (zh) 基于多分支相似度网络的无参考图像质量评价方法
CN109272499B (zh) 基于卷积自编码网络的无参考图像质量评价方法
CN109711422B (zh) 图像数据处理、模型的建立方法、装置、计算机设备和存储介质
CN112446476A (zh) 神经网络模型压缩的方法、装置、存储介质和芯片
Jiang et al. Learning a referenceless stereopair quality engine with deep nonnegativity constrained sparse autoencoder
CN110458765A (zh) 基于感知保持卷积网络的图像质量增强方法
CN109859166B (zh) 一种基于多列卷积神经网络的无参3d图像质量评估方法
CN113763268B (zh) 人脸图像盲修复方法及系统
CN113066065B (zh) 无参考图像质量检测方法、系统、终端及介质
CN113421237A (zh) 基于深度特征迁移学习的无参考图像质量评价方法
CN115526891B (zh) 一种缺陷数据集的生成模型的训练方法及相关装置
CN111160229A (zh) 基于ssd网络的视频目标检测方法及装置
CN114187261B (zh) 一种基于多维注意力机制的无参考立体图像质量评价方法
CN115393231B (zh) 一种缺陷图像的生成方法、装置、电子设备和存储介质
CN113033587A (zh) 图像识别结果评估方法、装置、电子设备及存储介质
CN115205196A (zh) 基于孪生网络与特征融合的无参考图像质量评价方法
CN111694977A (zh) 一种基于数据增强的车辆图像检索方法
CN116485741A (zh) 一种无参考图像质量评价方法、系统、电子设备及存储介质
CN117834852A (zh) 基于跨注意力多尺度视觉变压器的时空视频质量评价方法
CN111126177B (zh) 人数统计的方法及装置
CN111612732B (zh) 图像质量评估方法、装置、计算机设备及存储介质
CN116485743A (zh) 一种无参考图像质量评价方法、系统、电子设备及存储介质
CN115861595B (zh) 一种基于深度学习的多尺度域自适应异源图像匹配方法
CN116363469A (zh) 一种少样本红外目标检测方法、装置和系统
CN114841887A (zh) 一种基于多层次差异学习的图像恢复质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220708

Address after: Room 2108, 21 / F, Xi'an innovation design center, 69 south 2nd Ring Road, Beilin District, Xi'an City, Shaanxi Province, 710000

Patentee after: Xi'an Lianrong Technology Co.,Ltd.

Address before: 710071 Taibai South Road, Yanta District, Xi'an, Shaanxi Province, No. 2

Patentee before: XIDIAN University