CN109816646A - 一种基于退化决策逻辑的无参考图像质量评价方法 - Google Patents

一种基于退化决策逻辑的无参考图像质量评价方法 Download PDF

Info

Publication number
CN109816646A
CN109816646A CN201910053874.6A CN201910053874A CN109816646A CN 109816646 A CN109816646 A CN 109816646A CN 201910053874 A CN201910053874 A CN 201910053874A CN 109816646 A CN109816646 A CN 109816646A
Authority
CN
China
Prior art keywords
image
decision
training
feature
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910053874.6A
Other languages
English (en)
Other versions
CN109816646B (zh
Inventor
杨光义
黄天
程琨
丁星宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201910053874.6A priority Critical patent/CN109816646B/zh
Publication of CN109816646A publication Critical patent/CN109816646A/zh
Application granted granted Critical
Publication of CN109816646B publication Critical patent/CN109816646B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提出了一种基于退化决策逻辑的无参考图像质量评价方法。本发明通过对各图像进行金字塔分解得到小波子带特征向量用以代表自然场景统计特征;建立特征混合网络的模型,对小波子带特征向量进行进一步的处理,通过特征混合网络的筛选组合得到混合特征向量;将混合特征向量输入进深度神经决策森林模型得到图像主观评价等级;利用均匀线性池化,将所述图像主观评价等级转化为图像客观质量评分;建立特征混合网络和深度神经决策森林模型,对建立的模型进行决策逻辑分化训练,进一步进行参数微调训练,最终得到训练后特征混合网络模型和深度神经决策森林模型。本发明具有良好的性能和泛化能力,也具备低计算复杂度。

Description

一种基于退化决策逻辑的无参考图像质量评价方法
技术领域
本发明涉及图像质量处理技术领域,尤其涉及一种基于退化决策逻辑的无参考图像质量评价方法。
背景技术
数字图像作为信息表达与交流的元素,获得了广泛的运用。然而,数字图像在采集、压缩、传输、处理、重建过程中伴随着降低质量和失真。因此,图像质量评价(Imagequality assessment,IQA)的研究成为数字图像处理领域的一个重要内容。
根据参考图像是否存在,图像质量评价可以分为全参考(FR)评价、半参考(RR)评价和无参考(NR)评价。MSE和PSNR是迄今为止运用最为广泛的全参考图像质量评估方法。这两类方法虽然有着计算简单、易于实现等优点,但只计算了像素点之间的绝对误差,没有考虑像素点之间的相关性和人眼视觉系统的感知特性,容易造成在评价图像质量时出现严重不符实际的情况。
近年来学者们提出了更加适应人眼视觉特性的评价算法。在通用图像质量指数(Universal image Quality Index,UQI)的基础上,发展和产生了Structural Similarityindex(SSIM指数)。之后大批学者在SSIM的基础上提出了许多改进的方法。后来,基于自然场景分析(NSS)的方法,提出引入相位一致性(PC)和梯度相似度(GM)作为评价特征的FSIM模型。实验证明这些方法优于MSE和PSNR,但是SSIM评价模型对图像的结构特征还只停留在标量的层面上,导致SSIM在图片高度模糊时失去有效性。
“图像退化”是伴随着图像失真而产生的实际现象,对图像退化程度的把握成为许多图像质量评价方法的基本思路。然而,从公开发表的文献来看,对图像退化程度的衡量更多地停留在一些特定的特征表达上,而在图像处理的整个流程中少有体现这一衡量主客观冲突的设置。尤其在基于机器学习的图像质量评价方面,机器学习模型通常作为回归函数出现,少有具体仿生意义上的建模,从而导致整个评价系统忽略了对视觉直观活动的模拟。本发明就解决这一问题提出了一种新的思路。
发明内容
本发明提出了一种基于退化决策逻辑的无参考图像质量评价方法。该方法充分利用了小波子带特征来进行自然图像特征的表现,同时结合特征混合网络的筛选组合得到代表图像退化程度的特征向量,然后通过分类决策逻辑,取得失真图像的质量评级,表示人对失真图像退化程度的评判印象。最后通过均匀线性池化将图像质量评级转化为最终评分。本发明在多个数据库上进行了性能试验,对模型的拟合能力和泛化能力做了全面的测试,结果证明,本发明具有良好的性能和泛化能力,也具备低计算复杂度。
本发明的上述技术问题主要是通过下述技术方案得以解决的:
一种基于退化决策逻辑的无参考图像质量评价方法,具体步骤如下:
步骤1:通过对各图像进行金字塔分解得到小波子带特征向量用以代表自然场景统计特征;
步骤2:建立特征混合网络的模型,对小波子带特征向量进行进一步的处理,通过特征混合网络的筛选组合得到混合特征向量;
步骤3:将混合特征向量输入进深度神经决策森林模型得到图像主观评价等级;
步骤4:利用均匀线性池化,将所述图像主观评价等级转化为图像客观质量评分;
步骤5:建立特征混合网络和深度神经决策森林模型,对建立的模型进行决策逻辑分化训练,进一步进行参数微调训练,最终得到训练后特征混合网络模型和深度神经决策森林模型;
作为优选,步骤1中所述通过对各图像进行金字塔分解得到小波子带特征向量具体如下:
幅度代表子带的能量信息:
代表子带的结构信息:
其中,NP为图像的数量,s为图像序号,ks为第s幅图像的小波子带序号,为第s幅图像的对应像素点坐标是(i,j)的第k个子带小波系数,为第s幅图像的子带小波系数的长度,为第s幅图像的子带小波系数的宽度,代表为第s幅图像的的出现概率,通过金字塔分解将为第s幅图像分解为K个子带,第s幅图像的水平分量小波系数为 第s幅图像的竖直分量小波系数为第s幅图像的对角分量小波系数为
其中,只是在滤波次序上存在互换,二者相近,取水平方向考虑,则第s幅图像共计表示为K*4维小波子带特征向量,用Xs代表第s幅图像的小波子带特征向量:
其中,K∈[1,K],为第z个水平方向子带的能量信息,为第z个对角方向子带的能量信息,为第z个水平方向子带的结构信息,为第z个对角方向子带的结构信息;
作为优选,步骤2中所述建立特征混合网络的模型,对小波子带特征向量进行进一步的处理,通过特征混合网络的筛选组合得到混合特征向量为:
Xs为步骤1中所述第s幅图像的小波子带特征向量,s∈[1,NP],NP为图像的数量,s为图像序号,输入层的节点数量为h(h∈{1,……,H}),将Xs作为输入层的输入向量,经过隐藏层h1和隐藏层h2实现混合特征的提取,得到混合特征,用fs代表第s幅图像提取的混合特征,隐藏层h1、隐藏层h2和输出层的节点数量均设为p,h1采用ReLu激活函数,h2直接将隐藏层h1所得的值进行加权求和得到混合特征fs
Relu激活函数为:
yc(Xs)=max(0,Xs)s∈[1,NP]
其中,Xs为第s幅图像的小波子带特征向量;
通过隐藏层h2得到混合特征fs为:
fs=f(Xs;θc)s∈[1,NP]
其中,c为节点序号(c∈{1,……,p})θc表示特征混合网络的模型的待训练参数,包括第c个节点对应线性映射的权重wc和偏移bc,;
作为优选,步骤3中所述将混合特征输入进深度神经决策森林模型得到图像主观评价等级为:
本发明所采用的主观评价等级遵循ITU-R发布的BT.500-11标准,采用分割函数可导的深度神经决策森林模型dNDF,设dNDF输入样本为混合特征fs s∈[1,NP],NP为图像的数量,s为图像序号,dNDF的决策树Ti拥有H个决策节点,H为决策节点的数量,则随机抽取并排列fs中的H个元素,形成子集dNDF的决策概率dh为:
其中,σ(x)为sigmoid函数;
引入真值函数sn,h表示路径n中决策节点h上的分支方向,若sn,h为真值,则表示决策节点h以dh的概率选择了左边分支;否则为真,则代表以的概率选择了右边分支,显然dh的分布会影响n中每条路径的被选概率μn(n∈{1,2,……,N}),即:
得到样本Xs经过决策树Ja后被映射到质量评级Em的概率:
其中,πn为第n条路径上叶节点的分类概率,Em表示第m级的质量评级(m∈[1,G]),μn为决策森林中第n条路径的备选概率;
设Ja(a∈{1,……,F})为组成随机森林F的所有决策树,则随机森林的最终分类结果为所有决策树的投票结果,即
以所有决策树的投票结果作为第s幅图像的最终主观评价等级,其中,Xs为小波子带特征向量,Em为质量评级;
作为优选,步骤4中所述利用均匀线性池化,将所述图像主观评价等级转化为图像客观质量评分为:
设按大小顺序排列的常量{E1,E2,…,EG}均匀分割主观评分DMOS的值域,则第s幅图像的客观质量评分:
其中,G表示采用评分等级的级数,Em表示第m级的质量评级。
作为优选,步骤5中所述决策逻辑分化训练为:
步骤2中所述特征混合网络模型中待训练参数θc和步骤3中所述深度神经决策森林模型中待训练参数相同;
定义训练集NP为图像的数量,Τ所含样本量记为|Τ|,人工标记第s幅图像的的真实评价分数为DMOSs,L(Q,DMOSs;θc,π)为该机器学习模型的损失函数:
其中,λ为调整率,L2指代L2正则化的模型,即Ridge回归,Q(Xs)为第s幅图像的客观质量评分,θc表示待训练参数,包括第c个节点对应线性映射的权重wc和偏移bc,c为节点数量(c∈{1,……,p}),π为叶节点的分类概率,πn为第n条路径上叶节点的分类概率;
定义dNDF每棵决策树更新参数πn
其中,DMOSs为人工标记第s幅图像的的真实评价分数,Xs为第s幅图像的小波子带特征向量,T为定义的训练集,Em表示第m级的质量评级,θc表示待训练参数,πn为第n条路径上叶节点的分类概率,μn为决策森林中第n条路径的被选概率,m为质量评级的级数,n为决策树中的路径序号,n在数值等于输入图片的序号s;
PJ(Em;Xs)为样本Xs经过决策树J被映射到质量评级Em的概率,PJ(Em;Xs)为:
其中,πn为第n条路径上叶节点的分类概率,Em表示第m级的质量评级,μn为决策森林中第n条路径的被选概率。
R(DMOSs)为度量函数,代表决策树的期望质量评分同质量评级阈值之间的差异,R(DMOSs)定义为:
其中,γ>0,DMOSs为第s幅图像的的真实评价分数,Em表示第m级的质量评级(m∈[1,G])。
同时,训练过程中需要引入神经网络的更新函数,这里采用随机梯度下降法完成θc的训练:
其中,t为参数θc更新的次数(t∈{1,……,N}),取得决策逻辑分化训练效果;
步骤5中所述参数微调训练为:
微调过程采用梯度下降优化法进行:
其中,为随机选取的训练集的小批量子集,构成参数微调所使用的训练样本;
通过决策逻辑分化训练与参数微调训练得到训练后参数最终得到训练后特征混合网络模型和训练后深度神经决策森林模型;
利用训练后特征混合网络模型和深度神经决策森林模型,对输入的图像通过步骤1以及步骤2进行特征提取得到混合特征向量,然后将混合特征向量输入训练后特征混合网络模型根据步骤3得到图像主观评价等级,最终通过步骤4中所述均匀线性池化得到图像客观质量分数。
本发明优点在于:本算法由利用小波变换提取图像的小波子带特征以及利用特征混合网络将小波子带特征有效映射到高层特征两大基本步骤组成,实现了一种新型的对无参考图像进行评价的方法。本发明具有实用性强,给出的分数与观察结果符合度良好以及算法的复杂度较低的优点,为无参考图像质量评价的算法增加了一种新的思路。
附图说明
图1:本发明方法流程;
图2:是特征混合网络;
图3:是决策树的结构和组成元素;
图4:是基于dNDF的退化决策逻辑模型;
图5:是模型的训练流程图;
图6:σ不同取值下的SROCC;
图7:DDL算法CSIQ数据库测试拟合散点图;
图8:DDL算法TID2013数据库测试拟合散点图;
图9:主观评价的绝对尺度标准;
图10:LIVE数据库交叉验证指标中位数;
图11:LIVE数据库特定失真类型样本交叉验证SROCC中位数;
图12:LIVE数据库训练的模型在其他数据库上的测试指标;
图13:特征提取时间消耗对比。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明,下面结合附图及实施例对本发明作进一步的详细描述,应当理解,此处所描述的实施示例仅用于说明和解释本发明,并不用于限定本发明。
下面结合图1至图13介绍本发明的具体实施方式为一种基于退化决策逻辑的无参考图像质量评价方法,包括以下步骤:
步骤1:通过对各图像进行金字塔分解得到小波子带特征向量用以代表自然场景统计特征;
步骤1中所述通过对各图像进行金字塔分解得到小波子带特征向量具体如下:
幅度代表子带的能量信息:
代表子带的结构信息:
其中,NP为图像的数量,s为图像序号,ks为第s幅图像的小波子带序号,为第s幅图像的对应像素点坐标是(i,j)的第k个子带小波系数,为第s幅图像的子带小波系数的长度,为第s幅图像的子带小波系数的宽度,代表为第s幅图像的的出现概率,通过金字塔分解将为第s幅图像分解为K个子带,第s幅图像的水平分量小波系数为 第s幅图像的竖直分量小波系数为第s幅图像的对角分量小波系数为
其中,只是在滤波次序上存在互换,二者相近,取水平方向考虑,取小波子带数量K为3,则第s幅图像共计表示为12=K*4维小波子带特征向量,用Xs代表第s幅图像的小波子带特征向量:
其中,K∈[1,K],为第z个水平方向子带的能量信息,为第z个对角方向子带的能量信息,为第z个水平方向子带的结构信息,为第z个对角方向子带的结构信息;
步骤2:建立特征混合网络的模型,对小波子带特征向量进行进一步的处理,通过特征混合网络的筛选组合得到混合特征向量;
步骤2中所述建立特征混合网络的模型,对小波子带特征向量进行进一步的处理,通过特征混合网络的筛选组合得到混合特征向量为:
Xs为步骤1中所述第s幅图像的小波子带特征向量,s∈[1,NP],NP为图像的数量,s为图像序号,输入层的节点数量为h(h∈{1,……,H}),将Xs作为输入层的输入向量,经过隐藏层h1和隐藏层h2实现混合特征的提取,得到混合特征,用fs代表第s幅图像提取的混合特征,隐藏层h1、隐藏层h2和输出层的节点数量均设为p=50,h1采用ReLu激活函数,h2直接将隐藏层h1所得的值进行加权求和得到混合特征fs
Relu激活函数为:
yc(Xs)=max(0,Xs)s∈[1,NP]
其中,Xs为第s幅图像的小波子带特征向量;
通过隐藏层h2得到混合特征fs为:
fs=f(Xs;θc)s∈[1,NP]
其中,c为节点序号(c∈{1,……,p})θc表示特征混合网络的模型的待训练参数,包括第c个节点对应线性映射的权重wc和偏移bc,;
步骤3:将混合特征向量输入进深度神经决策森林模型得到图像主观评价等级;
步骤3中所述将混合特征向量输入进深度神经决策森林模型得到图像主观评价等级为:
本发明所采用的主观评价等级遵循ITU-R发布的BT.500-11标准,采用分割函数可导的深度神经决策森林模型dNDF,设dNDF输入样本为混合特征fs s∈[1,NP],NP为图像的数量,s为图像序号,dNDF的决策树Ti拥有H个决策节点,H为决策节点的数量,则随机抽取并排列fs中的H个元素,形成子集dNDF的决策概率dh为:
其中,σ(x)为sigmoid函数;
引入真值函数sn,h表示路径n中决策节点h上的分支方向,若sn,h为真值,则表示决策节点h以dh的概率选择了左边分支;否则为真,则代表以的概率选择了右边分支,显然dh的分布会影响n中每条路径的被选概率μn(n∈{1,2,……,N}),即:
得到样本Xs经过决策树Ja后被映射到质量评级Em的概率:
其中,πn为第n条路径上叶节点的分类概率,Em表示第m级的质量评级(m∈[1,G]),μn为决策森林中第n条路径的备选概率;
设Ja(a∈{1,……,F})为组成随机森林F的所有决策树,则随机森林的最终分类结果为所有决策树的投票结果,即
以所有决策树的投票结果作为第s幅图像的最终主观评价等级,其中,Xs为小波子带特征向量,Em为质量评级;
步骤4:利用均匀线性池化,将图像主观评价等级转化为图像客观质量评分;
步骤4中所述利用均匀线性池化,将图像主观评价等级转化为图像客观质量评分为:
设按大小顺序排列的常量{E1,E2,…,EG}均匀分割主观评分DMOS的值域,则第s幅图像的客观质量评分:
其中,G表示采用评分等级的级数,本发明取G=5,Em表示第m级的质量评级。
步骤5:建立特征混合网络和深度神经决策森林模型,对建立的模型进行决策逻辑分化训练,进一步进行参数微调训练,最终得到训练后特征混合网络模型和深度神经决策森林模型;
步骤5中所述决策逻辑分化训练为:
步骤2中所述特征混合网络模型中待训练参数θc和步骤3中所述深度神经决策森林模型中待训练参数相同;
定义训练集NP为图像的数量,Τ所含样本量记为|Τ|,人工标记第s幅图像的的真实评价分数为DMOSs,L(Q,DMOSs;θc,π)为该机器学习模型的损失函数:
其中,λ为调整率,L2指代L2正则化的模型,即Ridge回归,Q(Xs)为第s幅图像的客观质量评分,θc表示待训练参数,包括第c个节点对应线性映射的权重wc和偏移bc,c为节点数量(c∈{1,……,p}),π为叶节点的分类概率,πn为第n条路径上叶节点的分类概率;
定义dNDF每棵决策树更新参数πn
其中,DMOSs为人工标记第s幅图像的的真实评价分数,Xs为第s幅图像的小波子带特征向量,T为定义的训练集,Em表示第m级的质量评级,θc表示待训练参数,πn为第n条路径上叶节点的分类概率,μn为决策森林中第n条路径的被选概率,m为质量评级的级数,n为决策树中的路径序号,n在数值等于输入图片的序号s;
PJ(Em;Xs)为样本Xs经过决策树J被映射到质量评级Em的概率,PJ(Em;Xs)为:
其中,πn为第n条路径上叶节点的分类概率,Em表示第m级的质量评级,μn为决策森林中第n条路径的被选概率。
R(DMOSs)为度量函数,代表决策树的期望质量评分同质量评级阈值之间的差异,R(DMOSs)定义为:
其中,γ>0,DMOSs为第s幅图像的的真实评价分数,Em表示第m级的质量评级(m∈[1,G])。
同时,训练过程中需要引入神经网络的更新函数,这里采用随机梯度下降法完成θc的训练:
其中,t为参数θc更新的次数(t∈{1,……,N}),本发明取N=200,取得决策逻辑分化训练效果;
步骤5中所述参数微调训练为:
微调过程采用梯度下降优化法进行:
其中,为随机选取的训练集的小批量子集,构成参数微调所使用的训练样本;
通过决策逻辑分化训练与参数微调训练得到训练后参数最终得到训练后特征混合网络模型和深度神经决策森林模型;
利用训练后特征混合网络模型和深度神经决策森林模型,对输入的图像通过步骤1以及步骤2进行特征提取得到混合特征向量,然后将混合特征向量输入训练后特征混合网络模型根据步骤3得到图像主观评价等级,最终通过步骤4中所述均匀线性池化得到图像客观质量分数。
图7和图8示出了本发明方法(DDL)跨数据库测试拟合散点图,横轴为客观评价分数,纵轴为主观评价分数。从图7可以看出,除个别奇异情形外,本发明方法(DDL)拟合的散点图在整个坐标系中均匀分布,并且与平均主观得分(MOS)具有很强的线性关系,进一步证明了本发明方法(DDL)的良好性能。
确定评价的标准,如图9所示,选取3种全参考图像质量评价方法和6种无参考图像质量评价方法,在LIVE数据库上开展对比实验。其中,其中峰值信噪比(PSNR)、结构相似性(SSIM)和方差膨胀因子(VIF)为经典的全参考算法,基于两级框架的无参考图像质量评价模型(BIQI)、基于失真类型识别的图像真实性和完整性评价模型(DIIVINE)、在图像DCT域提取DCT系数的统计特征建立支持向量回归模型(BLIINDS-II)、通过对图像的空域归一化系数提取统计特征建立回归模型(BRISQUE)、基于空间光谱熵的质量索引(SSEQ)、基于深度学习的盲参考图像质量评价(DLIQA)和本发明方法(DDL)为无参考算法。无参考算法中,BIQI、DIIVINE、BLIINDS-II、BRISQUE、SSEQ为浅层机器学习算法,DLIQA为深度学习算法。
为了消除训练集、测试集选取的偶然性,随机抽取80%的训练样本和20%的测试样本1000次,分别进行训练和测试,得到1000次交叉验证的结果,取所有实验结果的中位数作为最终指标。图10列出了本发明方法(DDL)在LIVE数据库上的表现。从图10可以看到,本发明方法(DDL)的图像质量评价(IQA)指标在LIVE数据库上取得了非常好的效果。
为了更进一步检验本发明方法(DDL)的性能,图11列出了本发明方法(DDL)在LIVE数据库上针对不同失真类型的SROCC指标。从图11可以看到,本发明方法(DDL)对所有失真类型都提供良好预测精度。
为了测试评价模型对不同样本的泛化能力,对不同方案进行跨数据库的训练和测试实验。将整个LIVE数据库用作训练集,在CSIQ和TID2013数据库中选择与训练样本失真类型重叠的图像作为测试集,即JP2K、JPEG、白噪声和高斯模糊作为测试集,得到算法的性能指标。图12列出了在CSIQ和TID2013两个测试数据库上不同方法的斯皮尔曼秩相关系数(SROCC)指标。从图12可以看到,本发明方法(DDL)在两个数据库上的跨库实验均有优越表现。
关于时间性能,特征提取环节的耗时是决定模型在实际应用场合中耗时的关键因素,本发明在LIVE数据库中测试,记录6个NR-IQA模型提取每张图片特征的平均时间,实验记录如图13所示。所有实验均在Inteli7-6700K CPU@4.0GHz/16G RAM/win10 64位操作系统/MATLAB R2016a的PC上进行。从图13可以看出,本发明方法(DDL)的特征提取仅用了38ms,仅占第二名BRISQUE耗时的26.03%,说明本发明方法(DDL)是非常高效的。究其原因在于,本发明方法(DDL)采用的是最基本的小波分解,所以特征提取环节不会成为实际应用的负担。
应当理解的是,上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。

Claims (6)

1.一种基于退化决策逻辑的无参考图像质量评价方法,其特征在于,包括:
步骤1:通过对各图像进行金字塔分解得到小波子带特征向量用以代表自然场景统计特征;
步骤2:建立特征混合网络的模型,对小波子带特征向量进行进一步的处理,通过特征混合网络的筛选组合得到混合特征向量;
步骤3:将混合特征向量输入进深度神经决策森林模型得到图像主观评价等级;
步骤4:利用均匀线性池化,将所述图像主观评价等级转化为图像客观质量评分;
步骤5:建立特征混合网络和深度神经决策森林模型,对建立的模型进行决策逻辑分化训练,进一步进行参数微调训练,最终得到训练后特征混合网络模型和深度神经决策森林模型。
2.根据权利要求1所述的基于退化决策逻辑的无参考图像质量评价方法,其特征在于:步骤1中所述通过对各图像进行金字塔分解得到小波子带特征向量具体如下:
幅度代表子带的能量信息:
代表子带的结构信息:
其中,NP为图像的数量,s为图像序号,ks为第s幅图像的小波子带序号,为第s幅图像的对应像素点坐标是(i,j)的第k个子带小波系数,为第s幅图像的子带小波系数的长度,为第s幅图像的子带小波系数的宽度,代表为第s幅图像的的出现概率,通过金字塔分解将为第s幅图像分解为K个子带,第s幅图像的水平分量小波系数为 第s幅图像的竖直分量小波系数为第s幅图像的对角分量小波系数为
其中,只是在滤波次序上存在互换,二者相近,取水平方向考虑,则第s幅图像共计表示为K*4维小波子带特征向量,用Xs代表第s幅图像的小波子带特征向量:
其中,K∈[1,K],为第z个水平方向子带的能量信息,为第z个对角方向子带的能量信息,为第z个水平方向子带的结构信息,为第z个对角方向子带的结构信息。
3.根据权利要求1所述的基于退化决策逻辑的无参考图像质量评价方法,其特征在于:
步骤2中所述建立特征混合网络的模型,对小波子带特征向量进行进一步的处理,通过特征混合网络的筛选组合得到混合特征向量为:
Xs为步骤1中所述第s幅图像的小波子带特征向量,s∈[1,NP],NP为图像的数量,s为图像序号,输入层的节点数量为h(h∈{1,……,H}),将Xs作为输入层的输入向量,经过隐藏层h1和隐藏层h2实现混合特征的提取,得到混合特征,用fs代表第s幅图像提取的混合特征,隐藏层h1、隐藏层h2和输出层的节点数量均设为p,h1采用ReLu激活函数,h2直接将隐藏层h1所得的值进行加权求和得到混合特征fs
Relu激活函数为:
yc(Xs)=max(0,Xs)s∈[1,NP]
其中,Xs为第s幅图像的小波子带特征向量;
通过隐藏层h2得到混合特征fs为:
fs=f(Xs;θc)s∈[1,NP]
其中,c为节点序号(c∈{1,……,p})θc表示特征混合网络的模型的待训练参数:
其中,wc为第c个节点对应线性映射的权重,bc为第c个节点对应线性映射的偏移。
4.根据权利要求1所述的基于退化决策逻辑的无参考图像质量评价方法,其特征在于:
步骤3中所述将混合特征输入进深度神经决策森林模型得到图像主观评价等级为:
本发明所采用的主观评价等级遵循ITU-R发布的BT.500-11标准,采用分割函数可导的深度神经决策森林模型dNDF,设dNDF输入样本为混合特征fs s∈[1,NP],NP为图像的数量,s为图像序号,dNDF的决策树Ti拥有H个决策节点,H为决策节点的数量,则随机抽取并排列fs中的H个元素,形成子集dNDF的决策概率dh为:
其中,σ(x)为sigmoid函数;
引入真值函数sn,h表示路径n中决策节点h上的分支方向,若sn,h为真值,则表示决策节点h以dh的概率选择了左边分支;否则为真,则代表以的概率选择了右边分支,显然dh的分布会影响n中每条路径的被选概率μn(n∈{1,2,……,N}),即:
得到样本Xs经过决策树Ja后被映射到质量评级Em的概率:
其中,πn为第n条路径上叶节点的分类概率,Em表示第m级的质量评级(m∈[1,G]),μn为决策森林中第n条路径的备选概率;
设Ja(a∈{1,……,F})为组成随机森林F的所有决策树,则随机森林的最终分类结果为所有决策树的投票结果,即
以所有决策树的投票结果作为第s幅图像的最终主观评价等级,其中,Xs为小波子带特征向量,Em为质量评级。
5.根据权利要求1所述的基于退化决策逻辑的无参考图像质量评价方法,其特征在于:
步骤4中所述利用均匀线性池化,将所述图像主观评价等级转化为图像客观质量评分为:
设按大小顺序排列的常量{E1,E2,…,EG}均匀分割主观评分DMOS的值域,则第s幅图像的客观质量评分:
其中,G表示采用评分等级的级数,Em表示第m级的质量评级。
6.根据权利要求1所述的基于退化决策逻辑的无参考图像质量评价方法,其特征在于:
步骤5中所述决策逻辑分化训练为:
步骤2中所述特征混合网络模型中待训练参数θc和步骤3中所述深度神经决策森林模型中待训练参数相同;
定义训练集NP为图像的数量,Τ所含样本量记为|Τ|,人工标记第s幅图像的的真实评价分数为DMOSs,L(Q,DMOSs;θc,π)为该机器学习模型的损失函数:
其中,λ为调整率,L2指代L2正则化的模型,即Ridge回归,Q(Xs)为第s幅图像的客观质量评分,θc表示待训练参数,包括第c个节点对应线性映射的权重wc和偏移bc,c为节点数量(c∈{1,……,p}),π为叶节点的分类概率,πn为第n条路径上叶节点的分类概率;
定义dNDF每棵决策树更新参数πn
其中,DMOSs为人工标记第s幅图像的的真实评价分数,Xs为第s幅图像的小波子带特征向量,T为定义的训练集,Em表示第m级的质量评级,θc表示待训练参数,πn为第n条路径上叶节点的分类概率,μn为决策森林中第n条路径的被选概率,m为质量评级的级数,n为决策树中的路径序号,n在数值等于输入图片的序号s;
PJ(Em;Xs)为样本Xs经过决策树J被映射到质量评级Em的概率,PJ(Em;Xs)为:
其中,πn为第n条路径上叶节点的分类概率,Em表示第m级的质量评级,μn为决策森林中第n条路径的被选概率;
R(DMOSs)为度量函数,代表决策树的期望质量评分同质量评级阈值之间的差异,R(DMOSs)定义为:
其中,γ>0,DMOSs为第s幅图像的的真实评价分数,Em表示第m级的质量评级(m∈[1,G]);
同时,训练过程中需要引入神经网络的更新函数,这里采用随机梯度下降法完成θc的训练:
其中,t为参数θc更新的次数(t∈{1,……,N}),取得决策逻辑分化训练效果;
步骤5中所述参数微调训练为:
微调过程采用梯度下降优化法进行:
其中,为随机选取的训练集的小批量子集,构成参数微调所使用的训练样本;
通过决策逻辑分化训练与参数微调训练得到训练后参数π*,最终得到训练后特征混合网络模型和深度神经决策森林模型;
利用训练后特征混合网络模型和深度神经决策森林模型,对输入的图像通过步骤1以及步骤2进行特征提取得到混合特征向量,然后将混合特征向量输入训练后特征混合网络模型根据步骤3得到图像主观评价等级,最终通过步骤4中所述均匀线性池化得到图像客观质量分数。
CN201910053874.6A 2019-01-21 2019-01-21 一种基于退化决策逻辑的无参考图像质量评价方法 Expired - Fee Related CN109816646B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910053874.6A CN109816646B (zh) 2019-01-21 2019-01-21 一种基于退化决策逻辑的无参考图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910053874.6A CN109816646B (zh) 2019-01-21 2019-01-21 一种基于退化决策逻辑的无参考图像质量评价方法

Publications (2)

Publication Number Publication Date
CN109816646A true CN109816646A (zh) 2019-05-28
CN109816646B CN109816646B (zh) 2022-08-30

Family

ID=66603598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910053874.6A Expired - Fee Related CN109816646B (zh) 2019-01-21 2019-01-21 一种基于退化决策逻辑的无参考图像质量评价方法

Country Status (1)

Country Link
CN (1) CN109816646B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445433A (zh) * 2019-10-14 2020-07-24 北京华宇信息技术有限公司 一种电子卷宗的空白页和模糊页的检测方法及装置
CN111489377A (zh) * 2020-03-27 2020-08-04 北京迈格威科技有限公司 目标跟踪自评测方法及装置
CN112203083A (zh) * 2020-09-30 2021-01-08 清华大学 一种视频数据的质量等级确定方法和装置
CN112446878A (zh) * 2021-01-04 2021-03-05 天津科技大学 一种基于联合熵的彩色图像质量评价方法
CN117078659A (zh) * 2023-09-21 2023-11-17 中国矿业大学 基于主动学习的少样本无参考图像质量评价算法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274361A1 (en) * 2010-05-10 2011-11-10 Board Of Regents, The University Of Texas System Determining quality of an image or video using a distortion classifier
CN105208374A (zh) * 2015-08-24 2015-12-30 宁波大学 一种基于深度学习的无参考图像质量客观评价方法
CN105593851A (zh) * 2013-08-01 2016-05-18 新加坡国立大学 用于跟踪与通过关联的文本和图像可识别的实体相关的微博消息的方法和装置
CN108010023A (zh) * 2017-12-08 2018-05-08 宁波大学 基于张量域曲率分析的高动态范围图像质量评价方法
CN108053396A (zh) * 2017-12-15 2018-05-18 中国矿业大学 一种多失真图像质量的无参考评价方法
CN108257125A (zh) * 2018-01-24 2018-07-06 中国矿业大学 一种基于自然场景统计的深度图像质量无参考评价方法
US20180286032A1 (en) * 2017-04-04 2018-10-04 Board Of Regents, The University Of Texas System Assessing quality of images or videos using a two-stage quality assessment

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110274361A1 (en) * 2010-05-10 2011-11-10 Board Of Regents, The University Of Texas System Determining quality of an image or video using a distortion classifier
CN105593851A (zh) * 2013-08-01 2016-05-18 新加坡国立大学 用于跟踪与通过关联的文本和图像可识别的实体相关的微博消息的方法和装置
CN105208374A (zh) * 2015-08-24 2015-12-30 宁波大学 一种基于深度学习的无参考图像质量客观评价方法
US20180286032A1 (en) * 2017-04-04 2018-10-04 Board Of Regents, The University Of Texas System Assessing quality of images or videos using a two-stage quality assessment
CN108010023A (zh) * 2017-12-08 2018-05-08 宁波大学 基于张量域曲率分析的高动态范围图像质量评价方法
CN108053396A (zh) * 2017-12-15 2018-05-18 中国矿业大学 一种多失真图像质量的无参考评价方法
CN108257125A (zh) * 2018-01-24 2018-07-06 中国矿业大学 一种基于自然场景统计的深度图像质量无参考评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KIRAN I ET AL: "《Blind image quality assessment using subspace alignment》", 《ACM》 *
杨文雅等: "《基于语义感知的图像美学质量评估方法》", 《计算机应用》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445433A (zh) * 2019-10-14 2020-07-24 北京华宇信息技术有限公司 一种电子卷宗的空白页和模糊页的检测方法及装置
CN111489377A (zh) * 2020-03-27 2020-08-04 北京迈格威科技有限公司 目标跟踪自评测方法及装置
CN111489377B (zh) * 2020-03-27 2023-11-10 北京迈格威科技有限公司 目标跟踪自评测方法及装置
CN112203083A (zh) * 2020-09-30 2021-01-08 清华大学 一种视频数据的质量等级确定方法和装置
CN112203083B (zh) * 2020-09-30 2021-11-09 清华大学 一种视频数据的质量等级确定方法和装置
US11464442B2 (en) * 2020-09-30 2022-10-11 Tsinghua University Method and apparatus for determining quality grade of video data
CN112446878A (zh) * 2021-01-04 2021-03-05 天津科技大学 一种基于联合熵的彩色图像质量评价方法
CN112446878B (zh) * 2021-01-04 2023-03-14 天津科技大学 一种基于联合熵的彩色图像质量评价方法
CN117078659A (zh) * 2023-09-21 2023-11-17 中国矿业大学 基于主动学习的少样本无参考图像质量评价算法
CN117078659B (zh) * 2023-09-21 2024-01-26 中国矿业大学 基于主动学习的少样本无参考图像质量评价算法

Also Published As

Publication number Publication date
CN109816646B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN109816646A (zh) 一种基于退化决策逻辑的无参考图像质量评价方法
CN105208374B (zh) 一种基于深度学习的无参考图像质量客观评价方法
CN111709902B (zh) 基于自注意力机制的红外和可见光图像融合方法
CN104751456B (zh) 基于条件直方图码书的盲图像质量评价方法
CN103295191B (zh) 多尺度视觉自适应图像增强方法及评价方法
CN107341786A (zh) 小波变换与联合稀疏表示的红外与可见光图像融合方法
CN107633520A (zh) 一种基于深度残差网络的超分辨率图像质量评估方法
CN108428227A (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN107770517A (zh) 基于图像失真类型的全参考图像质量评价方法
CN102945552A (zh) 基于自然场景统计中稀疏表示的无参考图像质量评价方法
CN104866831B (zh) 特征加权的人脸识别算法
CN110189291A (zh) 一种基于多任务卷积神经网络的通用无参考图像质量评价方法
CN111160189A (zh) 一种基于动态目标训练的深度神经网络人脸表情识别方法
CN108074239A (zh) 一种基于先验感知质量特征图的无参考图像质量客观评价方法
CN105427309A (zh) 面向对象高空间分辨率遥感信息提取的多尺度分层处理方法
CN104376565A (zh) 基于离散余弦变换和稀疏表示的无参考图像质量评价方法
CN109788275A (zh) 自然性、结构和双目不对称无参考立体图像质量评价方法
WO2016145571A1 (zh) 基于条件直方图码书的盲图像质量评价方法
CN109657707A (zh) 一种基于观测矩阵变换维度的图像分类方法
CN105894507B (zh) 基于图像信息量自然场景统计特征的图像质量评价方法
CN103149163A (zh) 基于多光谱图像纹理特征的检测牛肉嫩度的装置及其方法
CN108401150B (zh) 一种模拟视觉主观感知的压缩感知重建算法质量统计评价方法
CN101533475A (zh) 一种基于形状自适应邻域的遥感图像特征提取方法
CN114299398B (zh) 一种基于自监督对比学习的小样本遥感图像分类方法
CN107018410B (zh) 一种基于预注意机制和空间依赖性的无参考图像质量评价方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220830