CN110400293A - 一种基于深度森林分类的无参考图像质量评价方法 - Google Patents
一种基于深度森林分类的无参考图像质量评价方法 Download PDFInfo
- Publication number
- CN110400293A CN110400293A CN201910622968.0A CN201910622968A CN110400293A CN 110400293 A CN110400293 A CN 110400293A CN 201910622968 A CN201910622968 A CN 201910622968A CN 110400293 A CN110400293 A CN 110400293A
- Authority
- CN
- China
- Prior art keywords
- image
- quality
- forest
- picture quality
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Abstract
本发明公开了一种基于深度森林分类的无参考图像质量评价方法,包括:步骤1,图像分类;步骤2,提取图像的颜色质量特征;步骤3,提取图像的纹理质量特征;步骤4,利用深度森林分类模型中决策树提取特征的不同,模拟不同人对图像质量认知的差异,构建深度森林分类模型对图像质量进行分类,包括多粒度扫描森林和级联森林;步骤5,基于图像质量特征及其类别标签,对深度森林分类模型进行训练,得到测试图像归属于不同类别的概率,即不同人对图像质量主观评价结果的统计信息;步骤6,设置质量锚,结合图像归属于不同类别的概率,充分考虑主观评价过程中的差异性,得到最终的图像质量评分;本发明中所述无参考图像质量评价方法,利用深度森林模拟不同人对图像质量认知的差异,从而给出图像质量评价结果,具有重要的理论意义和实践价值。
Description
技术领域
本发明涉及图像处理技术、计算机视觉与人工智能领域,具体涉及一种基于深度森林分类的无参考图像质量评价方法。
背景技术
随着图像采集设备的普及,人们开始在生活中大量的运用图片来保存和采集信息。但是,图像在采集、传输、恢复及存储等过程都会造成不同类型不同程度的失真,严重影响人们对图像信息的提取和理解,甚至容易产生错误的信息,误导人们对图像的理解。因此,如何评判图像质量的优劣成为了亟待解决的问题。
针对参考信息的不同,图像质量评价方法可以分为三类:全参考、半参考和无参考。其中,全参考和半参考都需要提供参考图像信息,适用范围较窄。无参考图像质量评价由于不需要提供参考图像信息,成为了学者们研究的主流。现有的无参考图像质量评价方法往往忽略了不同人对图像质量认知的差异性,很难给出准确的图像质量评价。
申请号201811406907.2,发明名称为“一种基于彩色向量夹角LBP算子的无参考彩色图像质量评价方法”公开了一种基于彩色向量夹角LBP算子的无参考彩色图像质量评价方法,该方法包括:(1)提取出红色、绿色和蓝色图像分量,将三个分量组成彩色向量;(2)根据彩色向量计算出彩色向量夹角图像,并从彩色向量夹角图像中提取出CLBP特征和DLBP特征,并根据其均值、标准差、偏度、峰度和熵合成得到特征向量;(3)将特征向量送入支持向量机(SVM)中训练和测试,得到客观图像质量分值。该方法虽然考虑了图像的空间邻域失真信息和彩色失真信息,但是统一将所有的特征向量输入到SVM中测试,忽略了不同人对图像质量认知的差异性,不能很好的反映人们对图像的主观认知。在本发明所采用的深度森林中,每棵树通过提取不同的特征对图像质量进行评判,有效模拟了每个人在进行图像质量判断时侧重点的不同,能够达到更好的模拟图像主观质量评价过程的效果。
申请号201510398035.X,发明名称为“基于色彩感知的通用无参考图像质量评价方法”公开了一种基于色彩感知的通用无参考图像质量评价方法,该方法包括:(1)根据人类视觉对RGB色彩空间中绿色分量更为敏感的颜色感知特性,提取G分量均值减损对比归一化系数及其4方向邻域系数的统计特征;(2)根据RGB色彩空间中R、G及B分量间的强相关性,分别计算RGB色彩空间各色彩分量及其纹理、相位间的互信息统计特征:(3)结合G分量MSCN系数的统计特征和各色彩分量间的互信息统计特征,分别利用SVR和SVC构建无参考图像质量评价模型和图像失真类型识别模型。该方法虽然能够适应于多种失真类型图像,但是其通过SVR直接得到图像质量评分,不符合人类对图像更容易给出定性判断的特性。而本发明利用深度森林对图像质量先进行分类,然后通过图像质量锚和图像被分为不同类的概率值得到图像质量评分。相对于该方法,本发明更符合人类对图像易给出定性判断,而非定量判断的特性。
申请号201510057302.7,发明名称为“一种基于区域互信息的无参考图像质量评价方法”公开了一种基于区域互信息的无参考图像质量评价方法,该方法包括:(1)将图像进行256×256的图像分块,使得对图像的分析更加准确;(2)在每一个图像块中求出该图像块的区域互信息RMI,并通过区分窗口的大小、运动方向以及距离的大小,分为12组的RMI;(3)对于每组RMI对其特点进行描述,将每组的RMI都进行小波分解处理,对分解后RMI的低频信息和高频信息求取均值和方差作为特征;(4)用每一维RMI描述特征求取所有图像块特征的平均数作为整幅图像的特征;(5)使用支持向量机与图像质量评价中的两步框架相结合的方法求得图像质量。该方法通过区域互信息实现了图像质量评价,但是其更多的考虑了图像块的局部特征,而忽略了图像整体的质量特征。本发明不仅通过提取不同尺度图像的质量特征,模拟了人在不同距离对图像全局质量的认知过程。此外,深度森林中的多粒度扫描森林通过选择多尺度的滑动窗,同时考虑了图像的局部和全局特征,能够更有效地评判图像质量。
申请号201810177105.2,发明名称为“一种基于图像数据的质量监控方法”公开了一种基于图像数据的质量监控方法,该方法包括:(1)获取图像数据:采集的图像减去标准图像后,对该图像进行区域划分,并计算每个区域的像素均值,将图像转化为一个多维向量,从而获取图像数据;(2)统计量计算:分别构建参考图像集和实时图像集,将分为n组的参考图像集分别与实时图像集进行分类器计算,得到n个参考图像集分类准确率并求均值,得到最终的统计量;(3)质量过程控制:通过过程控制第一阶段得到控制线,通过过程控制第二阶段得到失控产品,明确失控时间;对失控产品绘制该产品面向各个区域的重要性控制图,明确失控产品的缺陷位置。该方法虽然采用与深度森林类似的随机森林对图像进行分类,但是相对而言,本发明中的深度森林通过多粒度扫描和级联森林能够更好的模拟人类视觉系统对图像特征由全局到局部、层层深入的认知过程,从而有效提高了图像质量评价的准确率。
发明内容
为了克服现有技术的缺陷,本发明提出了一种基于深度森林分类的无参考图像质量评价方法。该方法通过模拟人类对图像质量进行主观评价的过程,先对图像进行定性判断,然后结合不同人对图像质量认知的差异,给出图像质量评价结果。该发明更符合人类视觉系统对图像的认知过程,与主观评价的一致性更高。同时,该方法的目的还在于对图像按照其质量等量分类,得到分类标签,以便更好的训练深度森林性能;其次,通过提取图像的多维度质量特征训练深度森林分类模型;然后,利用深度森林分类模型中决策树提取不同的质量特征,模拟不同人对图像质量认知的差异,得到图像被分为不同类别的概率,即不同人对图像质量主观评价结果的统计信息;最后,根据质量锚和不同类别概率,充分考虑主观评价过程中的差异性,得到图像质量评价结果。
本发明的目的是通过下述技术方案来实现的。
一种基于深度森林分类的图像质量评价方法,其特征在于,包括以下步骤:
步骤1、图像分类:将质量评价数据库中的图像,按照平均主观得分或平均主观得分差异排序,将图像按数量等分为五类,得到图像对应的类别标签;
步骤2、对质量评价数据库中的图像进行颜色空间变换,从RGB(红、绿、蓝)空间变换到Lαβ(亮度、蓝黄、红绿)空间,利用AGGD(非对称广义高斯分布模型)拟合蓝黄和红绿通道的信息,分别得到蓝黄和红绿通道的形状参数、左右方差、峰态参数和偏态参数,并得到10维的图像颜色质量特征;
步骤3、对图像进行两次下采样,得到三幅大小不同的图像,模拟人在不同距离下对图像全局质量的认知过程,分别提取这三幅图像的MSCN(去均值对比度归一化)系数,提取MSCN系数带有幅度权重的LBP(局部二值模式)直方图特征,并采用GGD(广义高斯分布模型)拟合MSCN系数,得到其形状参数和方差;并得到36维的图像纹理质量特征;
步骤4、利用深度森林分类模型中决策树提取特征的不同,模拟不同人对图像质量的感知差异,构建深度森林分类模型对图像质量进行分类,包括多粒度扫描森林和级联森林;
步骤5、基于图像质量特征及其类别标签,对深度森林分类模型进行训练,得到测试图像归属于不同类别的概率,即不同人对图像质量主观评价结果的统计信息;
步骤6、设置质量锚:设质量评分的取值范围为[0,100],将其等分为五类,选取对应类别的最小值作为质量锚,然后结合图像归属于不同类别的概率,得到最终的图像质量评分。
进一步地,步骤1中,按照质量评价数据库中图像的主观评分对图像进行排序,若主观评分为MOS值,则从大到小进行排序;若主观评分为DMOS值,则对图像从小到大进行排序;按照图像的数量将数据库中的图像五等分。
进一步地,步骤2还包括:
步骤2.1、对质量评价数据库中的图像进行颜色空间变换,从RGB空间变换到Lαβ空间,最终得到Lαβ颜色空间中的特征分量;
步骤2.2、利用AGGD拟合蓝黄和红绿通道的信息,分别得到蓝黄和红绿通道的形状参数和左右方差,计算过程为:
式中,x为输入的特征分量,α为形状参数,分别为左右方差,是伽马函数,t为积分变量;
步骤2.3、计算蓝黄和红绿通道的峰态参数和偏态参数,计算过程为:
式中,K为峰态参数,S为偏态参数,xi为第i个特征分量,为特征分量的均值,n为特征分量的个数;
步骤2.4、整合蓝黄和红绿通道的形状参数、左右方差、峰态参数和偏态参数,得到10维的图像颜色质量特征。
进一步地,步骤3还包括:
步骤3.1、利用最近邻差值方法对输入图像进行两次缩放,共得到三幅不同尺寸的图像,模拟人在不同距离下对图像全局质量的认知过程;
步骤3.2、提取上述三幅不同尺寸图像的MSCN系数,计算过程如下:
式中,为MSCN系数,I(i,j)为图像在(i,j)处的像素值,其中i∈{1,2,…,M},j∈{1,2,…,N};M,N分别为图像的高和宽;C为常数,为避免图像平坦区域分母趋向于0时发生不稳定,令C=1;
式中,ωk,l={ω(k,l)|k=-K,…K;l=-L,…L}为中心对称的高斯加权滤波窗口,K=L=3,Ik,l(i,j)为图像在滤波窗口(i,j)处的像素值;
步骤3.3、在MSCN系数中提取旋转不变均匀LBP特征,计算过程如下:
式中,为旋转不变均匀LBP模式,xc表示位于中心点(x,y)的像素值,r表示覆盖的圆周半径,p表示圆周上均匀分布的像素点数目,为符号函数,xr,p,n表示邻域的第n个像素值,U≤2表示LBP模式中圆周上相邻的两个二元值0/1(1/0)的变化次数,定义为:
步骤3.4、利用MSCN系数的幅度值作为权重,将LBP直方图统计归一化为10种模式,每幅图像得到10维的权重LBP直方图特征,由于输入为三幅尺寸不同的图像,故共计30维特征,计算过程如下:
式中,ωi,j为图像在(i,j)处的MSCN系数的幅度值,k∈[0,10]为LBP直方图的10种模式,δ(x)为冲激函数,其中i∈{1,2,…,M},j∈{1,2,…,N},M,N分别为图像的高和宽;
步骤3.5、利用GGD拟合MSCN系数,得到其形状参数和方差,每幅图像为2维特征,由于输入为三幅尺寸不同的图像,共计6维特征,计算过程如下:
式中,x为输入的特征分量,α为形状参数,σ2为方差,是伽马函数,t为积分变量;
步骤3.6、整合上述步骤3中的所有特征,得到36维的图像纹理质量特征。
进一步地,步骤4还包括:
步骤4.1、利用深度森林分类模型中决策树提取特征的不同,模拟不同人对图像质量的感知差异,构造深度森林分类模型对图像质量进行分类;深度森林分类模型为级联森林和多粒度扫描森林两部分组成的多层结构,每层级联森林和多粒度扫描森林均包含等量的随机森林和完全随机森林,每个森林中的随机树,通过随机选择不同的特征在树的每个节点进行分割,从而实现生长,直到每个叶节点只包含相同类的实例或不超过2个实例时,停止生长;
步骤4.2、多粒度扫描,模拟人对图像质量由全局到局部的认知过程,利用不同尺寸的滑动窗口分别扫描原始特征,得到不同长度的特征向量;将生成的特征向量输入到多粒度扫描森林中,输出为不同长度的特征类向量;
步骤4.3、将多粒度扫描输出的所有概率向量串联作为第一层级联森林的输入,将第一层级联森林的输入和输出作为第二层级联森林的输入,将第一层的输入和第二层的输出作为第三层的输入,以此类推,在后续的每一层中,将第一层的输入和上一层的输出作为本层的输入,在扩展一个新的级后,整个级联森林的性能将在验证集上进行估计,如果分类精度没有提升,训练过程终止,通过对原始特征的逐层处理,提高级联森林对图像质量特征的表征能力;
步骤4.4、级联森林中的每棵树计算每个样本被分为不同类别的概率值,对森林中所有树得到的概率值求平均,得到样本被分为不同类别的概率值。
进一步地,步骤5还包括:
步骤5.1、将质量评价数据库按照6:2:2的比例随机划分为训练集、验证集和测试集;
步骤5.2、将图像的颜色和纹理质量特征串联,得到46维的图像质量特征;
步骤5.3、将训练集与验证集中的图像质量特征和图像类别标签输入深度森林分类模型中,对深度森林分类模型进行训练;
步骤5.4、将测试集的图像质量特征输入深度森林分类模型中,得到测试集图像被分为不同类别的概率值,即不同人对图像质量主观评价结果的统计信息。
进一步地,步骤6中还包括:设质量评分的取值范围为[0,100],将其等分为五类,选取对应类别的最小值作为质量锚,即5个质量类别的质量锚为[0,20,40,60,80],结合步骤4中得到的测试集图像归属于每个类的概率值,得到最终的图像质量评分,计算过程为:
式中,Score为图像质量评分,i为图像类别,ci为第i类的质量锚,pi为图像归属于第i类的概率值,N=5为图像类别数。
本发明结合深度森林,提出了一种基于深度森林分类的无参考图像质量评价方法。与传统方法相比,本发明所提方法,通过提取图像质量特征训练深度森林分类模型,利用深度森林分类模型中决策树提取特征的不同,模拟不同人对图像质量认知的差异,得到图像被分为不同类别的概率,即不同人对图像质量主观评价结果的统计信息,结合质量锚和不同类别概率,充分考虑主观评价过程中的差异性,最终实现了无参考的图像质量评价结果。
附图说明
图1为本发明的流程;
图2为本发明图像质量特征提取过程示意图;
图3为本发明深度森林分类模型结构图;
具体实施方式
下面结合附图及具体实施方式进一步说明本发明,但此种通过附图描述的实施例是示例性的,仅用于解释本发明,不能限制本发明权力范围。
本发明一种基于深度森林分类的无参考图像质量评价方法如图1所示,其主要步骤介绍如下:
步骤1、图像分类
由于人们对图像质量的主观评判更倾向于给出定性的描述而非定量的数值,因此本发明首先对质量评价数据库中的图像进行分类。按照质量评价数据库中图像的主观评分对图像进行排序,若主观评分为MOS值,则从大到小进行排序;若主观评分为DMOS值,则对图像从小到大进行排序;考虑到不同类别图像的数目相差较大时,深度森林的分类精度会受到较大程度的影响,因此根据图像总数将图像五等分,使每一类的图像数目相等,分别对应极好、好、一般、较差、差五类图像,类别标签为1、2、3、4、5。例如TID2013数据库中共3000幅图像,则每一类的图像数目分别为600张。
图像质量特征主要分为图像的颜色质量特征和纹理质量特征。大量心理学实验证明,图像的色彩和纹理是影响人类视觉感官的两种主要特征。因此,为了更好的模拟人类对图像质量的主观评价过程,本发明分别在Lαβ颜色空间中提取图像的颜色质量特征,在不同尺度下提取图像的纹理质量特征,基于这两种特征进行后续的图像质量评价,图像质量特征的提取过程如图2所示。该方法的具体实施步骤如下:
步骤2、图像颜色质量特征获取
步骤2.1、对质量评价数据库中的图像进行颜色空间变换,从RGB空间变换到Lαβ空间,有效去除颜色各通道间的相关性,得到Lαβ颜色空间中蓝黄和红绿通道的特征分量;
步骤2.2、利用AGGD拟合上述步骤得到的蓝黄和红绿通道的特征分量,分别得到蓝黄和红绿通道的形状参数和左右方差,计算过程为:
式中,x为输入的特征分量,α为形状参数,分别为左右方差,是伽马函数,t为积分变量;
步骤2.3、根据上述拟合出的信息,分别计算蓝黄和红绿通道的峰态参数和偏态参数,计算过程为:
式中,K为峰态参数,S为偏态参数,xi为第i个特征分量,为特征分量的均值,n为特征分量的个数;
步骤2.4、根据上述拟合出的信息,整合蓝黄和红绿通道的形状参数、左右方差、峰态参数和偏态参数,得到10维的图像颜色质量特征;
步骤3、图像纹理质量特征获取
考虑到不同尺度下人类视觉系统对图像纹理的敏感性不同,在不同的尺度下提取图像的纹理信息能够更客观的反映图像的纹理质量。因此,本发明提取的图像纹理质量特征共计36维,获取步骤如下:
步骤3.1、利用最近邻差值方法对输入图像进行两次缩放,每一次都在上一次的基础上将图像缩小一倍,得到三幅不同尺寸的图像,模拟人在不同距离下对图像全局质量的认知过程;
步骤3.2、对上述三幅不同尺寸的图像提取其MSCN系数,计算过程如下:
式中,为MSCN系数,I(i,j)为图像在(i,j)处的像素值,其中i∈{1,2,…,M},j∈{1,2,…,N};M,N分别为图像的高和宽;C为常数,为避免图像平坦区域分母趋向于0时发生不稳定,令C=1。
式中,ωk,l={ω(k,l)|k=-K,…K;l=-L,…L}为中心对称的高斯加权滤波窗口,K=L=3,Ik,l(i,j)为图像在滤波窗口(i,j)处的像素值;
步骤3.3、在图像的MSCN系数中,提取旋转不变均匀LBP特征,计算过程如下:
式中,为旋转不变均匀LBP模式,xc表示位于中心点(x,y)的像素值,r表示覆盖的圆周半径,p表示圆周上均匀分布的像素点数目,为符号函数,xr,p,n表示邻域的第n个像素值,U≤2表示LBP模式中圆周上相邻的两个二元值0/1(1/0)的变化次数,定义为:
步骤3.4、为了更好的反映图像的纹理质量特征,利用MSCN系数幅度作为权重,统计归一化LBP直方图,每幅图像得到10维的权重LBP直方图特征,由于输入为三幅尺寸不同的图像,共计30维特征,计算过程如下:
式中,ωi,j为图像在(i,j)处的MSCN系数的幅度值,k∈[0,10]为LBP直方图的10种模式,δ(x)为冲激函数,其中i∈{1,2,…,M},j∈{1,2,…,N},M,N分别为图像的高和宽。
步骤3.5、利用GGD拟合MSCN系数,得到其形状参数和方差,每幅图像为2维特征,由于输入为三幅尺寸不同的图像,共计6维特征,计算过程如下:
式中,x为输入的特征分量,α为形状参数,σ2为方差,是伽马函数,t为积分变量;
步骤4、利用深度森林分类模型中决策树提取特征的不同,模拟不同人对图像质量的感知差异,构造深度森林分类模型对图像质量进行分类。
具体结构如图3所示,分为多粒度扫描森林和级联森林。
步骤4.1、深度森林分类模型中,每层级联森林和多粒度扫描森林均包含数量相等的随机森林和完全随机森林,每个森林的随机树通过随机选择不同特征在树的每个节点进行分割和生长,直到每个叶节点只包含相同类的实例或不超过2个实例才停止生长。
步骤4.2、多粒度扫描森林,模拟人对图像质量由全局到局部的认知过程,利用三个不同尺寸的滑动窗口分别扫描原始输入特征,得到不同长度的特征向量。将生成的特征向量输入到多粒度扫描森林中,得到不同长度的特征类向量。
步骤4.3、第一层级联森林的输入为串联后的多粒度扫描森林输出,输出为所有类的概率向量。将第一层的输出和输入串联,作为第二层级联森林的输入;将第一层的输入和第二层的输出串联,作为第三层的输入。以此类推,在后续的每一层中,将第一层的输入和上一层的输出作为本层的输入。此外,在扩展一个新的级后,整个级联的性能将在验证集上进行估计,如果分类精度没有显著的提高,训练过程将终止。因此,级联森林中级的数量是自动确定的。在这一步骤中,本发明通过对原始特征的逐层处理,提高级联森林对图像质量特征的表征能力;
步骤4.4、级联森林中的每棵树分别计算每个样本被分为不同类别的概率值,对森林中所有树得到的概率值求平均,得到样本被分为不同类别的概率;
步骤5、训练深度森林分类模型,得到测试图像归属于不同类别的概率
步骤5.1、将质量评价数据库按照6:2:2的比例,随机分为训练集、验证集合测试集。
步骤5.2、将第3、4步提取的图像颜色和纹理质量特征串联,得到46维的图像质量特征。
步骤5.3、将训练集与验证集中的图像质量特征和图像类别标签输入深度森林分类模型中,对深度森林分类模型进行训练和验证。
步骤5.4、将测试图像的质量特征输入训练好的深度森林分类模型中,得到图像被分为不同类别的概率值,即可看做不同人对图像质量主观评价结果的统计信息。
步骤6、质量评分的确定
为了获取准确的图像质量评分,设质量评分的取值范围为[0,100],将其等分为五类,本发明选取对应类别的最小值作为质量锚,即将5个类别的质量锚设置为[0,20,40,60,80],结合深度森林分类模型中得到的图像归属于每个类的概率值,得到最终的图像质量评分,计算过程为:
式中,Score为图像质量评分,i为图像类别,ci为第i类的质量锚,pi为图像归属于第i类的概率值,N=5为图像类别数。
上述实施例为本发明的具体实施例,所要明确的是,本发明的实施方式并不仅限于上述实施例,后续在实施例上进行的任何修改、等同替换、改进等均应包含在本发明的保护范围。
Claims (7)
1.一种基于深度森林分类模型的无参考图像质量评价方法,其特征在于其特征在于其特征在于,包括以下步骤:
步骤1、图像分类:将质量评价数据库中的图像,按照平均主观得分或平均主观得分差异排序,将图像按数量等分为五类,得到图像对应的类别标签;
步骤2、对质量评价数据库中的图像进行颜色空间变换,从红、绿、蓝空间变换到亮度、蓝黄、红绿空间,利用非对称广义高斯分布模型拟合蓝黄和红绿通道的信息,分别得到蓝黄和红绿通道的形状参数、左右方差、峰态参数和偏态参数,并得到10维的图像颜色质量特征;
步骤3、对图像进行两次下采样,得到三幅大小不同的图像,模拟人在不同距离下对图像全局质量的认知过程,分别提取这三幅图像的去均值对比度归一化系数,提取去均值对比度归一化系数带有幅度权重的局部二值模式直方图特征,并采用广义高斯分布模型拟合去均值对比度归一化系数,得到其形状参数和方差;并得到36维的图像纹理质量特征;
步骤4、利用深度森林分类模型中决策树提取特征的不同,模拟不同人对图像质量的感知差异,构建深度森林分类模型对图像质量进行分类,包括多粒度扫描森林和级联森林;
步骤5、基于图像质量特征及其类别标签,对深度森林分类模型进行训练,得到测试图像归属于不同类别的概率,即不同人对图像质量主观评价结果的统计信息;
步骤6、设置质量锚:设质量评分的取值范围为[0,100],将其等分为五类,选取对应类别的最小值作为质量锚,然后结合图像归属于不同类别的概率,得到最终的图像质量评分。
2.根据权利要求1所述的方法,其特征在于:步骤1中,按照质量评价数据库中图像的主观评分对图像进行排序,若主观评分为平均主观得分值,则从大到小进行排序;若主观评分为平均主观得分差异值,则对图像从小到大进行排序;按照图像的数量将数据库中的图像五等分。
3.根据权利要求1所述的方法,其特征在于:步骤2进一步包括:
步骤2.1、对质量评价数据库中的图像进行颜色空间变换,从红、绿、蓝空间变换到亮度、蓝黄、红绿空间,最终得到亮度、蓝黄、红绿空间中的特征分量;
步骤2.2、利用非对称广义高斯分布模型拟合蓝黄和红绿通道的信息,分别得到蓝黄和红绿通道的形状参数和左右方差,计算过程为:
式中,x为输入的特征分量,α为形状参数,分别为左右方差,是伽马函数,t为积分变量;
步骤2.3、计算蓝黄和红绿通道的峰态参数和偏态参数,计算过程为:
式中,K为峰态参数,S为偏态参数,xi为第i个特征分量,为特征分量的均值,n为特征分量的个数;
步骤2.4、整合蓝黄和红绿通道的形状参数、左右方差、峰态参数和偏态参数,得到10维的图像颜色质量特征。
4.根据权利要求1所述的方法,其特征在于:步骤3进一步包括子步骤:
步骤3.1、利用最近邻差值方法对输入图像进行两次缩放,共得到三幅不同尺寸的图像,模拟人在不同距离下对图像全局质量的认知过程;
步骤3.2、提取上述三幅不同尺寸图像的去均值对比度归一化系数,计算过程如下:
式中,为去均值对比度归一化系数,I(i,j)为图像在(i,j)处的像素值,其中i∈{1,2,…,M},j∈{1,2,…,N};M,N分别为图像的高和宽;C为常数,为避免图像平坦区域分母趋向于0时发生不稳定,令C=1;
式中,ωk,l={ω(k,l)|k=-K,…K;l=-L,…L}为中心对称的高斯加权滤波窗口,K=L=3,Ik,l(i,j)为图像在滤波窗口(i,j)处的像素值;
步骤3.3、在去均值对比度归一化系数中提取旋转不变均匀局部二值模式特征,计算过程如下:
式中,为旋转不变均匀局部二值模式,xc表示位于中心点(x,y)的像素值,r表示覆盖的圆周半径,p表示圆周上均匀分布的像素点数目,为符号函数,xr,p,n表示邻域的第n个像素值,U≤2表示局部二值模式中圆周上相邻的两个二元值0/1(1/0)的变化次数,定义为:
步骤3.4、利用去均值对比度归一化系数的幅度值作为权重,将局部二值模式直方图统计归一化为10种模式,每幅图像得到10维的权重局部二值模式直方图特征,由于输入为三幅尺寸不同的图像,故共计30维特征,计算过程如下:
式中,ωi,j为图像在(i,j)处的去均值对比度归一化系数的幅度值,k∈[0,10]为局部二值模式直方图的10种模式,δ(x)为冲激函数,其中i∈{1,2,…,M},j∈{1,2,…,N},M,N分别为图像的高和宽;
步骤3.5、利用广义高斯分布模型拟合去均值对比度归一化系数,得到其形状参数和方差,每幅图像为2维特征,由于输入为三幅尺寸不同的图像,共计6维特征,计算过程如下:
式中,x为输入的特征分量,α为形状参数,σ2为方差,是伽马函数,t为积分变量;
步骤3.6、整合上述步骤3中的所有特征,得到36维的图像纹理质量特征。
5.根据权利要求1所述的方法,其特征在于:步骤4进一步包括步骤:
步骤4.1、利用深度森林分类模型中决策树提取特征的不同,模拟不同人对图像质量的感知差异,构造深度森林分类模型对图像质量进行分类;深度森林分类模型为级联森林和多粒度扫描森林两部分组成的多层结构,每层级联森林和多粒度扫描森林均包含等量的随机森林和完全随机森林,每个森林中的随机树,通过随机选择不同的特征在树的每个节点进行分割,从而实现生长,直到每个叶节点只包含相同类的实例或不超过2个实例时,停止生长;
步骤4.2、多粒度扫描,模拟人对图像质量由全局到局部的认知过程,利用不同尺寸的滑动窗口分别扫描原始特征,得到不同长度的特征向量;将生成的特征向量输入到多粒度扫描森林中,输出为不同长度的特征类向量;
步骤4.3、将多粒度扫描输出的所有概率向量串联作为第一层级联森林的输入,将第一层级联森林的输入和输出作为第二层级联森林的输入,将第一层的输入和第二层的输出作为第三层的输入,以此类推,在后续的每一层中,将第一层的输入和上一层的输出作为本层的输入,在扩展一个新的级后,整个级联森林的性能将在验证集上进行估计,如果分类精度没有提升,训练过程终止,通过对原始特征的逐层处理,提高级联森林对图像质量特征的表征能力;
步骤4.4、级联森林中的每棵树计算每个样本被分为不同类别的概率值,对森林中所有树得到的概率值求平均,得到样本被分为不同类别的概率值。
6.根据权利要求1所述的方法,其特征在于:步骤5进一步包括:
步骤5.1、将质量评价数据库按照6:2:2的比例随机划分为训练集、验证集和测试集;
步骤5.2、将图像的颜色和纹理质量特征串联,得到46维的图像质量特征;
步骤5.3、将训练集与验证集中的图像质量特征和图像类别标签输入深度森林分类模型中,对深度森林分类模型进行训练;
步骤5.4、将测试集的图像质量特征输入深度森林分类模型中,得到测试集图像被分为不同类别的概率值,即不同人对图像质量主观评价结果的统计信息。
7.根据权利要求1所述的方法,其特征在于:步骤6中,设质量评分的取值范围为[0,100],将其等分为五类,选取对应类别的最小值作为质量锚,即5个质量类别的质量锚为[0,20,40,60,80],结合步骤4中得到的测试集图像归属于每个类的概率值,得到最终的图像质量评分,计算过程为:
式中,Score为图像质量评分,i为图像类别,ci为第i类的质量锚,pi为图像归属于第i类的概率值,N=5为图像类别数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910622968.0A CN110400293B (zh) | 2019-07-11 | 2019-07-11 | 一种基于深度森林分类的无参考图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910622968.0A CN110400293B (zh) | 2019-07-11 | 2019-07-11 | 一种基于深度森林分类的无参考图像质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110400293A true CN110400293A (zh) | 2019-11-01 |
CN110400293B CN110400293B (zh) | 2021-05-28 |
Family
ID=68325332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910622968.0A Active CN110400293B (zh) | 2019-07-11 | 2019-07-11 | 一种基于深度森林分类的无参考图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110400293B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111753873A (zh) * | 2020-05-12 | 2020-10-09 | 北京捷通华声科技股份有限公司 | 一种图像检测方法和装置 |
CN112950597A (zh) * | 2021-03-09 | 2021-06-11 | 深圳大学 | 一种失真图像质量评价方法、装置、计算机设备及存储介质 |
CN113570538A (zh) * | 2020-04-28 | 2021-10-29 | 福建省烟草公司龙岩市公司 | 一种叶片rgb图像偏态分布参数信息采集及分析方法 |
CN114067006A (zh) * | 2022-01-17 | 2022-02-18 | 湖南工商大学 | 一种基于离散余弦变换的屏幕内容图像质量评价方法 |
CN114549492A (zh) * | 2022-02-27 | 2022-05-27 | 北京工业大学 | 一种基于多粒度图像信息内容的质量评价方法 |
CN114896436A (zh) * | 2022-06-14 | 2022-08-12 | 厦门大学 | 一种基于表征互信息的网络结构搜索方法 |
CN115600483A (zh) * | 2022-07-04 | 2023-01-13 | 临沂大学(Cn) | 一种基于深度森林的降水反演方法 |
CN113570538B (zh) * | 2020-04-28 | 2024-05-17 | 福建省烟草公司龙岩市公司 | 一种叶片rgb图像偏态分布参数信息采集及分析方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103475898A (zh) * | 2013-09-16 | 2013-12-25 | 北京理工大学 | 一种基于信息熵特征的无参考图像质量评价方法 |
CN109325550A (zh) * | 2018-11-02 | 2019-02-12 | 武汉大学 | 基于图像熵的无参考图像质量评价方法 |
-
2019
- 2019-07-11 CN CN201910622968.0A patent/CN110400293B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103475898A (zh) * | 2013-09-16 | 2013-12-25 | 北京理工大学 | 一种基于信息熵特征的无参考图像质量评价方法 |
CN109325550A (zh) * | 2018-11-02 | 2019-02-12 | 武汉大学 | 基于图像熵的无参考图像质量评价方法 |
Non-Patent Citations (2)
Title |
---|
JIE LI 等: "No-reference image quality assessment based on hybrid model", 《SPRINGER》 * |
陈寅栋 等: "卷积神经网络结合深度森林的无参考图像质量评价", 《激光与光电子学进展》 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113570538A (zh) * | 2020-04-28 | 2021-10-29 | 福建省烟草公司龙岩市公司 | 一种叶片rgb图像偏态分布参数信息采集及分析方法 |
CN113570538B (zh) * | 2020-04-28 | 2024-05-17 | 福建省烟草公司龙岩市公司 | 一种叶片rgb图像偏态分布参数信息采集及分析方法 |
CN111753873A (zh) * | 2020-05-12 | 2020-10-09 | 北京捷通华声科技股份有限公司 | 一种图像检测方法和装置 |
CN112950597A (zh) * | 2021-03-09 | 2021-06-11 | 深圳大学 | 一种失真图像质量评价方法、装置、计算机设备及存储介质 |
CN112950597B (zh) * | 2021-03-09 | 2022-03-08 | 深圳大学 | 一种失真图像质量评价方法、装置、计算机设备及存储介质 |
CN114067006A (zh) * | 2022-01-17 | 2022-02-18 | 湖南工商大学 | 一种基于离散余弦变换的屏幕内容图像质量评价方法 |
CN114067006B (zh) * | 2022-01-17 | 2022-04-08 | 湖南工商大学 | 一种基于离散余弦变换的屏幕内容图像质量评价方法 |
CN114549492A (zh) * | 2022-02-27 | 2022-05-27 | 北京工业大学 | 一种基于多粒度图像信息内容的质量评价方法 |
CN114896436A (zh) * | 2022-06-14 | 2022-08-12 | 厦门大学 | 一种基于表征互信息的网络结构搜索方法 |
CN114896436B (zh) * | 2022-06-14 | 2024-04-30 | 厦门大学 | 一种基于表征互信息的网络结构搜索方法 |
CN115600483A (zh) * | 2022-07-04 | 2023-01-13 | 临沂大学(Cn) | 一种基于深度森林的降水反演方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110400293B (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110400293A (zh) | 一种基于深度森林分类的无参考图像质量评价方法 | |
CN109325550B (zh) | 基于图像熵的无参考图像质量评价方法 | |
CN112435221A (zh) | 一种基于生成式对抗网络模型的图像异常检测方法 | |
CN109816625A (zh) | 一种视频质量评分实现方法 | |
CN104680524B (zh) | 一种叶类蔬菜病害诊断方法 | |
CN114549522A (zh) | 基于目标检测的纺织品质量检测方法 | |
CN109635875A (zh) | 一种基于深度学习的端到端网口检测方法 | |
CN106447646A (zh) | 一种用于无人机图像的质量盲评价方法 | |
CN111985499B (zh) | 一种基于计算机视觉的高精度桥梁表观病害识别方法 | |
CN103034838A (zh) | 一种基于图像特征的特种车辆仪表类型识别与标定方法 | |
CN104282008B (zh) | 对图像进行纹理分割的方法和装置 | |
CN109214298A (zh) | 一种基于深度卷积网络的亚洲女性颜值评分模型方法 | |
CN111260645B (zh) | 基于分块分类深度学习的篡改图像检测方法及系统 | |
CN109344845A (zh) | 一种基于Triplet深度神经网络结构的特征匹配方法 | |
CN111709914B (zh) | 一种基于hvs特性的无参考图像质量评价方法 | |
CN106709438A (zh) | 一种基于视频会议的人数统计方法 | |
CN109829924A (zh) | 一种基于主体特征分析的图像质量评价方法 | |
CN105894507B (zh) | 基于图像信息量自然场景统计特征的图像质量评价方法 | |
She et al. | Intelligent animal fiber classification with artificial neural networks | |
CN114170511A (zh) | 基于Cascade RCNN的路面裂缝病害识别方法 | |
CN109523514A (zh) | 对逆合成孔径雷达isar的批量成像质量评估方法 | |
CN115294109A (zh) | 基于人工智能的实木板材生产缺陷识别系统、电子设备 | |
CN112766145B (zh) | 人工神经网络的人脸动态表情识别方法及装置 | |
CN106548195A (zh) | 一种基于改进型hog‑ulbp特征算子的目标检测方法 | |
CN109754390A (zh) | 一种基于混合视觉特征的无参考图像质量评价方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |