CN106454350A - 一种用于红外图像的无参考评价方法 - Google Patents

一种用于红外图像的无参考评价方法 Download PDF

Info

Publication number
CN106454350A
CN106454350A CN201610485881.XA CN201610485881A CN106454350A CN 106454350 A CN106454350 A CN 106454350A CN 201610485881 A CN201610485881 A CN 201610485881A CN 106454350 A CN106454350 A CN 106454350A
Authority
CN
China
Prior art keywords
value
image
sigma
point
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610485881.XA
Other languages
English (en)
Inventor
陆文骏
李从利
薛松
武昕伟
童利标
杨修顺
彭东辉
金波
刘永峰
张鹏飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PLA MILITARY ACADEMY
Original Assignee
PLA MILITARY ACADEMY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PLA MILITARY ACADEMY filed Critical PLA MILITARY ACADEMY
Priority to CN201610485881.XA priority Critical patent/CN106454350A/zh
Publication of CN106454350A publication Critical patent/CN106454350A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/004Diagnosis, testing or measuring for television systems or their details for digital television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion

Abstract

本发明涉及一种用于红外图像的无参考质量评价方法,该无参考质量评价方法的步骤为:S1、基于轮廓特征的显著度度量;S2、基于灰度共生矩阵的纹理特征度量;S3、基于SIFT的点特征度量;S4、把特征点的数量作为质量得分产生依据。本方法在综合分析经典无参考图像质量评价方法和红外图像特点的基础上,提取了能够表征红外辐射特性的轮廓、纹理和点特征,并结合目标显著性构建基于混合特征和显著性检测的红外图像质量评价模型,该质量评价模型以实拍红外图像为样本,以主观评测作为度量基准,能够更好地评价红外图像。

Description

一种用于红外图像的无参考评价方法
技术领域
本发明涉及红外热成像技术领域,具体地说涉及一种用于红外图像的无参考质量评价方法。
背景技术
通常,红外热成像系统是先通过红外光学系统来探测采集感兴趣目标的红外辐射能量,从信号的角度去看,红外热辐射信号接着被转换为电信号,然后经过各功能电路处理之后即可生成所需的图像。在自然界中,由于具有一定温度的物体都会发射与其特性相关的热辐射能量,因而此红外辐射的电磁波频率范围很宽。与可见光成像不同的是,非制冷型红外热成像系统大多是感受物体热辐射与背景热辐射的温度差异进行成像的,并且由于红外探测器普遍存在非均匀性等特点,使得图像的质量低于可见光图像。
由于红外成像的质量较低,在处理红外图像之前就需要对图像质量进行评估,并以此来指导相关的工作。例如对红外图像的质量评价可以帮助改进设计和研制红外热成像系统的流程,从而提高红外焦平面的成像质量。由于红外图像的质量受到各种因素的制约,其中包括:图像的对比度、红外成像系统的光学性能、图像放大处理电路的性能、仪器和环境的噪声等,因此红外图像质量的评价结果,还可以反馈至红外图像的获取、传输和处理等各个环节,对于红外热成像系统的定性评价具有重要的意义和实际应用价值。另外可对采集的一系列红外图像进行质量排序,便于挑选质量较高的图像,为后续的图像匹配、图中目标检测与识别等处理方法提供样本基础,同时也可为处理算法的对比提供评价指标依据。
目前在国际和国内的形容上,图像质量评价研究仍然是计算机视觉和图像处理领域的热点问题,不同的研究团队相继推出了供图像质量评价研究的各类数据库已超过30个,每年有关图像质量评价的新理论、新方法、改进和扩展方法、应用文章在重要国际期刊(TPAMI、TIP、IJCV;etc.)和会议(CVPR、ICCV、ECCV、ICIP;etc.)上相继发表。
一直以来,学者们对图像质量评价的研究主要沿着三条技术路线同步展开:一是人眼视觉特性(Human Visual System,HVS)的理论研究;二是图像质量评价理论和方法的创新;三是结合实际图像质量评价方法的拓展应用。三条技术主线紧密结合,相互促进,使得图像质量评价研究呈现欣欣向荣的局面。
图像质量的评价研究最早可追溯到1940年,Goldmark和Dyer首次对电视图像质量的影响因素进行了分析,将其分为:清晰度、对比度、颜色等级、亮度、闪烁、几何失真、图像大小、颜色、噪声。虽然没有建立相应的评价方法,但给后续的研究提供了有益的启发和借鉴,现在许多算法仍然使用其中的评价因子。
1952年Winch首次提出了针对彩色电视图像质量的客观评价方法,文中指出质量评价的原则是基于数据特性的质量因子提取需与主观表现相符合;尤其值得一提的是1955年Fellgett和Linfoot设计的“基于相似性评价”和“基于内容评价”的重要评价策略,沿用至今。
如何将人眼视觉特性引入图像质量评价过程也是研究的焦点,上世纪60年代至70年代初,学者们对人眼视觉特性描述进行了有益的探索和研究,相继提出了亮度敏感度、对比敏感度、视觉遮掩效应等开创性成果;在此基础上人们在80年代对人眼视觉模型进行了深入研究,提出了如多通道、对比遮掩等新模型并尝试将其引入评价过程中,取得了较好的效果。在HVS特性研究方面,人们通过分析视觉刺激的变化与视觉心理感知的关系从而获得对HVS更深入的认识,现在大多数评价算法都直接或间接地应用了HVS特性。
1990年以后,随着计算机软硬件技术的飞速发展,数字图像得以大量应用,学者们也将评价对象聚焦在数字图像上。DCT、DWT等时频工具不断地被用于图像质量评价中;同时人们对HVS模型进行了深化研究,在评价过程引入了越来越多的HVS特性;与此同时也开始关注特定失真类型图像的评价问题,提出了很多有用的方法,在图像编码、压缩等领域得以实际应用;在此阶段另一个典型的成果是针对自然场景统计特性的深入分析研究,得出自然图像的变换统计因子趋近于拉普拉斯分布的重要结论,且经过研究发现失真会一定程度影响这一分布,从而采用该分布的参数变化来度量失真对图像质量的影响;该工作为基于自然场景统计特性(Natural Scene Statistics,NSS)的经典评价方法的产生奠定了理论基础。
2000年以后,图像质量评价迎来了研究热潮,逐渐成为数字图像处理领域的一个活跃分支;一般将其分为主观(Subjective)和客观(Objective)评价两类。主观评价方法时间长长、成本高、过程复杂且对环境要求苛刻,应用起来较为困难,故常被用来作为评估各种客观评价算法的标准(Ground Truth);客观评价方法则通过模拟人眼视觉感知机制而建立相应模型,模型的输出为定量数值,从而为衡量图像质量给出量化指标,该方法简单容易实现、效率高和便于集成在大兴数字图像处理系统中,客观评价方法根据是否需要利用原始参考图像又可分为全参考型、弱参考型、无参考型(也称盲评)三种。
在图像质量评价理论方面,学者们逐渐将研究焦点由全参考和弱参考转移到无参考评价上,无参考评价理论研究的技术趋势为:由特定失真(Distortion Specific)、混合失真向非限定失真发展(Non-Distortion Specific)、由主观得分已知(Opinion Aware)向主观得分未知(Opinion Unaware)发展。
基于特定失真的方法,是指算法评价的失真类型是已知。例如:针对JPEG压缩图像的块效应,主要有Wang等人分别提出了一种基于空域和频域特征提取的质量评价方法和Bovik等人在离散余弦变换域对JPEG压缩图进行质量评价。针对JPEG2000压缩引起的模糊失真和振铃效应,Sheikh等人提出利用自然场景统计的信息来进行评价,由于图像压缩量化后比自然图像产生了更多的零系数,该方法正是基于这一点利用小波系数的统计模型来计算和提取特征。针对模糊失真会对图像边缘产生影响,研究人员采用空域度量边缘宽度或扩散程度来估计图像模糊的程度。
上述都针对特定失真类型而设计的方法,具有很大的限制性。无参考型方法的最终目的就是需要设计在无任何参考信息的情况下针对不同类型失真都适用的方法。可以将它分为两类:主观得分已知但失真类型未知(OA-DU)、主观得分和失真类型均未知(OU-DU)。OA-DU算法需要借助图像的主观评分进行训练,目前主要分为两条研究主线:两步框架法和全局方法。所谓的两步框架法是先对图像中存在的失真类型进行分类,然后运用特定失真评价方法分别对图像的各类失真程度进行度量。该类典型的算法包括BIQI和DIIVINE。BIQI算法首先使用广义高斯模型(Generalized Gaussian Distribution,GGD)提取图像的特征,然后采用支持向量回归(Support Vector Regression,SVR)的方法分别对每一类失真的程度进行度量。DIIVINE是BIQI的改进,主要是区别就是使用的特征变为88个自然场景统计特征。两步框架法需要先定义图像的失真类型,并且要有针对这些失真类型的质量评价方法,具有一定的局限性。因此,需要设计一种全局法,在不区分失真类型的情况下,运用或者设计合理、有效的机器学习算法,寻找图像及其特征到图像质量的有效映射,从而对图像质量进行评估,典型的方法有:LBIQ,BLIINDS,BLIINDS-II,CORNIA和SRNSS等。Tang等人提出的LBIQ方法分别对三组特征进行回归分析的到质量,最后综合得到最终质量。Bovik等人提出了运用神经网络(Neural Network,NN)的方法将特征映射到质;同时提出了BLIINDS和BLIINDS-II方法,运用机器学习方法进行质量评价。Doermann等人提出的CORNIA方法,则运用了支持向量机建立特征到质量的关系。Gao等人提出的SRNSS则是利用了稀疏表示的方法,有效的解决了训练时需要大量主观测试样本的问题。
OU-DU是指这类算法不需要训练图像的主观评分。例如:QAC、BLISS算法,这类算法没有利用图像的主观评分,但是借用全参考算法先评价训练图像,这就相当于给训练图像打上了标签,这类算法的优势是不需要利用国际通用图像质量评价数据库中的图像样本进行训练,从而使得训练图像的获取范围更大,普适性强。NIQE算法是训练图像的过程就相当于构造出了“参考图像”,它的训练图像也不需要来源于国际通用图像质量评价数据库。
除此之外,还有一些基于机器学习的质量评价算法,例如有研究者将峰值信噪比(Peak Signal to Noise Ratio,PSNR)和结构信息作为描述图像质量的参数,采用支持向量机(Support Vector Machine,SVM)进行分类,继而通过神经网络产生基于分类的图像质量评价模型。尤其值得关注的是近年来随着深度学习研究的进一步深化,基于深度学习的无参考质量评价方法也逐渐成为研究的热点。
2013年Damon M.Chandler发表了一篇53页的综述长文,对图像质量评价的过去、研究现状进行了深入分析,提出了图像质量评价面临的七个挑战。正是因为图像质量评价面临如此多的困难和挑战,才使得该方向的研究方兴未艾,40多年前领域研究专家Z.Budrikis所称的“评价问题的彻底解决(Full Evaluations)是不可能完成的任务”这一论断至今仍然有效,但相信通过国内外学者的共同努力,不远的将来定会逼近“彻底解决”这一目标。
目前针对红外图像的质量评价研究较少,徐悦等人从研究影响红外图像质量的各种噪声入手,对其产生原因、对图像质量的影响和评价检测方法等做了深入分析,但主要侧重非均匀性噪声的度量,评价结果有一定的局限性。杜少波等人主要针对红外图像的模糊度对图像质量进行评估,将模糊熵理论引入到红外图像质量评价方法中,但是所提出的方法只是针对模糊红外图像,不能很好的评价其他类型的失真图像。
发明内容
本发明的目的在于针对上述现有技术的缺陷,提供一种用于红外图像的无参考质量评价方法,在综合分析经典无参考图像质量评价方法和红外图像特点的基础上,提取了能够表征红外辐射特性的轮廓、纹理和点特征,并结合目标显著性构建基于混合特征和显著性检测的红外图像质量评价模型,该质量评价模型以实拍红外图像为样本,以主观评测作为度量基准,能够更好地评价红外图像。
为实现上述目的,本发明所采取的技术方案是:
一种用于红外图像的无参考质量评价方法,该无参考质量评价方法的步骤为:
S1、基于轮廓特征的显著度度量
将那些在样式与周围差异明显的像素点定义为图像中的显著区域,计算每一个图像块和所有图像块的平均值之间的距离作为评价显著性的尺度,计算公式为:
其中,为px为图像块,pA为平均块;
该块之间的距离计算为扩展到主成分(principal components)领域的计算,找出所有图像块中起决定作用的主要图像块,然后沿着主成分的分布来计算块与平均块之间的距离,距离越大就越显著,从中检测出图像中目标的形状与具体位置;该计算方法为:
为px在PCA域的坐标;
S2、基于灰度共生矩阵的纹理特征度量
以条件概率提取纹理的特征,反映灰度图像中关于方向、间隔和变化幅度方面的灰度信息,并将之用于分析图像的局部特征以及纹理的分布规律;
设某个点对的间隔为d,两点之间连线与轴的方向角为θ两点灰度级分别为i和j,则其共生矩阵可以表示为[P(i,j,d,θ)],点(i,j)处的值代表满足对应条件的数目值;
设给定d值和θ值,将共生矩阵内各个元素进行归一化处理并记为P(i,j),提取出描述纹理特征的一系列特征值如下:
(1)角二阶矩
角二阶矩描述的是图像灰度均匀分布的特性,粗纹理的值较大,细纹理的值较小;如果P(i,j)的值分布均匀,则N1值较小;当P(i,j)的值分布并不均匀时,呈现出部分值大而部分值小时,N1的值较大;
(2)惯性矩
惯性矩参数反映矩阵中取值较大的元素远离主对角线的程度,N2值越大则说明大值元素到对角线的距离越远,因此粗纹理的N2值较小,而细纹理的N2值较大;
(3)熵
熵表示了图像中纹理的非均匀程度或复杂程度;粗纹理N3值较小,细纹理N3值较大;当各P(i,j)都相等时,N3取最大值;
(4)相关
其中有:
(5)逆差矩
逆差矩反映矩阵中大值元素到主对角线的集中程度,N5值越大,大值元素越集中;
S3、基于SIFT的点特征度量
将Porikli提出的积分直方图(integral histogram)扩展到任意维空间和任意向量表示,首先通过传播来产生积分直方图;之后通过相交计算目标区域的直方图;
假定d维实数笛卡儿空间中的函数f定义为:X→f(X),其中,X={....,是这一空间中的点;该函数映射到K维向量F([X1....,])=....,];
假定d维数据空间约束在....范围内,0≤Xi≤Ni;沿着一系列点,......的第P阶点的积分直方图H(Xp,b)定义为
式中Q(.)为当前点相应的bin值,U为并操作,定义为:H(Xp,b)的bin值等于以前访问过的点的直方图bin值,当J<p时,所有Q(f(Xj))的和H(Xp,b)是原始点和当前点之间区域的直方图;
当XN=为空间中最后一个点时,H(Xp,b)等于所有点的直方图;积分直方图写成H(Xj,b)=H(Xj-1,b)UQ(f(Xj))初始条件为H(0,b)=0,表示所有bin在初始时为空;每一步中,当前点的积分直方图的值由其三个邻域直方图的值获得,当前点对应的bin值加1;
区域T的直方图可以由它所在区域的四个边缘点的积分直方图获得,在×灰度图像中,从左上点的波阵面扫描法实现传播得到积分直方图模板,表示为:
H(x1,x2,b)=H(x1-1,x2,b)+H(x1,x2-1,b)-H(x1-1,x2-1,b)+Q(f(x1,x2)) (2-11)
采用积分直方图建立S IFT描述子,对于每组的每层图像,传播产生积分直方图模板,对于每一个关键点,其梯度直方图在恒定时间内求出;
S4、把特征点的数量作为质量得分产生依据
1、采用形状域差异检测和计算样本图像的视觉显著性,给出显著度图;
2、采用灰度共生矩阵中的优选参数计算样本图像的纹理特征,并给出基于这一参数的纹理图;
3、累加显著度图和纹理图得到最终的特征图像;
4、采用SIFT算法分别计算样本图像和特征图像的特征点数量;
5、样本图像的质量得分即为两个特征点数量之比。
与现有技术相比,本发明所取得的有益效果是:
本发明的用于红外图像的无参考质量评价方法,(1)图像特征的高效、准确提取对于构建图像质量模型至关重要,由于影响红外图像的因素很多加上成像机理制约着图像的质量,我们提取了三大类质量特征因子集,后续结果表明特征的选取是有效的;
(2)我们针对红外图像,设计构建了无参考质量评价模型,进行了相应的Matlab实现,并以实拍红外图像进行了实验验证,结果表明提出的方法不仅性能优越而且在实际的运行代价上也具有一定的竞争力。
具体实施方式
下面将结合本发明实施例,对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
本发明用于红外图像的无参考质量评价方法,该无参考质量评价方法的步骤为:
S1、基于轮廓特征的显著度度量
将那些在样式与周围差异明显的像素点定义为图像中的显著区域,计算每一个图像块和所有图像块的平均值之间的距离作为评价显著性的尺度,计算公式为:
其中,为px为图像块,pA为平均块;
该块之间的距离计算为扩展到主成分(principal components)领域的计算,找出所有图像块中起决定作用的主要图像块,然后沿着主成分的分布来计算块与平均块之间的距离,距离越大就越显著,从中检测出图像中目标的形状与具体位置;该计算方法为:
为px在PCA域的坐标;
S2、基于灰度共生矩阵的纹理特征度量
以条件概率提取纹理的特征,反映灰度图像中关于方向、间隔和变化幅度方面的灰度信息,并将之用于分析图像的局部特征以及纹理的分布规律;
设某个点对的间隔为d,两点之间连线与轴的方向角为θ两点灰度级分别为i和j,则其共生矩阵可以表示为[P(i,j,d,θ)],点(i,j)处的值代表满足对应条件的数目值;
设给定d值和θ值,将共生矩阵内各个元素进行归一化处理并记为P(i,j),提取出描述纹理特征的一系列特征值如下:
(1)角二阶矩
角二阶矩描述的是图像灰度均匀分布的特性,粗纹理的值较大,细纹理的值较小;如果P(i,j)的值分布均匀,则N1值较小;当P(i,j)的值分布并不均匀时,呈现出部分值大而部分值小时,N1的值较大;
(2)惯性矩
惯性矩参数反映矩阵中取值较大的元素远离主对角线的程度,N2值越大则说明大值元素到对角线的距离越远,因此粗纹理的N2值较小,而细纹理的N2值较大;
(3)熵
熵表示了图像中纹理的非均匀程度或复杂程度;粗纹理N3值较小,细纹理N3值较大;当各P(i,j)都相等时,N3取最大值;
(4)相关
其中有:
(5)逆差矩
逆差矩反映矩阵中大值元素到主对角线的集中程度,N5值越大,大值元素越集中;
S3、基于SIFT的点特征度量
将Porikli提出的积分直方图(integral histogram)扩展到任意维空间和任意向量表示,首先通过传播来产生积分直方图;之后通过相交计算目标区域的直方图;
假定d维实数笛卡儿空间中的函数f定义为:X→f(X),其中,X={....,是这一空间中的点;该函数映射到K维向量F([X1....,])=....,];
假定d维数据空间约束在....范围内,0≤Xi≤Ni;沿着一系列点,......的第P阶点的积分直方图H(Xp,b)定义为
式中Q(.)为当前点相应的bin值,U为并操作,定义为:H(Xp,b)的bin值等于以前访问过的点的直方图bin值,当J<p时,所有Q(f(Xj))的和H(Xp,b)是原始点和当前点之间区域的直方图;
当XN=为空间中最后一个点时,H(Xp,b)等于所有点的直方图;积分直方图写成H(Xj,b)=H(Xj-1,b)UQ(f(Xj))初始条件为H(0,b)=0,表示所有bin在初始时为空;每一步中,当前点的积分直方图的值由其三个邻域直方图的值获得,当前点对应的bin值加1;
区域T的直方图可以由它所在区域的四个边缘点的积分直方图获得,在×灰度图像中,从左上点的波阵面扫描法实现传播得到积分直方图模板,表示为:
H(x1,x2,b)=H(x1-1,x2,b)+H(x1,x2-1,b)-H(x1-1,x2-1,b)+Q(f(x1,x2)) (2-11)
采用积分直方图建立SIFT描述子,对于每组的每层图像,传播产生积分直方图模板,对于每一个关键点,其梯度直方图在恒定时间内求出;
S4、把特征点的数量作为质量得分产生依据
1、采用形状域差异检测和计算样本图像的视觉显著性,给出显著度图;
2、采用灰度共生矩阵中的优选参数计算样本图像的纹理特征,并给出基于这一参数的纹理图;
3、累加显著度图和纹理图得到最终的特征图像;
4、采用SIFT算法分别计算样本图像和特征图像的特征点数量;
5、样本图像的质量得分即为两个特征点数量之比。
实验结果与分析
测试图像数据库组成
测试图像数据库由两段实拍视频截取图像及两个实拍图像库构成,共2258幅图像组成,大小为320*240的灰度图像。为评估算法有效性,还给出了所有测试图像的平均主观评分差值(DMOS)。主观评价人员共32人,年龄为18~37。其中DMOS值越高表示图像质量越差,DMOS值越低表示图像质量越好,且DMOS范围为[0,100]。
实验结果及分析
对测试图像库分别使用本文算法和7种经典无参考质量评价算法(BIQI、DIIVINE、BLIINDS-II、CORNIA、QAC、NIQE、IL-NIQE)进行质量评估,然后与DMOS比较评价算法性能。由于客观数据对主观评价分数的预测关系存在一定的非线性,在VQEG的测试和检验中都允许这样的非线性的映射。本文实验采用公式(2-11)、(2-12)所示的对数函数进行非线性补偿:
quality(x)=β1logistic(β2(x-β3))+β4x+β5 (2-12)
选用两个参数指标比较算法的性能:皮尔森线性相关系数(PLCC)、斯皮尔曼相关系数(SROCC),其中PLCC用于评测质量模型预测的准确性,SROCC用于评测质量模型预测的单调性。对构建的红外图像数据库,利用8种算法试验对比SROCC、PLCC结果如表2.3所示。
表2.3在测试数据库上算法性能对比结果
从表2.3可以看出本文方法相较于其他7种方法,SROCC和PLCC均取得了最大值,具备较好的单调性和准确性(黑体标出)。
表2.4各算法的运行时间
此外,为评估算法运行代价,在32位Windows 7操作系统下,以Matlab 2010a为开发工具测试了本文算法及其他对比算法的时间开销。在主频为2.6GHz Intel-Core-i5-3230CPU,内存为4GB的台式机上测试算法时间,结果如表2.4所示。
从表2.4可以发现本文算法一次评价为1.8秒,略高于BIQI、QAC和NIQE,但大大低于DIIVINE、BLIINDS-II和CORNIA,也优于IL-NIQE,表现出较强的运行效率竞争性。
我们针对红外图像侦察手段中缺乏定量、科学、自动化的图像质量评价手段问题,紧密跟踪现代图像质量评价技术的发展,引用并改进基于视觉显著性的评价模型构建方法,综合分析实拍红外图像的成像特点,提取三种与质量紧密关联的轮廓、纹理和点特征因子,构建了相应模型并进行了算法实验,实验结果表明相较于经典质量评价方法,所提出的方法具有较好的一致性和准确性。研究主要工作如下:
(1)图像特征的高效、准确提取对于构建图像质量模型至关重要,由于影响红外图像的因素很多加上成像机理制约着图像的质量,我们提取了三大类质量特征因子集,后续结果表明特征的选取是有效的。
(2)我们针对红外图像,设计构建了无参考质量评价模型,进行了相应的Matlab实现,并以实拍红外图像进行了实验验证,结果表明提出的方法不仅性能优越而且在实际的运行代价上也具有一定的竞争力。

Claims (1)

1.一种用于红外图像的无参考质量评价方法,其特征在于:该无参考质量评价方法的步骤为:
S1、基于轮廓特征的显著度度量
将那些在样式与周围差异明显的像素点定义为图像中的显著区域,计算每一个图像块和所有图像块的平均值之间的距离作为评价显著性的尺度,计算公式为:
p A = 1 N Σ x = 1 N p x - - - ( 2 - 1 )
其中,为px为图像块,pA为平均块;
该块之间的距离计算为主成分(principal components)领域的计算,找出所有图像块中起决定作用的主要图像块,然后沿着主成分的分布来计算块与平均块之间的距离,距离越大就越显著,从中检测出图像中目标的形状与具体位置;该计算方法为:
P ( p x ) = | | p x ~ | | 1 - - - ( 2 - 2 )
为px在PCA域的坐标;
S2、基于灰度共生矩阵的纹理特征度量
以条件概率提取纹理的特征,反映灰度图像中关于方向、间隔和变化幅度方面的灰度信息,并将之用于分析图像的局部特征以及纹理的分布规律;
设某个点对的间隔为d,两点之间连线与轴的方向角为θ两点灰度级分别为i和j,则其共生矩阵可以表示为[P(i,j,d,θ)],点(i,j)处的值代表满足对应条件的数目值;
设给定d值和θ值,将共生矩阵内各个元素进行归一化处理并记为P(i,j),提取出描述纹理特征的一系列特征值如下:
(1)角二阶矩
N 1 = Σ i Σ j P 2 ( i , j ) - - - ( 2 - 6 )
角二阶矩描述的是图像灰度均匀分布的特性,粗纹理的值较大,细纹理的值较小;如果P(i,j)的值分布均匀,则N1值较小;当P(i,j)的值分布并不均匀时,呈现出部分值大而部分值小时,N1的值较大;
(2)惯性矩
N 2 = Σ i Σ j ( i - j ) 2 P ( i , j ) - - - ( 2 - 7 )
惯性矩参数反映矩阵中取值较大的元素远离主对角线的程度,N2值越大则说明大值元素到对角线的距离越远,因此粗纹理的N2值较小,而细纹理的N2值较大;
(3)熵
N 3 = - Σ i Σ j P ( i , j ) l g P ( i , j ) - - - ( 2 - 8 )
熵表示了图像中纹理的非均匀程度或复杂程度;粗纹理N3值较小,细纹理N3值较大;当各P(i,j)都相等时,N3取最大值;
(4)相关
N 4 = Σ i Σ j P ( i , j ) lg P ( i , j ) - x ‾ y ‾ σ x σ y - - - ( 2 - 9 )
其中有:
x ‾ = Σ i i Σ j P ( i , j ) ,
y ‾ = Σ j j Σ i P ( i , j )
σ x = Σ i ( i - x ‾ ) 2 Σ j P ( i , j ) ,
σ y = Σ j ( j - y ‾ ) 2 Σ i P ( i , j )
(5)逆差矩
N 5 = Σ i Σ j P ( i , j ) 1 + ( i - j ) 2 - - - ( 2 - 10 )
逆差矩反映矩阵中大值元素到主对角线的集中程度,N5值越大,大值元素越集中;
S3、基于SIFT的点特征度量
将Potikli提出的积分直方图(integral histogram)扩展到任意维空间和任意向量表示,首先通过传播来产生积分直方图;之后通过相交计算目标区域的直方图;
假定d维实数笛卡儿空间中的函数f定义为:X→f(X),其中,X={....,是这一空间中的点;该函数映射到K维向量F([X1....,])=....,];
假定d维数据空间约束在....范围内,0≤Xi≤Ni;沿着一系列点,......的第P阶点的积分直方图H(Xp,b)定义为
式中Q(.)为当前点相应的bin值,U为并操作,定义为:H(Xp,b)的bin值等于以前访问过的点的直方图bin值,当J<p时,所有Q(f(X1))的和H(Xp,b)是原始点和当前点之间区域的直方图;
当XN=为空间中最后一个点时,H(Xp,b)等于所有点的直方图;积分直方图写成H(X1,b)=H(Xj-1,b)UQ(f(Xj))初始条件为H(0,b)=0,表示所有bin在初始时为空;每一步中,当前点的积分直方图的值由其三个邻域直方图的值获得,当前点对应的bin值加1;
区域T的直方图可以由它所在区域的四个边缘点的积分直方图获得,在×灰度图像中,从左上点的波阵面扫描法实现传播得到积分直方图模板,表示为:
H(x2,x2,b)=H(x3-1,x2,b)+H(x2,x2-1,b)-H(x1-1,x2-1,b)+Q(f(x1,x2)) (2-11)
采用积分直方图建立SIFT描述子,对于每组的每层图像,传播产生积分直方图模板,对于每一个关键点,其梯度直方图在恒定时间内求出;
S4、把特征点的数量作为质量得分产生依据
1、采用形状域差异检测和计算样本图像的视觉显著性,给出显著度图;
2、采用灰度共生矩阵中的优选参数计算样本图像的纹理特征,并给出基于这一参数的纹理图;
3、累加显著度图和纹理图得到最终的特征图像;
4、采用SIFT算法分别计算样本图像和特征图像的特征点数量;
5、样本图像的质量得分即为两个特征点数量之比。
CN201610485881.XA 2016-06-28 2016-06-28 一种用于红外图像的无参考评价方法 Pending CN106454350A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610485881.XA CN106454350A (zh) 2016-06-28 2016-06-28 一种用于红外图像的无参考评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610485881.XA CN106454350A (zh) 2016-06-28 2016-06-28 一种用于红外图像的无参考评价方法

Publications (1)

Publication Number Publication Date
CN106454350A true CN106454350A (zh) 2017-02-22

Family

ID=58183390

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610485881.XA Pending CN106454350A (zh) 2016-06-28 2016-06-28 一种用于红外图像的无参考评价方法

Country Status (1)

Country Link
CN (1) CN106454350A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016668A (zh) * 2017-03-23 2017-08-04 西安电子科技大学 基于视皮层方位选择性机理的无参考图像质量评价方法
CN107451973A (zh) * 2017-07-31 2017-12-08 西安理工大学 基于丰富边缘区域提取的运动模糊图像复原方法
CN108629771A (zh) * 2018-05-08 2018-10-09 重庆瑞景信息科技有限公司 一种具有尺度鲁棒性的图像质量盲评价方法
CN108875460A (zh) * 2017-05-15 2018-11-23 腾讯科技(深圳)有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
CN109214439A (zh) * 2018-08-22 2019-01-15 电子科技大学 一种基于多特征融合的红外图像结冰河流检测方法
CN111899261A (zh) * 2020-08-31 2020-11-06 西北工业大学 一种水下图像质量实时评估方法
CN113610839A (zh) * 2021-08-26 2021-11-05 北京中星天视科技有限公司 红外目标显著性检测方法、装置、电子设备和介质
CN114511471A (zh) * 2022-04-18 2022-05-17 广州骏天科技有限公司 基于灰度共生矩阵的图像优化方法及系统
CN114782422A (zh) * 2022-06-17 2022-07-22 电子科技大学 一种svr特征融合的无参考jpeg图像质量评价方法
CN114978313A (zh) * 2022-05-18 2022-08-30 重庆邮电大学 一种基于贝叶斯神经元的深度学习可见光cap系统的非线性补偿方法

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016668B (zh) * 2017-03-23 2019-08-13 西安电子科技大学 基于视皮层方位选择性机理的无参考图像质量评价方法
CN107016668A (zh) * 2017-03-23 2017-08-04 西安电子科技大学 基于视皮层方位选择性机理的无参考图像质量评价方法
CN108875460A (zh) * 2017-05-15 2018-11-23 腾讯科技(深圳)有限公司 增强现实处理方法及装置、显示终端及计算机存储介质
CN107451973A (zh) * 2017-07-31 2017-12-08 西安理工大学 基于丰富边缘区域提取的运动模糊图像复原方法
CN107451973B (zh) * 2017-07-31 2020-05-22 西安理工大学 基于丰富边缘区域提取的运动模糊图像复原方法
CN108629771A (zh) * 2018-05-08 2018-10-09 重庆瑞景信息科技有限公司 一种具有尺度鲁棒性的图像质量盲评价方法
CN109214439B (zh) * 2018-08-22 2021-12-03 电子科技大学 一种基于多特征融合的红外图像结冰河流检测方法
CN109214439A (zh) * 2018-08-22 2019-01-15 电子科技大学 一种基于多特征融合的红外图像结冰河流检测方法
CN111899261A (zh) * 2020-08-31 2020-11-06 西北工业大学 一种水下图像质量实时评估方法
CN113610839A (zh) * 2021-08-26 2021-11-05 北京中星天视科技有限公司 红外目标显著性检测方法、装置、电子设备和介质
CN114511471A (zh) * 2022-04-18 2022-05-17 广州骏天科技有限公司 基于灰度共生矩阵的图像优化方法及系统
CN114511471B (zh) * 2022-04-18 2022-07-01 广州骏天科技有限公司 基于灰度共生矩阵的图像优化方法及系统
CN114978313A (zh) * 2022-05-18 2022-08-30 重庆邮电大学 一种基于贝叶斯神经元的深度学习可见光cap系统的非线性补偿方法
CN114978313B (zh) * 2022-05-18 2023-10-24 重庆邮电大学 一种基于贝叶斯神经元的可见光cap系统的补偿方法
CN114782422A (zh) * 2022-06-17 2022-07-22 电子科技大学 一种svr特征融合的无参考jpeg图像质量评价方法
CN114782422B (zh) * 2022-06-17 2022-10-14 电子科技大学 一种svr特征融合的无参考jpeg图像质量评价方法

Similar Documents

Publication Publication Date Title
CN106454350A (zh) 一种用于红外图像的无参考评价方法
CN111709902B (zh) 基于自注意力机制的红外和可见光图像融合方法
CN110046673B (zh) 基于多特征融合的无参考色调映射图像质量评价方法
CN106920232B (zh) 基于显著性检测的梯度相似度图像质量评价方法及系统
CN101976444B (zh) 一种基于像素类型的结构类似性图像质量客观评价方法
CN101562675B (zh) 基于Contourlet变换的无参考型图像质量评测方法
CN106447646A (zh) 一种用于无人机图像的质量盲评价方法
CN115393727B (zh) 一种路面线性裂缝识别方法、电子设备及存储介质
CN101127926A (zh) 基于多尺度几何分析的图像质量评测方法
CN104318545A (zh) 一种用于雾天偏振图像的质量评价方法
CN105894507B (zh) 基于图像信息量自然场景统计特征的图像质量评价方法
CN105118053A (zh) 一种基于压缩感知的全参考图像质量客观评价方法
CN104680541A (zh) 基于相位一致性的遥感图像质量评价方法
TWI628601B (zh) 人臉影像處理方法及其系統
CN103324952A (zh) 基于特征提取的痤疮分类方法
CN106504230A (zh) 基于相位一致性的全参考彩色屏幕图像质量评估方法
CN106023214A (zh) 基于中央凹视梯度结构相似性的图像质量评价方法及系统
CN106934770A (zh) 一种评价雾霾图像去雾效果的方法和装置
Sun et al. A deep learning-based pm2. 5 concentration estimator
CN101183460A (zh) 彩色图像背景杂波量化方法
CN107018410B (zh) 一种基于预注意机制和空间依赖性的无参考图像质量评价方法
CN104346809A (zh) 采用高动态范围的图像质量数据集的图像质量评价方法
CN103996188B (zh) 一种基于Gabor加权特征的全参考型图像质量评价方法
CN104951800A (zh) 一种面向资源开采型地区的遥感影像融合方法
CN103077514B (zh) 一种基于全变分的视觉感知图像质量评价方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
DD01 Delivery of document by public notice
DD01 Delivery of document by public notice

Addressee: PLA Military Academy

Document name: Notification of before Expiration of Request of Examination as to Substance

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170222