CN102663745A - 一种基于视觉任务的彩色融合图像质量评价方法 - Google Patents

Abstract

本发明涉及一种基于视觉任务的典型场景彩色融合图像质量评价方法，属于图像处理中图像融合技术领域。本发明通过主观评价实验，采用回归分析方法建立了基于视觉任务的融合图像综合质量预测模型：目标背景感知对比度和图像清晰度可有效预测基于目标探测的图像感知质量；利用颜色协调性和清晰度可以有效预测基于场景理解的图像感知质量。与传统的图像质量评价方法相比，本发明提出基于视觉任务的图像质量评价指标可以针对彩色融合图像的应用目的进行图像质量的综合评价，虽然难以客观量化，但是其预测模型中所包含的目标背景对比度、清晰度和协调性三个基本指标易于量化计算，为融合图像综合质量客观评价的难题提供有效的解决途径。

Description

一种基于视觉任务的彩色融合图像质量评价方法

技术领域

本发明涉及一种基于视觉任务的彩色融合图像质量评价方法，属于图像处理中彩色融合技术领域。

背景技术

近年来，随着多波段图像传感器技术的发展，多波段图像融合算法研究受到人们的普遍重视，其中可见光和红外的彩色(夜视)图像融合方法充分利用人眼彩色视觉特性，可有效提升目视光电成像系统对场景目标的探测、识别能力，减小虚警率和识别错误，在态势感知、目标探测等方面展现出广泛的应用前景，并已有实用的系统和装备获得成功的应用。同时，如何评价融合效果，即如何评价融合图像的质量，成为图像融合技术和系统设计的重要环节。目前，对彩色(夜视)融合图像质量的评价尚没有国内外公认的理论，缺乏相应的评价测试方法及装置，缺乏适用于装备生产的融合质量客观评价系统，直接影响到对彩色夜视成像系统的评价，严重阻碍了彩色夜视系统装备的推广应用。

图像质量评价可分为主观评价和客观评价。主观评价由有经验的观察者根据主观感知来评价图像的质量；客观评价方法依据模型给出的量化指标，模拟人类视觉系统感知机制衡量图像质量，达到与主观评价相一致的评价结果。由于人眼是彩色融合图像的最终接受者，主观评价能给出最可靠的图像质量评价结果。通过大量的观察者主观评价得到的平均意见分数，是衡量图像质量最准确的方法。因此，图像质量的主观评价是客观评价模型研究的基础。目前，国际上主要研究基于视觉任务的彩色夜视融合图像质量主观评价，其包括目标探测定位与识别、场景识别和态势感知等。然而，主观评价不适用于大批量装备，需要进一步发展客观评价模型。观察者对图像质量的主观感觉受到多种因素的影响。前人研究并提出的图像质量客观评价指标，例如对比度、清晰度和颜色协调性等，可以从不同的方面反映图像质量属性，但是难以衡量彩色融合图像的综合质量。红外与可见光彩色融合图像通常具有其特定的应用目的，如何基于视觉任务进行彩色融合图像质量的综合评价是目前亟待解决的难题。

发明内容

本发明的目的是克服现有技术的上述不足，建立一种针对视觉任务的图像质量综合评价方法，该方法提出的两个评价指标具有针对性，能够衡量彩色融合图像的综合质量。

该方法包括如下步骤：

第一步：针对多幅典型场景的可见光与红外彩色融合图像，采用符合国际标准要求的主观评价实验，得到每一幅图像对应的4个单一质量属性和2个基于视觉任务图像感知质量参数的人眼主观评价分数；

其中，所述单一质量属性包括目标与背景的感知对比度PCTB、清晰度S、颜色协调性CH和颜色自然感CN；

所述基于视觉任务图像感知质量参数包括：基于目标探测的图像感知质量PQTD和基于场景理解的图像感知质量PQSU；其中，对PQTD评价时，要求观察者衡量图像中目标的可探测性，以是否有利于观察者快速、准确的发现图像中的目标为评价标准给出评价分数；对PQSU评价时，要求观察者不考虑目标是否可探测，而是综合考虑各方面图像质量属性，将融合图像是否利于观察者对图像场景内容直观准确的理解为判断标准给出评价分数；

第二步：根据实验所得数据，利用回归分析方法建立每个基于视觉任务图像感知质量参数与单一质量属性之间的线性关系，从而获得PQTD和PQSU的回归模型；

其中，在针对PQTD和PQSU分别建立回归模型时，以4个单一质量属性为备选的自变量，采用逐步回归法向回归方程逐步引入自变量，并进行共线性诊断，最终得到符合显著性检验标准并且不存在严重多重共线性问题的最优回归方程；回归模型形式如下：

PQTD＝b₁×PCTB+b₂×S+b₀

PQSU＝c₁×CH+c₂×S+c₀

b₀、b₁、b₂、c₀、c₁、c₂为回归模型中的系数；

第三步：在对彩色融合图像质量进行评价时，获得最优回归方程中自变量的值，代入回归模型得到PQTD和PQSU。

采用上述方法，当第一步中分别针对植物、海天和城镇建筑物背景的三种典型场景，获得可见光与红外彩色融合的多幅图像并评分时，最终获得PQTD和PQSU的回归模型分别为：

PQTD＝0.714PCTB+0.314S-0.025    (1)

式(1)的决定系数R²＝0.921，表示92.1％的PQTD变化可用PCTB和S来线性表示；

PQSU＝0.675CH+0.341S-0.014    (2)；

式(2)的决定系数R²＝0.970，表示97.0％的PQSU变化可用CH和S来线性表示。

从式(1)(2)可以看出，利用PCTB和S可有效地预测PQTD，利用CH和S可有效地预测PQSU。

对于典型场景的类型不同，PCTB、S和CH对PQTD和PQSU的影响大小也有所不同，但基本的回归方程形式不变，只是比例系数有所变化。因此，通过PCTB、S和CH可实现综合评价指标PQTD和PQSU的客观量化，所得的PQTD和PQSU的回归预测模型为基于视觉任务的彩色融合图像质量综合评价这一难提供有效的解决途径。

有益效果：

1)与传统的图像质量评价方法相比，本发明根据彩色融合图像的应用目的，提出基于视觉任务图像质量的两个评价指标具有针对性，能够衡量彩色融合图像的综合质量。

2)为了得到基于视觉任务图像质量的客观评价模型，本发明使用的目标背景对比度、清晰度协调性和颜色自然感四个单一质量属性，建立PQTD和PQSU的预测模型，由于单一质量属性易于量化，容易获得较准确的数值，因此有利于预测模型建立的简单化和准确性，可以很好的预测基于视觉任务图像感知质量。

3)本发明采用了大量的典型场景的融合图像以及足够多的观察者，进行了符合国际标准的主观评价实验，从而保证了综合评价指标的数据以及单一质量属性评价数据的可信度。

4)通过回归过程可以得知，最终确立的回归模型均通过了显著性检验和共线性诊断，具有统计学意义，能够有效地表征参数间的线性表达关系。

附图说明

图1是本发明中利用单一质量属性预测融合图像综合质量的框架图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

彩色融合图像有着特定的应用目的，前人的视觉实验已表明彩色融合图像较之单波段图像在目标探测和场景理解方面更具优势。主观评价和客观评价都依赖于具体的图像质量属性，例如清晰度、视彩度和自然感等。这些感知属性从不同的角度反映了图像质量的某些方面，但是却不能衡量融合图像的综合质量。

为了整体评价彩色融合图像在目标探测和场景理解方面的感知质量，总结分析前人的研究结果，并考虑彩色融合图像的具体应用需求，本发明基于视觉任务提出新的综合评价指标，其包含两个分指标：基于目标探测的图像感知质量(Perceptual Quality Based on Target Detectability，PQTD)；基于场景理解的图像感知质量(Perceptual Quality Based on Scene Understanding，PQSU)。

考虑到直接对其尽量客观量化的困难，同时选择了四个前人研究提出的易于客观量化的单一图像质量属性：目标与背景的感知对比度(Perceptual Contrastbetween the Target and Background，PCTB)、清晰度(Sharpness，S)、颜色协调性(Colour Harmony，CH)和颜色自然感(Colour Naturalness，CN)。

本发明针对多幅可见光和红外彩色融合图像采用主观评价实验获得上述6个指标的人眼主观评价分数，然后通过回归分析方法获得PQTD和PQSU与4个单一图像质量属性的线性关系，即回归模型。回归分析结果表明，PQTD与PCTB和S线性相关度高，能够用PCTB和S进行多元线性表示，形成了PQTD＝b₁×PCTB+b₂×S+b₀的表达形式。而PQSU与CH和S线性相关度高，能够用CH和S进行多元线性表示，形成了PQSU＝c₁×CH+c₂×S+c₀，其中，b₀、b₁、b₂和c₀、c₁、c₂均为回归分析确定的系数。当采用不同的融合图像作为主观评价对象，获得的系数可能略有不同，但是多元线性回归方式的基本形式不会改变。

下面对整个回归方程的建立过程进行详细描述。

一、在进行融合图像获取和评分之前，先介绍一下两个基于视觉任务的综合评价指标和4个单一图像质量属性的含义和评价标准。

a)基于目标探测的图像感知质量PQTD

评价时，要求观察者衡量图像中目标的可探测性，以是否有利于观察者快速、准确的发现图像中的目标为评价标准给出图像感知质量评价分数。本实验，规定红外图像中的热目标为需要探测的目标。对于一幅图像中存在多个热目标的情况需要观察者综合衡量比较后打分。

b)基于场景理解的图像感知质量PQSU

评价时，要求观察者不考虑目标是否可探测，而是综合考虑清晰度、颜色等各方面图像质量属性，将融合图像是否利于观察者对图像场景内容直观准确的理解为判断标准给出评价分数。

(1)目标与背景的感知对比度PCTB

对于彩色图像，目标背景的感知对比度是指人眼感觉到的图像中目标和背景颜色的差异程度。人眼在很大程度上，依赖目标和背景对比度来发现目标。利用目标背景对比度可以衡量图像中目标的突出程度。目标背景对比度越大，目标在背景上越突出，发现目标所需要的判断时间越短、判断精度越高，即目标探测性越好。对于一幅图像中存在多个热目标的情况需要观察者综合衡量多个目标与背景的对比度来打分。

(2)清晰度

图像清晰度是观察者评价图像质量时常用的质量属性。可以将清晰度具体的分为两方面，分辨率和锐度。分辨率反映图像细节信息，锐度则表示边缘的清晰程度。清晰度好的图像包含了较丰富的细节信息，表现出边缘和纹理方面较好的辨识性。

(3)颜色协调性

对于真彩色图像，颜色协调性是影响图像色彩偏好最重要的因素。目前普遍接受的协调性定义为：不同的颜色组合产生令人满意、愉快的效果，则认为该颜色组合具有协调性。对于人为赋予色彩的彩色融合图像，不同程度的存在于真实场景的不一致性，为了避免观察者长时间观察产生视觉疲劳以及负面的心理影响，融合图像的颜色协调性显得尤为重要。

(4)颜色自然感

颜色自然感定义为人们对颜色复制物体颜色逼真度的主观印象，即与记忆色彩的一致程度。对于自然场景图像的重现，颜色的自然感是影响图像感知质量的主要因素之一。人们认为颜色自然感较好的图像与他们长期记忆色相近。

可见光和红外彩色融合图像为达到提高目标探测性能的目的，通常会赋予目标鲜亮的色彩，使得目标和背景色彩差异明显，具有较高的色彩对比度。即颜色协调性及自然感是针对目标所在背景环境而言的，并不考虑目标颜色的协调性和自然感。

二、融合图像获取

针对植物、海天和城镇建筑物背景的三种典型场景获取融合图像。针对每一种典型场景，选取L＝7个地点，每个地点获取可见光图像和红外图像，将相对应的一对可见光图像和红外图像采用N＝5种不同的融合方法进行融合，融合方法分别为：

TNO1996算法：提取源图像中共有成分和独有成分来增强可见光与红外图像特定细节；

MIT1997法：利用拮抗视觉特性提出的增强可见光和红外图像的独有信息并保留共有信息；

LFinYUV2007算法：YUV空间的线性融合算法，使融合图像中热目标成红色，冷目标为蓝色；

OFinYUV2008算法：利用拮抗视觉模型在YUV空间增强可见光与红外图像的独有信息；

SP2009算法：利用控向金宇塔分别将可见光与红外图像分解为18个自带图像，主要在YUV空间的亮度Y通道，利用局部能量和匹配测度来融合；

然后再对其中部分融合图像进行M＝3种色彩传递处理，这里是统一对YUV空间线性组合融合后的图像采用了三种色彩传递处理，色彩传递是指用真彩色图像作为参考图像，对融合图像进行色彩传递处理，例如可以选用YUV空间的全局色彩传递方法、YUV空间的多分辨率色彩传递和RGB空间的多分辨率色彩传递。所述为了使融合图像色彩更丰富，这里3种色彩传递方法使用了不同的参考图像。

经过上述处理，每类典型场景7组实验图像共21组，每组包括5种融合方法的图像和3种色彩传递的图像，全部168幅评价图像。21组可见光与红外源图像中，7组城镇建筑物场景的图像为Nigel J.W.Morris提供的图片，其余图像为实验室使用可见光CCD和长波红外热像仪采集图像。这些图像中包含明显的热目标，图像背景内容具体，符合典型场景的要求。

三、主观评价实验

本步骤对三种典型场景获取的共168幅可见光与红外的彩色融合图像，采用符合国际标准的主观评价实验，得到每一幅图像对应的4个单一质量属性和2个基于视觉任务图像感知质量参数的人眼主观评价分数。在主观评价实验中，评价者对图像相互比较并等级排队，对上述2个基于视觉任务图像感知质量和4方面质量属性进行1-7分制的评分，采用Torgerson类别评判法给出每一幅图像的评价分数。

具体来说，

主观评价实验可以采用特性化阴极射线管显示器(CRT)在暗室中进行实验。显示器是暗室中唯一的光源，其峰值白点亮度调节到100cd/m²。实测的显示器白点色度坐标(0.314，0.329)非常接近D65(0.313，0.329)，这些设置在整个视觉评价实验中保持不变。为确保CRT显示器颜色复制的准确性，使用GOG模型进行实际测量三刺激值与RGB值之间的转换，使用驱动参数R，G，B取0，128，255，一共27个样本进行检验，得到平均色差为1.8

(CIELAB色差单位)，满足实验要求。评价实验前先对阴极射线管显示器进行约两小时的预热。每个观察者用2min时间适应观察条件，观察距离为50cm，图像大小为320×240，显示器分辨率1024×768。

根据ITU-R提供的主观评价相关标准，观察者至少为15人。本实验观察者共17人，其中8名女性9名男性。针对彩色夜视系统的主要使用群体特点，所选的观察者年龄范围为20～46，具有正常或经过校正后正常的视力，并经过色觉检查图测试有正常的色视觉。他们虽具有不同的专业背景(其中包括三名军事人员)，但都具有夜视技术基础知识和夜视图像的观察经验。

实验开始前，通过对视觉测试目的、实验过程、评价指标的描述和定义及评分标准的介绍，使观察者对所使用的21种场景的评价图像有所必要的了解。

为了避免各感知属性评价时相互影响，实验对各个评价指标分别进行，每次只要求评价者给出彩色融合图像“目标背景的感知对比度”、“清晰度”、“颜色协调性”、“颜色自然感”、“基于目标探测性的图像感知质量”和“基于场景理解的图像感知质量”中一个属性的评价分数。

实验时，每组图像首先显示融合使用的源图像，即可见光与红外图像，以便观察者明确目标位置(红外图像中的热目标)，并对图像内容有所了解，显示器以中等灰度为背景(L*＝50)同时显示随机排列的8(M+N)幅融合图像，评价者对图像相互比较并等级排队，将目标与背景的感知对比度从无法察觉、很小、较小、一般、较大、很大、非常大分为7个等级，其余的五个感知属性从非常不满意、很不满意、不满意、一般、较满意、很满意、非常满意分为7个等级，对应1-7分制的标准，采用Torgerson类别评判法(Torgerson’s Law of CategoricalJudgement)给出每一幅图像的评价分数。如果观察者在无法明显区分优劣时，尽可能给出相同分数来避免分数的不准确性。

不同观察者针对不同场景图像评价时所使用的度量零点和距离不同，为了将不同分布的各原始分数限制在[0，1]范围内并方便进行相互比较，需要把同一地点的采用不同融合方法得到的8(＝M+N)幅图像评价分数作为一组将其变换到0-1，即进行归一化，使得最大值为1，最小值为0。将17位观察者归一化后的分数进行平均，得到相应图像6个评价指标的最终分数。

四、多元线性回归分析

根据实验所得数据，利用回归分析方法确定每个基于视觉任务图像感知质量参数与各单一质量属性之间的线性关系，从而建立PQTD和PQSU的回归模型。

为了建立PQTD和PCTB与4个单一质量属性之间的表达关系，先来对他们之间的相关性进行研究，6个评价指标的皮尔逊Pearson相关系数见表1，显著性水平都小于0.01。

表1

从表1可以看出：PQTD与PCTB有显著的线性关系，与S也存在一定的线性关系；PQSU与S、CH以及CN也有显著的线性关系。因此，可以采用多元线性回归方法分析彩色融合图像的综合指标PQTD和PQSU与其它4个单一质量属性的关系。多元线性回归分析是一种常用而有效的统计方法，在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只有一个自变量进行预测或估计更有效，更符合实际。多元线性回归的基本原理和计算过程与一元线性回归相同。但由于自变量个数多，计算十分麻烦，一般在实际应用中都要借助相关的统计软件(例如Excel、SPSS和SAS等)实现利用多个自变量的组合来预测因变量。

表1还提示出，不是所有评价指标都与PQTD和PCTB具有显著的线性关系，因此为了在建立线性关系时，选择少而精的评价指标表示图像感知质量的最优回归模型，因此本发明采用逐步回归法(Stepwise regression)。

SPSS(Statistical Package for the Social Science，社会科学统计软件包)是一种统计分析软件，其能够进行多种类型的回归模型构建，也包括逐步回归法。逐步回归法的大致思路是：

①输入一组变量，以及这组变量的多组实验数据，标注这组变量中哪些是自变量，哪个是因变量。SPSS依次将自变量一个一个的引入如下的多元线性回归方程：

Y＝b₀+b₁x₁+b₂x₂+…+b_nx_n

其中，Y为因变量，x_i为引入的自变量，i＝1，2…n，b₀和B＝[b₁ b₂…b_n]均为回归方程的系数。

②每引入一个自变量，对已选入的变量要进行逐个检验，当原引入的变量由于后面变量的引入而变得不再显著时，要将其剔除，只有全部没达到显著性标准的变量均被剔除获得全部自变量都通过显著性检验的子方程后才会进行下一步，引入一个新的变量。逐步分析的过程一直进行到所有已选入的自变量均满足显著性标准，所有没有选入的自变量均不满足显著性标准为止。

在逐步回归过程中，会获得一个或一个以上的全部自变量都通过显著性检验的回归方程，SSPS会显示出逐步回归过程，计算出回归方程的各项系数B，并给出显著性和多重共线性分析结果，包括：t统计量，其反映出的每个自变量对因变量影响的显著程度P(Sig)；总体F统计量，其反映出的所有自变量整体对因变量影响的显著程度；决定系数R²，表示回归方程中自变量联合可以解释因变量变化的程度；共线性统计量的方差扩大因子(variance inflation factor，VIF)，用来判断自变量之间是否存在严重的多重共线性，上述指标通过表格形式给出。

表2为针对PQTD以PCTB、S、CH和CN为备选自变量，采用逐步法所得子方程系数及方差分析结果，其中没有示出常数项b₀，模型1是中间过程，模型2是逐步法获得的最终回归方程。

表2

从表2可以看出，t统计量反映出每个评价指标对PQTD影响的显著程度，其中目标背景的感知对比度PCTB有着十分显著的影响，清晰度S次之，二者显著性水平(P)均小于0.05，均具有统计学意义。其他评价指标对于基于目标探测的图像感知质量影响不显著，已经予以剔除。

以上回归过程通过SPSS帮助完成，当然也可以自行编程完成或采用其他统计软件完成。

但是，在实际问题的多元回归分析中，自变量之间完全不相关的情形十分少见，经常存在多重共线性的问题。因而逐步回归法得到的回归模型并不一定是最优的，只是接近最优的结果，即使全部变量都通过显著性检验，回归方程中仍然可能存在共线性问题，因此，需要对所得的回归模型进行共线性诊断。因此，这里在使用逐步回归之后仍然进行了共线性诊断，根据实际需求剔除了多余变量，进一步简化了模型。

仍参见表2，两个子方程的共线性统计量方差扩大因子VIF均小于10，说明两个子方程的自变量之间均不存在严重的多重共线性问题。这里，选用决定系数R²较大的子方程，决定系数R²的大小表示有多大比例的PQTD变化可用自变量(PCTB和S联合)来线性表示。

按照上述过程，将PQTD作为因变量，最终按照逐步法选入的变量只有PCTB和S，经过显著性检验以及共线性诊断，得到PQTD的回归方程：

PQTD＝0.714PCTB+0.314S-0.025，(R²＝0.921)    (1)

其中，决定系数R²表示92.1％的PQTD变化可用PCTB和S来线性表示。

同理，将PQSU作为因变量、以PCTB、S、CH和CN为备选自变量进行逐步回归，所得回归模型及方差分析结果如表3所示。

表3

从表3可以看出，符合显著性检验标准的子方程包括3个，但是模型3中CH和CN的共线性统计量方差扩大因子VIF大于10，说明在该模型中，这两个自变量之间存在严重的多重共线性，因此最终选择模型2。该回归模型仅使用清晰度S和协调性CH两个变量，从而消除回归模型中的多重共线性问题同时简化模型。根据t统计量看出，颜色协调性CH对于PQSU的影响最显著，其次为清晰度S，二者显著性水平(P)均小于0.05，具有统计学意义。P＝0.000表示可以以99.9％以上的概率断言场景清晰度和颜色协调性两个自变量全体对基于场景理解的图像感知质量产生显著的线性影响。而且该回归模型的共线性统计量方差扩大因子VIF均小于10，说明两个自变量之间不存在严重的多重共线性。

按照上述过程，经过显著性检验以及共线性诊断，得到PQSU的回归方程为：

PQSU＝0.675CH+0.341S-0.014，(R²＝0.970)    (2)

因此，本步骤二总结起来就是：

在针对PQTD和PQSU分别建立回归模型时，以4个单一质量属性作为备选的自变量，采用逐步回归法向回归方程逐步引入自变量，并进行共线性诊断，最终选取符合显著性检验标准并且不存在严重多重共线性问题的最优回归方程作为最终的回归模型。

四、利用回归模型进行图像评价

在对彩色融合图像质量进行评价时，根据待评价的图像获得回归模型中自变量的值，代入回归模型得到PQTD和PQSU。其中自变量PCTB、S和CH可通过选择现有的或建立新的客观评价模型来获取。

实施例二

不同场景类型的融合图像具有不同的图像特点，各评价指标在解释图像感知质量时占的权重比例有所变化，为了使图像质量预测模型更有针对性，可以分别对植物背景、城镇建筑物背景和海天背景三种典型场景图像各自采用与实施例一相同的回归分析方法，获得基于视觉任务图像感知质量的预测模型。只是在第一步获取典型场景的可见光与红外彩色融合图像时，只针对单一背景进行图像获取和分数评价。

利用单一场景的图像结合回归分析方法获得的回归模型分别为：

a)植物背景融合图像的回归模型

PQTD＝0.768PCTB+0.246S-0.030，(R²＝0.935)    (3)

PQSU＝0.532CH+0.463S-0.012，(R²＝0.944)    (4)

b)海天背景融合图像的回归模型

PQTD＝0.531PCTB+0.447S-0.010，(R²＝0.928)    (5)

PQSU＝0.823CH+0.201S-0.015，(R²＝0.982)    (6)

c)城镇建筑物背景融合图像的回归模型

PQTD＝0.815PCTB+0.224S-0.024，(R²＝0.952)    (7)

PQSU＝0.679CH+0.347S-0.015，(R²＝0.988)    (8)

由以上两个实施例可知，本发明提出的两个评价指标PQTD和PQSU可以分别表示为：

PQTD＝b₁×PCTB+b₂×S+b₀    (9)

PQSU＝c₁×CH+c₂×S+c₀    (10)

式(9)(10)的贡献在于，给出了方便量化的单一图像质量属性与基于视觉任务的综合评价指标PQTD和PQSU的关系，为评价彩色融合图像综合质量的难题提供了新的解决途径。

综上所述，虽然PQTD和PQSU可评价彩色融合图像的综合质量，但直接对其进行客观量化存在困难。由于目标背景感知对比度PCTB、清晰度S、图像背景颜色自然感CN和协调性CH等图像质量评价参量可有效地评价彩色图像质量的单一属性，不仅适合视觉主观评价，而且易于客观建模量化。因此，本发明给出了一种解决彩色融合图像综合质量客观评价问题的技术途径，如附图1所示，可通过建立PCTB、S和CH的客观评价模型，根据不同的场景类型和视觉任务选择对应的回归模型，实现基于视觉任务的彩色融合图像综合质量的客观评价。

Claims (7)

1.一种基于视觉任务的彩色融合图像质量评价方法，其特征在于，该方法包括：

第一步：针对多幅典型场景的可见光与红外彩色融合图像，采用符合国际标准要求的主观评价实验，得到每一幅图像对应的4个单一质量属性和2个基于视觉任务图像感知质量参数的人眼主观评价分数；

其中，所述单一质量属性包括目标与背景的感知对比度PCTB、清晰度S、颜色协调性CH和颜色自然感CN；

所述基于视觉任务图像感知质量参数包括：基于目标探测的图像感知质量PQTD和基于场景理解的图像感知质量PQSU；其中，对PQTD评价时，要求观察者衡量图像中目标的可探测性，以是否有利于观察者快速、准确的发现图像中的目标为评价标准给出评价分数；对PQSU评价时，要求观察者不考虑目标是否可探测，而是综合考虑各方面图像质量属性，将融合图像是否利于观察者对图像场景内容直观准确的理解为判断标准给出评价分数；

第二步：根据实验所得数据，利用回归分析方法建立每个基于视觉任务图像感知质量参数与单一质量属性之间的线性关系，从而获得PQTD和PQSU的回归模型；

其中，在针对PQTD和PQSU分别建立回归模型时，以4个单一质量属性为备选的自变量，采用逐步回归法向回归方程逐步引入自变量，并进行共线性诊断，最终选取符合显著性检验标准并且不存在严重多重共线性问题的最优回归方程作为最终的回归模型，回归模型形式如下：

PQTD＝b₁×PCTB+b₂×S+b₀

PQSU＝c₁×CH+c₂×S+c₀

b₀、b₁、b₂、c₀、c₁、c₂为回归模型中的系数；

第三步：在对彩色融合图像质量进行评价时，获得回归模型中自变量的值，代入回归模型得到PQTD和PQSU。

2.如权利要求1所述的方法，其特征在于，该方法包括：

所述第一步中，分别针对植物、海天和城镇建筑物背景的三种典型场景，获得可见光与红外彩色融合的多幅图像，并获得每幅图的6个评价指标的人眼主观评价分数；

所述第二步中最终获得PQTD和PQSU的回归模型分别为：

PQTD＝0.714PCTB+0.314S-0.025    (1)

式(1)的决定系数R²＝0.921，表示92.1％的PQTD变化可用PCTB和S来线性表示；

PQSU＝0.675CH+0.341S-0.014    (2)

式(2)的决定系数R²＝0.970，表示97.0％的PQSU变化可用CH和S来线性表示。

3.如权利要求1所述的方法，其特征在于，该方法包括：

所述第一步中，针对植物背景的场景，获得可见光与红外彩色融合的多幅图像，并获得每幅图的6个评价指标的人眼主观评价分数；

所述第二步中最终获得的PQTD和PQSU的回归模型分别为：

PQTD＝0.768PCTB+0.246S-0.030    (3)

式(3)的决定系数R²＝0.935，表示93.5％的PQTD变化可用PCTB和S来线性表示；

PQSU＝0.532CH+0.463S-0.012    (4)

式(4)的决定系数R²＝0.944，表示94.4％的PQSU变化可用CH和S来线性表示。

4.如权利要求1所述的方法，其特征在于，该方法包括：

所述第一步中，针对海天背景的场景，获得可见光与红外彩色融合的多幅图像，并获得每幅图的6个评价指标的人眼主观评价分数；

所述第二步中最终获得PQTD和PQSU的回归模型分别为：

PQTD＝0.531PCTB+0.447S-0.010    (5)

式(5)的决定系数R²＝0.928，表示92.8％的PQTD变化可用PCTB和S来线性表示；

PQSU＝0.823CH+0.201S-0.015    (6)

式(6)的决定系数R²＝0.982，表示98.2％的PQSU变化可用CH和S来线性表示。

5.如权利要求1所述的方法，其特征在于，该方法包括：

所述第一步中，针对城镇建筑物背景的场景，获得可见光与红外彩色融合的多幅图像，并获得每幅图的6个评价指标的人眼主观评价分数；

所述第二步中最终获得PQTD和PQSU的回归预测模型分别为：

PQTD＝0.815PCTB+0.224S-0.024    (7)

式(7)的决定系数R²＝0.952，表示95.2％的PQTD变化可用PCTB和S来线性表示；

PQSU＝0.679CH+0.347S-0.015    (8)

式(8)的决定系数R²＝0.988，表示98.8％的PQTD变化可用CH和S来线性表示。

6.如权利要求1所述的方法，其特征在于，典型场景的可见光与红外图像彩色融合的多幅图像的获取方法为：

针对每一种典型场景，选取L个地点，每个地点获取可见光图像和红外图像，将可见光图像和红外图像采用多种不同的融合算法进行融合，并对其中线性融合结果图像进行多种色彩传递处理，各种色彩传递处理采用不同的参考图像，L为正整数。

7.一种基于视觉任务的典型场景彩色融合图像质量评价方法，其特征在于，设定两个评价指标分别为基于目标探测的图像感知质量PQTD和基于场景理解的图像感知质量PQSU，分别表示为：

PQTD＝b₁×PCTB+b₂×S+b₀；

其中，PCTB为图像中目标与背景的感知对比度，S为图像的清晰度，b₀、b₁、b₂为预先设定的系数；

PQSU＝c₁×CH+c₂×S+c₀；

其中，CH为图像的颜色协调性，S为图像的清晰度，c₀、c₁、c₂为预先设定的系数；

在对可见光和红外彩色融合图像进行质量评价时，获得该彩色融合图像的三个质量属性值PCTB、CH和S代入PQTD和PQSU的指标计算公式中，获得两个评价指标PQTD和PQSU。

Images