CN108510494A - 基于子空间辨识方法的彩色融合图像质量评价方法 - Google Patents

Abstract

本发明涉及一种彩色融合图像质量评价建模方法，属于图像处理中图像融合技术领域。本发明构基于子空间辨识方法的建立了彩色融合图像质量评价方法，具体步骤如下：1)海天、绿色植物和城镇建筑典型场景的图像；2)针对图像进行预处理，获得图像的单一质量主观评价数据与图像综合质量的主观评价数据；3)单一质量主观评价结果与图像综合质量的主观评价结果分别作为输入和输出项，基于子空间辨识方法建立单一质量评价与综合质量评价的模型。本发明可以广泛应用在图像质量评价已经主观评价数据建立客观评价模型中。

Description

基于子空间辨识方法的彩色融合图像质量评价方法

技术领域

本发明涉及一种基于人眼视觉特性的融合图像感知清晰度评价方法，属于图像处理中融合技术领域。

背景技术

近年来，随着多波段图像传感器技术的发展，多波段图像融合技术已有实用的系统和装备获得成功的应用。使观察者获得更准确的场景理解是融合图像的主要目的之一，清晰的融合图像更有利于观察者对图像场景内容的理解，如何评价融合图像的质量，成为图像融合技术和系统设计的重要环节。对于不同波段获取的同一组源图像，采用不同的彩色融合方法可能得到截然不同的融合效果。此外，在不同应用条件下(例如应用场景、目的和视觉任务等)，相同融合算法的性能表现也不尽相同。因此，评价融合算法的优劣，即评价彩色融合图像的质量，成为彩色(夜视)融合技术研究和系统设计的重要环节。不断涌现出的融合算法和系统装备，使得科学评价融合图像质量成为技术研究和系统应用迫切需要解决的焦点问题之一。目标清晰度(Sharpness of the Target,ST)是衡量图像质量时常用的评价指标。目标清晰度是指目标中细节纹理以及目标边缘的可辨识程度。清晰的目标更容易被探测。目标与背景对比度(Contrast between the Target and Background,CTB)是影响人眼对融合图像中热目标探测的主要因素之一。人眼在很大程度上，依赖目标和背景对比度来发现目标。目标与背景对比度越大，观察者发现该目标所用的时间越短、判断准确度越高，即目标探测性越好。结合人眼视觉特性，发展彩色融合图像无参考图像的客观评价方法，建立基于目标探测的图像综合质量(Comprehensive Quality Based on targetdetectability,CQTD)与目标清晰度和目标与背景对比度之间的关系模型，能够有效的评价彩色融合图像满足特定应用需求的能力，衡量融合图像是否有利于观察者快速、准确的发现目标。

发明内容

本发明的目的是针对目前国内外对彩色(夜视)融合图像质量的评价理论和方法研究的不足，提供一种基于子空间辨识方法的彩色融合图像质量评价方法。本发明采取以下技术方案：基于子空间辨识方法的彩色融合图像质量评价方法，其包括以下几个步骤：

1)采集海天、绿色植物和城镇建筑3种常见场景的图像；

2)对采集的图像进行主观评价，并对单一图像质量评价结果和综合图像质量评价结果进行预处理；

3)依据主观评价结果建立客观的基于单一图像质量评价与综合图像质量的客观模型。

所述步骤1)，图像中热目标可以是人、车辆或船只等，每幅图像包含唯一的热目标。同一场景的可见光与红外源图像以及使用不同融合算法得到的彩色融合图像为一组，每类典型场景包含20组实验图像，一共60组图像。

所述步骤2)，采用八种不同的可见光与红外彩色融合算法产生实验使用的480幅彩色融合图像进行评价结果。获得3种典型场景480幅图像对应CTB，ST和CQTD三方面指标的评价分数。

所述步骤3)，基于子空间方法，建立单一图像质量评价结果与图像综合质量评价结果模型，即基于主观评价结果，建立客观评价模型。

本发明由于采取以上技术方案，其具有以下优点：

1)基于子空间辨识方法建立单一图像质量评价结果与图像综合质量评价结果模型，便于模型扩展，当评价结果不准确时仍具有较高的模型精度；2)模型的阶数取决于输入输出数据构造的Hankel矩阵的维数，能够考虑相邻评价结果对当前评价结果的影响，提高模型精度。

具体实施方式

本发明的基于子空间辨识方法的彩色融合图像质量评价方法，包括以下步骤：

1.采集海天、绿色植物和城镇建筑3种常见场景的图像

海天、绿色植物和城镇建筑是最常用的三种场景类型。采集在黎明、白天、傍晚及夜晚不同时段的目标和场景的可见光图像，记录采集图像具体时间和情况，如有无星月、月相、天空是否晴朗以及图像采集时的环境照度。图像中热目标可以是人、车辆或船只等，每幅图像包含唯一的热目标。同一场景的可见光与红外源图像以及使用不同融合算法得到的彩色融合图像为一组，每类典型场景包含20组实验图像，一共60组图像作为融合的源图像。

2.主观评价数据的获取以及预处理

组织观察者进行主观评价实验，针对这三种典型场景建立的模型可以满足一定规模实际场景图像质量的评价要求。实验时，显示器首先显示每组的可见光与红外两幅灰度图像，明确其中需要探测的目标，之后显示不同融合算法产生的8幅彩色融合图像，图像大小均为320×240。融合算法包括TNO彩色融合法、MIT法、LFinYUV线性融合法、OFinYUV融合法、SP融合法、GTinYUV融合法、MRTinYUV和MRTinRGB融合法。观察者对融合图像相互比较并进行优劣排序，针对每一个评价指标从优到差分为7个档次，对应7-1分，给出相应的评价分数。将所有名观察者对图像p对应评价指标q给出的评价分数进行平均，得到该图像该指标的平均评分

其中，p＝1,2,…,480，q代表某一评价指标CTB、ST或CQTD。通过实验获得3种典型场景480幅图像对应CTB，ST和CQTD三方面指标的评价分数。

3.采用子空间辨识方法，基于评价结果建立单一图像质量主观评价结果与综合图像质量评价结果的模型。

1).将CTB和ST的评价结果u_{1_T}＝CTB[1：N]，u_{2_T}＝ST[1：N]，u_{1_V}＝CTB[N+1：2N]和u_{2_V}＝ST[N+1：2N]，作为自变量数据输入，将CQTD的评价结果y_T＝CQTD[1：N]和y_V＝CQTD[N+1：2N]作为因变量数据输出。其中N为参与测试的数据量，下标T和V分别表示用于实验的训练数据(Training)和基于模型的验证数据(Verify)，

2)通过输入输出数据构造Hankel矩阵投影的行“子空间”和列“子空间”来获取模型参数。

Y_V以及Y_T的定义同上。

3)系统预测输出模型为

L_w和L_u是相应的子空间矩阵，可以通过RQ分解得到。

基于QR分解子空间矩阵可得:

其中，表示Moore-Penrose伪逆。

4)具体应用到典型场景图形，获取预测模型

选取30组数据训练模型，基于子空间辨识方法建立CQTD二阶预测模型。基于模型，三种不同场景的图像综合质量二阶预测模型参数如下：

a)海天场景

b)植物场景

c)城镇建筑物场景

上述各实施例仅用于说明本发明，其中各方法的实施步骤等都是可以有所变化的，凡是在本发明技术方案的基础上进行的等同变换和改进，均不应排除在本发明的保护范围之外。

Claims (2)

1.基于子空间辨识方法的彩色融合图像质量评价方法，其包括如下步骤：

1)采集海天、绿色植物和城镇建筑3种常见场景的图像；

2)对采集的图像进行主观评价，并对单一图像质量评价结果和综合图像质量评价结果进行预处理；

3)依据主观评价结果建立客观的基于单一图像质量评价与综合图像质量的客观模型，包括以下步骤：

(1)基于预处理的数据，将图像单一质量评价数据作为输入项，将其相应的综合评价数据作为输出项；

(2)基于子空间辨识方法，利用输入输出数据构造Hankel矩阵；

(3)对Hankel矩阵进行QR分解，求解出模型的相关系数。

2.如权利要求1中所述的建立图像单一评价质量与图像综合质量评价模型方法，其特征在于所述步骤3)。采用子空间辨识方法建立模型，将单一图像质量评价结果和综合图像质量评价结果分别作为模型的输入和输出，模型的阶数取决于构建的Hankel矩阵的维数，能够有效的考虑相邻图像评价结果对当前图像评价结果的影响，提高模型精度。