CN100571335C - 基于像素空间相关性的图像融合效果实时评价方法及装置 - Google Patents

Abstract

本发明公开了一种基于像素空间相关性的图像融合效果实时评价方法及其装置。本评价方法是参与融合的视频信号和融合视频信号经视频输入端将视频信号输入到图像融合效果评估板，在评价控制键盘的作用下，图像融合效果评估板完成视频图像的采集、视频信号的预处理、图像融合计算、灰度共生矩阵的求取、标准偏差的求取、评价结果的显示以及数据存储的工作，并经由输出端在评价结果显示器上显示。本评价装置为依次相连的视频输入端、图像融合效果评估板、评价控制键盘和视频输出端以及评价结果显示器。本发明能够从图像清晰度的角度评价融合图像相对于源图的改善；可以进行实时的融合图像质量评价，根据场景的变化及时给出评价结果。

Description

基于像素空间相关性的图像融合效果实时评价方法及装置

一技术领域

本发明涉及一种图像质量评价技术，特别是一种基于像素空间相关性的图像融合效果实时评价方法及其装置。

二背景技术

图像融合是指综合两个或多个源图像的信息，以获取对同一场景更为精确、更为全面、更为可靠的图像描述。融合处理的目的在于依据不同谱段图像特征，取长补短，优化图像质量，来改善图像的清晰度，进而提高目标的发现与识别概率。现有的图像融合效果评价方法主要采用信息熵、交叉熵、平均互信息、均方根误差、峰值信噪比等指标，以及现场实测目标探测与识别概率的主观评价方法。信息熵能够给出图像平均信息量的多少，但并不能说明融合图像在图像清晰度方面的改善；同样交叉熵、互信息、均方根误差、峰值信噪比的指标也只是给出了融合图像对于参考图像(标准图像)的逼近程度，均不能反映融合图像的清晰程度。而主观评价为了保证在统计上有意义，参加评分的观察者至少应有20名，而且评价结果往往受图像类型、试验环境等影响。

在对融合图像的空间分辨率评价方面，新加坡Nanyang Technological University的V.Buntilov，T.Bretschneider发表“A Fusion Evaluation Approach with Region RelatingObjective Function for Multispectral Image Sharpening”的文章中提出一种“基于区别客观预期的区域类型和实际融合结果的区域类型的融合图像空间质量评价”方法(2005IEEE International Geoscience and Remote Sensing Symposium，volume 4，page2830-2833)。该方法根据源图的“梯度图像”的梯度门限值分别将源图分为三种不同类型的区域，然后根据源图中的相同位置像素点所属的融合区域类型将像素点分为九种预期的区域类型；融合图像也根据“梯度图像”的梯度门限值分为三种不同类型的区域，根据与源图中的相同位置像素点所属的融合区域类型比较的结果将像素点分为九种实际的区域类型；最后统计融合结果图中的像素点所属的实际区域类型和预期的区域类型的区别来评价融合结果的图像空间质量。该方法在产生“梯度图像”时需要经过直方图均衡和边缘检测，边缘检测算子的选择会影响到“梯度图像”的质量；在根据梯度门限值对“梯度图像”的像素点进行分类时，梯度值门限的选取也需要根据不同的图像类型进行调整，实用性比较差；同时该方法在使用时要求参与融合的源图要具有较强的相关性。

三发明内容

本发明的目的在于提供一种能够有效地实时评价融合系统在不同场景工作时，融合图像在清晰度方面相对于源图改善情况的基于像素空间相关性的图像融合效果实时评价方法及其装置。

实现本发明目的的技术解决方案为：一种基于像素空间相关性的图像融合效果实时评价方法，包括以下步骤：

(1)参与图像融合效果评价的视频信号由摄像机的输出端连接到视频输入端，完成视频信号的输入，并同时输入多路信号，输入的信号为PAL制或NTSC制的标准视频信号；

(2)经过视频输入端的标准的PAL制或NTSC制视频信号由视频采集部分分别转化为数字色差信号，其输出格式为ITU-R BT.656，并将数字色差信号按帧存储；

(3)将每帧数字色差信号中的亮度信号经过图像预处理，所述的图像预处理是采用多帧累加平均的图像平滑方法来改善融合图像的效果；

(4)经过平滑后的多路亮度图像进行图像融合，融合方法采用灰度调制方法；

(5)平滑后的多路亮度图像数据以及融合图像经过灰度共生矩阵快速求取得到每路亮度图像对应的灰度共生矩阵，灰度共生矩阵记录间距确定的一对相邻像素(m，n)与(m，n+1)构成的像素偶，在整幅图像中，它们在灰度数组[G₁，G₂]上的出现频度，灰度共生矩阵表征为H_2D；

(6)在任一灰度级确定的情况下，由灰度共生矩阵计算另一灰度级散布的标准偏差，并对标准偏差求平均值，对不同的l，l＝1，l＝2......，获得H_2D后，求得在由灰度共生矩阵表征的图像二维直方图的灰度数组[G₁，G₂]中，任一灰度级G₁确定的情况下，另一灰度级G₂散布的标准偏差σ；

(7)将多个灰度共生矩阵的标准偏差平均值输入到评价结果显示部分，由评价结果显示部分计算出改善因子的值，并将改善因子的值叠加到融合图像上；

(8)带有显示结果的融合图像由评价结果显示部分调整为标准的ITU-R BT.656格式，由视频编码器编码成标准视频信号输出到结果显示器。

本发明基于像素空间相关性的图像融合效果实时评价方法中所述灰度共生矩阵快速求取包括首先建立256*256字节的存储空间用来存储灰度共生矩阵，当图像文件准备好后取出对应图像左上角位置当前像素的灰度值，然后计算对偶像素点的位置并取出对偶像素点的灰度值，在灰度共生矩阵中当前像素灰度值、对偶像素灰度值对应的位置中存储的数值加1，接着判断对偶像素的位置是否到了图像文件的末尾；如果不是文件尾，则把当前像素点的位置右移，继续计算，如果已经到达图像文件的末尾，则结束运算。

一种实现上述的基于像素空间相关性的图像融合效果实时评价方法的装置，包括视频输入端、评价结果显示器，视频输入端连接图像融合效果评估板中的视频采集模块，在该图像融合效果评估板中，该视频采集模块连接灰度共生矩阵求取模块，该灰度共生矩阵求取模块连接标准偏差求取模块，该标准偏差求取模块连接评价结果显示模块，所述的视频采集模块、灰度共生矩阵求取模块、标准偏差求取模块和评价结果显示模块分别与数据存储模块相连，该评价结果显示模块连接图像融合效果评估板之外的视频输出端，该视频输出端连接评价结果显示器；评价控制键盘分别连接图像融合效果评估板中的视频采集模块、灰度共生矩阵求取模块和评价结果显示模块；工作流程如下：参与融合的视频信号及融合结果视频信号经由视频输入端连接到图像融合效果评估板的视频图像采集模块，将视频信号转变为数字图像信号之后按帧存储于数据存储模块；灰度共生矩阵求取模块根据控制键盘设定的像素偶距离求取数据存储模块中数字图像信号的灰度统计结果，并将结果存储于数据存储模块的特定区域；标准偏差求取模块读取数据存储模块的灰度共生矩阵结果，计算出所有灰度级G₁确定的情况下，另一灰度级G₂散布的标准偏差，并存储于数据存储模块的特定区域；评价结果显示模块根据控制键盘，确定需要显示的数据，并且将数据转换为适合显示的视频信号以及融合图像，经由输出端送到评价结果显示器进行评价结果输出；当输入视频信号中不存在融合视频信号时，在评价控制键盘的控制下，选择装置中的融合算法来求取融合视频信号，由求取的融合视频信号代替输入融合视频信号完成后续处理。

本发明基于像素空间相关性的图像融合效果实时评价装置，在图像融合效果评估板中加入图像预处理模块和融合模块，该图像预处理模块分别连接视频采集模块和融合模块，该融合模块连接灰度共生矩阵求取模块，所述的图像预处理模块与融合模块分别连接数据存储模块和评价控制键盘连接。

本发明基于像素空间相关性的图像融合效果实时评价装置的图像融合效果评估板为四片视频解码器分别与数字信号处理芯片的四个视频端口相连，且与数字信号处理芯片的控制总线相连，该数字信号处理芯片的扩展数据总线分别与串口控制、SDRAM与FLASH相连；该数字信号处理芯片具有能够进行图像预处理、融合计算、灰度共生矩阵的求取、标准偏差的求取、评价结果的显示数据计算的CPU，该CPU和数据存储模块之间的数据交换由外部存储器接口数据总线来完成，评价控制键盘通过串行口和图像融合效果评估板之间进行数据交换。

本发明与现有技术相比，其显著优点为：(1)能够从图像清晰度的角度评价融合图像相对于源图的改善程度；(2)可以进行实时的融合图像效果评价，根据场景的变化及时给出评价结果；(3)能够对参与融合的不同波段的视频图像进行融合图像的评价，不限制源图之间的相关性；(4)评价算法硬件实现效率高，且不需要参考标准图像。

四附图说明

图1是本发明基于像素空间相关性的图像融合效果实时评价方法中灰度共生矩阵的快速求取法的流程图。

图2是本发明基于像素空间相关性的图像融合效果实时评价装置的结构示意图。

图3是本发明基于像素空间相关性的图像融合效果实时评价装置中图像融合效果评估板实例的结构图。

图4是采用本发明基于像素空间相关性的图像融合效果实时评价装置对微光图像和紫外图像进行融合效果评价时输入的微光图像。

图5是采用本发明基于像素空间相关性的图像融合效果实时评价装置对微光图像和紫外图像进行融合效果评价时输入的紫外图像。

图6是采用本发明基于像素空间相关性的图像融合效果实时评价装置对微光图像和紫外图像进行融合效果评价时得到的融合图像。

图7是采用本发明基于像素空间相关性的图像融合效果实时评价装置对微光图像和紫外图像进行融合效果评价时得到的评价结果。

五具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明基于像素空间相关性的图像融合效果实时评价方法，包括以下步骤：

1.1参与图像融合效果评价的视频信号由摄像机的输出端连接到视频输入端，完成视频信号的输入，并同时输入多路信号，如输入的视频信号1和视频信号2是图4、图5所示的微光信号、紫外信号，该微光信号、紫外信号为PAL制或NTSC制的标准视频信号。

1.2经过视频输入端的视频信号由视频采集部分分别转化为数字图像信号，将标准的PAL制或NTSC制视频信号分别转换为数字色差信号，其输出格式为ITU-R BT.656，并将数字色差信号按帧存储。

1.3将每帧数字色差信号中的亮度信号经过图像预处理，采用多帧累加平均的图像平滑方法来改善融合图像的效果。

1.4经过平滑后的多路亮度图像进行图像融合，融合方法采用灰度调制方法，融合后的图像如图6所示。

1.5平滑后的多路亮度图像数据以及融合图像经过灰度共生矩阵快速求取得到每路亮度图像对应的灰度共生矩阵，灰度共生矩阵记录间距确定的一对相邻像素(m，n)与(m，n+1)构成的像素偶，在整幅图像中，它们在灰度数组[G₁，G₂]上的出现频度，灰度共生矩阵表征为H_2D：

H_2D＝f(G₁，G₂)

一般说来，由灰度共生矩阵表征的图像二维直方图的形象外貌大致是沿着(G₁，G₂)平面的45°斜线分布，它能清楚地定量表征图像中相邻像素间灰度级的相关程度，而相邻像素灰度空间相关度，恰好是图像清晰度的一种统计表征。相关性差(清晰度好)的图像，散布范围宽；相关性强(清晰度差)的图像散布范围窄。

结合图1，其中采用灰度共生矩阵的快速求取法来融合图像，即首先建立256*256字节的存储空间用来存储灰度共生矩阵，当图像文件准备好后取出对应图像左上角位置当前像素的灰度值，然后计算对偶像素点的位置并取出对偶像素点的灰度值，在灰度共生矩阵中当前像素灰度值、对偶像素灰度值对应的位置中存储的数值加1，接着判断对偶像素的位置是否到了图像文件的末尾；如果不是文件尾，则把当前像素点的位置右移，继续计算，如果已经到达图像文件的末尾，则结束运算。

1.6在任一灰度级确定的情况下，由灰度共生矩阵计算另一灰度级散布的标准偏差，并对标准偏差求平均值。对不同的l(l＝1，l＝2......)，获得H_2D后，求得在由灰度共生矩阵表征的图像二维直方图的灰度数组[G₁，G₂]中，任一灰度级G₁确定的情况下，另一灰度级G₂散布的标准偏差σ：

$\mathrm{\&sigma;}={\left[\frac{\underset{\&ForAll;G_2}{\mathrm{\&Sigma;}}{(G_2-<G_2>)}^{2}f{(G_1,G_2)|}_{G_1}}{\underset{\&ForAll;G_2}{\mathrm{\&Sigma;}}f{(G_1,G_2)|}_{G_1}}\right]}^{\frac{1}{2}}$

其中

$<G_2>=\frac{\underset{\&ForAll;G_2}{\mathrm{\&Sigma;}}{G}_{2}f{(G_1,G_2)|}_{G_1}}{\underset{\&ForAll;G_2}{\mathrm{\&Sigma;}}f{(G_1,G_2)|}_{G_1}}$

最终得到可以用来表征图像相邻像素间相关度的函数(如选择标准偏差的平均值)：

σ＝σ(l)

式中l表示像素偶之间的距离。

在采用此装置对微光图像和紫外图像进行融合效果评价时，微光图像标准偏差的平均值为11.297，紫外图像标准偏差的平均值为13.8，融合图像标准偏差的平均值为21.84。

1.7将多个灰度共生矩阵的标准偏差平均值输入到评价结果显示部分，由评价结果显示部分计算出改善因子的值，并将结果叠加到融合图像上。

融合改善因子D(l)定义为：

D(l)＝σ_F(l)/σ_S(l)

式中σ_F(l)表示融合图像的相关度函数，σ_S(l)表示源图像的相关度函数。通过上式运算得到的融合改善因子为：融合/视频信号1＝1.933；融合/视频信号2＝1.583。

其中对图像融合效果的评估算法，采用像素空间相关法。评价图像融合效果的像素空间相关法，利用灰度共生矩阵二维直方图进行统计指标的判别，从而实现判定融合像质改善水平的评价技术。

1.8带有显示结果的融合图像由评价结果显示部分调整为标准的ITU-R BT.656格式，由视频编码器编码成标准视频信号输出到结果显示器，显示结果如图7所示。

结合图2，本发明的实现上述基于像素空间相关性的图像融合效果实时评价方法的装置，包括视频输入端、评价结果显示器，当输入视频信号中存在融合视频时，视频输入端连接图像融合效果评估板中的视频采集模块，图像融合效果评估板完成视频图像的采集、灰度共生矩阵的求取、标准偏差的求取、评价结果的显示以及数据存储的工作，即在该图像融合效果评估板中，该视频采集模块连接灰度共生矩阵求取模块，该灰度共生矩阵求取模块连接标准偏差求取模块，该标准偏差求取模块连接评价结果显示模块，所述的视频采集模块、灰度共生矩阵求取模块、标准偏差求取模块和评价结果显示模块分别与数据存储模块相连，该评价结果显示模块连接图像融合效果评估板之外的视频输出端，该视频输出端连接评价结果显示器，该评价结果显示器用于输出评价结果，包括融合视频及源图的改善因子。评价控制键盘分别连接图像融合效果评估板中的视频采集模块、灰度共生矩阵求取模块和评价结果显示模块。所述的评价控制键盘根据视频信号输入情况，控制图像预处理及融合模块的工作；控制灰度共生矩阵求取的参数设置，以及评价结果显示的时间选取。

当输入视频信号中不存在融合视频时，在评价控制键盘的作用下，图像融合效果评估板完成视频图像的采集、视频信号的预处理、图像融合计算、灰度共生矩阵的求取、标准偏差的求取、评价结果的显示以及数据存储的工作。与视频信号融合的融合视频信号由图像融合效果评估板中的融合模块计算得到，即在上述图像融合效果评估板中加入图像预处理模块和融合模块，该图像预处理模块分别连接视频采集模块和融合模块，该融合模块连接灰度共生矩阵求取模块，所述的图像预处理模块与融合模块分别连接数据存储模块和评价控制键盘连接。

结合图2和图3，基于数字信号处理芯片(如TMS320DM642)而设计图像融合效果评估板。视频图像采集模块采用四片视频解码器(如SAA7111)，将NTSC、PAL视频信号转换成数字色差信号，其输出格式为ITU-R BT.656。视频解码器的配置是通过数字信号处理芯片的控制总线来完成，数据存储模块采用4M×64位的SDRAM；程序存储器采用4M×8位的FLASH。评价结果显示模块中的视频数据输出采用视频编码器(如THS8134)，它支持PAL与NTSC格式的视频编码，其输入为BT.656格式的数字视频，它的配置也是通过控制总线来完成的。图像预处理、融合计算、灰度共生矩阵的求取、标准偏差的求取、评价结果的显示数据的计算由数字信号处理芯片的CPU来完成，CPU和数据存储模块之间的数据交换由外部存储器接口数据总线来完成。评价控制键盘通过串行口和图像融合效果评估板之间进行数据交换。各部分的工作过程如下：

1、装置各部分上电以后，数字信号处理芯片首先进行初始化，包括程序的引导和地址分配以及由控制总线配置视频解码器及视频编码器等；

2、解码后的数字图像信号分别经数字信号处理芯片的视频输入端在数据总线的控制下存储于SDRAM中；

3、数字信号处理芯片按帧从SDRAM中读取输入数字信号，根据评价控制键盘的输入对每帧图像分别求取灰度共生矩阵，将求取结果存储于SDRAM中；

4、数字信号处理芯片对每帧图像的灰度共生矩阵结果进行标准偏差值的求取并将求取结果综合为显示数字视频信号；

5、响应评价控制键盘的显示信号，将该时的评价结果数字视频信号以及融合结果信号经视频编码器编码，准备输出显示结果。

本发明基于像素空间相关性的图像融合效果实时评价装置的工作流程详述如下：参与融合的视频信号及融合结果视频信号经由视频输入端连接到图像融合效果评估板的视频图像采集模块，将视频信号转变为数字图像信号之后按帧存储于数据存储模块；灰度共生矩阵求取模块根据控制键盘设定的像素偶距离求取数据存储模块中数字图像信号的灰度统计结果，并将结果存储于数据存储模块的特定区域；标准偏差求取模块读取数据存储模块的灰度共生矩阵结果，计算出所有灰度级G₁确定的情况下，另一灰度级G₂散布的标准偏差，并存储于数据存储模块的特定区域；评价结果显示模块根据控制键盘，确定需要显示的数据，并且将数据转换为适合显示的视频信号以及融合图像，经由输出端送到评价结果显示器进行评价结果输出；当输入视频信号中不存在融合视频信号时，在评价控制键盘的控制下，选择装置中的融合算法来求取融合视频信号，由求取的融合视频信号代替输入融合视频信号完成后续处理。

Claims (5)

1、一种基于像素空间相关性的图像融合效果实时评价方法，包括以下步骤：

(1)参与图像融合效果评价的视频信号由摄像机的输出端连接到视频输入端，完成视频信号的输入，并同时输入多路信号，输入的信号为PAL制或NTSC制的标准视频信号；

(2)经过视频输入端的将标准的PAL制或NTSC制视频信号由视频采集部分分别转化为数字色差信号，其输出格式为ITU-R BT.656，并将数字色差信号按帧存储；

(3)将每帧数字色差信号中的亮度信号经过图像预处理，所述的图像预处理是采用多帧累加平均的图像平滑方法来改善融合图像的效果；

(4)经过平滑后的多路亮度图像进行图像融合，融合方法采用灰度调制方法；

(5)平滑后的多路亮度图像数据以及融合图像经过灰度共生矩阵快速求取得到每路亮度图像对应的灰度共生矩阵，灰度共生矩阵记录间距确定的一对相邻像素(m，n)与(m，n+1)构成的像素偶，在整幅图像中，它们在灰度数组[G₁，G₂]上的出现频度，灰度共生矩阵表征为H_2D；

(6)在任一灰度级确定的情况下，由灰度共生矩阵计算另一灰度级散布的标准偏差，并对标准偏差求平均值，对不同的l，l＝1，l＝2.......，获得H_2D后，求得在由灰度共生矩阵表征的图像二维直方图的灰度数组[G₁，G₂]中，任一灰度级G₁确定的情况下，另一灰度级G₂散布的标准偏差σ；

(7)将多个灰度共生矩阵的标准偏差平均值输入到评价结果显示部分，由评价结果显示部分计算出改善因子的值，并将改善因子的值叠加到融合图像上；

(8)带有显示结果的融合图像由评价结果显示部分调整为标准的ITU-R BT.656格式，由视频编码器编码成标准视频信号输出到结果显示器。

2、根据权利要求1所述的基于像素空间相关性的图像融合效果实时评价方法，其特征在于：所述灰度共生矩阵快速求取包括首先建立256*256字节的存储空间用来存储灰度共生矩阵，当图像文件准备好后取出对应图像左上角位置当前像素的灰度值，然后计算对偶像素点的位置并取出对偶像素点的灰度值，在灰度共生矩阵中当前像素灰度值、对偶像素灰度值对应的位置中存储的数值加1，接着判断对偶像素的位置是否到了图像文件的末尾；如果不是文件尾，则把当前像素点的位置右移，继续计算，如果已经到达图像文件的末尾，则结束运算。

3、一种实现权利要求1或2所述的基于像素空间相关性的图像融合效果实时评价方法的装置，包括视频输入端、评价结果显示器，其特征在于：视频输入端连接图像融合效果评估板中的视频采集模块，在该图像融合效果评估板中，该视频采集模块连接灰度共生矩阵求取模块，该灰度共生矩阵求取模块连接标准偏差求取模块，该标准偏差求取模块连接评价结果显示模块，所述的视频采集模块、灰度共生矩阵求取模块、标准偏差求取模块和评价结果显示模块分别与数据存储模块相连，该评价结果显示模块连接图像融合效果评估板之外的视频输出端，该视频输出端连接评价结果显示器；评价控制键盘分别连接图像融合效果评估板中的视频采集模块、灰度共生矩阵求取模块和评价结果显示模块；工作流程如下：参与融合的视频信号及融合结果视频信号经由视频输入端连接到图像融合效果评估板的视频图像采集模块，将视频信号转变为数字图像信号之后按帧存储于数据存储模块；灰度共生矩阵求取模块根据控制键盘设定的像素偶距离求取数据存储模块中数字图像信号的灰度统计结果，并将结果存储于数据存储模块的特定区域；标准偏差求取模块读取数据存储模块的灰度共生矩阵结果，计算出所有灰度级G₁确定的情况下，另一灰度级G₂散布的标准偏差，并存储于数据存储模块的特定区域；评价结果显示模块根据控制键盘，确定需要显示的数据，并且将数据转换为适合显示的视频信号以及融合图像，经由输出端送到评价结果显示器进行评价结果输出；当输入视频信号中不存在融合视频信号时，在评价控制键盘的控制下，选择装置中的融合算法来求取融合视频信号，由求取的融合视频信号代替输入融合视频信号完成后续处理。

4、根据权利要求3所述的基于像素空间相关性的图像融合效果实时评价装置，其特征在于：在图像融合效果评估板中加入图像预处理模块和融合模块，该图像预处理模块分别连接视频采集模块和融合模块，该融合模块连接灰度共生矩阵求取模块，所述的图像预处理模块与融合模块分别连接数据存储模块和评价控制键盘连接。

5、根据权利要求3所述的基于像素空间相关性的图像融合效果实时评价装置，其特征在于：图像融合效果评估板为四片视频解码器分别与数字信号处理芯片的四个视频端口相连，且与数字信号处理芯片的控制总线相连，该数字信号处理芯片的扩展数据总线分别与串口控制、SDRAM与FLASH相连；该数字信号处理芯片具有能够进行图像预处理、融合计算、灰度共生矩阵的求取、标准偏差的求取、评价结果的显示数据计算的CPU，该CPU和数据存储模块之间的数据交换由外部存储器接口数据总线来完成，评价控制键盘通过串行口和图像融合效果评估板之间进行数据交换。

Images