发明内容
针对上述现有技术中存在的应用图像处理领域的问题,由于往往因为图像处理的技术不同,其处理后的图像具有不同的空间信息和光谱信息特点,本发明要解决的技术问题是提供一种提高图像的光谱信息和空间信息,更有利于图像识别,增加图像信息量,增强目视解译效果,突出特定地物的遥感图像融合增强的实现方法。
为解决上述技术问题,本发明采用的技术方案是:
本发明一种遥感图像融合增强的实现方法包括以下步骤:
(1)数据预处理:将选取的多光谱遥感影像与全色波段影像进行配准;
(2)LBV数据变换:将多光谱遥感影像的波段进行LBV数据变换,得到处理后的L、B、V图像;
(3)将L、B、V变换图像进行传统图像融合:将处理后的L、B、V图像作为三个分量,将代表普通辐射水平的L当作I分量和V分量,选择进行IHS变换融合、IHS变换同小波变换相结合的融合以及HSV变换同小波变换相结合的融合;
(4)主观结果比较:通过肉眼观察最后的图像融合结果,是否能够具有高空间分辨率信息和地物纹理结构信息,融合结果是否满意;
(5)客观定量评价:采用多种评价标准对结果图像进行评价,评价标准有:均值、方差、熵、梯度、相关系数以及逼真度。
所述LBV数据变换包括以下步骤:
(2-1)绘制地物灰度值曲线:以波长为横坐标,灰度值为纵坐标绘制裸地、水体、植被典型地物类型的灰度值曲线;
(2-2)计算并绘制回归方程:将波长值带入二次回归曲线模型和回归直线模型,求出二次回归曲线和回归直线方程的系数,并绘制出线性和二次回归曲线;
(2-3)确定L、B、V的通用公式:
L0=1.441247D2-0.090419D3-1.367302D4+1.794034D5+12.000000
B0=1.126971D2+0.673348D3+0.077966D4-1.878287D5+159.000000
V0=1.636910D2-3.396809D3+1.915944D4-0.156048D5+121.000000
式中,D2为TM影像第二波段的灰度值,D3为TM影像第三波段的灰度值,D4为TM影像第三波段的灰度值,D5为TM影像第三波段的灰度值,L0为适用于所有TM影像的地物辐射水平值,B0为适用于所有TM影像的可见光-近红外辐射平衡值,V0为适用于所有TM影像的辐射变化矢量(速度和方向)值;
(2-4)确定L、B、V的特定公式:根据(2-3)中得到的L0、B0、V0图像,计算出其灰度平均值和标准差,计算出所用TM图像的L、B、V最终公式,其中L为所采用的TM影像的最终地物辐射水平值,B为所采用的TM影像的最终可见光-近红外辐射平衡值,V为所采用的TM影像的最终辐射变化矢量(速度和方向)值;
(2-5)得到最终L、B、V图像:根据(2-4)中的公式得到最终的L、B、V图像,并分别赋予红色、蓝色、绿色,得到彩色合成图像。
所述将L、B、V变换图像进行传统图像融合如图3所示,包括以下步骤:
(3-1)IHS变换融合:将经过LBV数据变换后生成的L、B、V图像进行IHS正变换,得到I、H、S三个分量;将SPOT高分辨率全色波段图像,对照I分量进行直方图匹配,得到新的全色图像PAN1;用PAN1代替I分量,进行IHS反变换,得到新的L、B、V图像;
(3-2)IHS变换与小波变换相结合的融合:
经过LBV数据变换后生成的L、B、V图像进行IHS正变换,得到I、H、S三个分量;
将SPOT全色PAN图像对照I分量进行直方图拉伸,生成新的PAN1图像;
对I分量和PAN1分别进行小波变换,生成分别代表低频整体信息分量和水平,垂直,对角3个方向上的高频信息分量:lli、lhi、hli、hhi和llp、lhp、hlp、hhp;
计算I分量的低频整体信息分量lli与PAN1图像中整体低频信息分量llp的相关关系w1,得到新的llp,llp=llp*(1-w1)+lli*w1;
用新的llp代替旧的llp,进行小波反变换,生成新的I分量,再进行IHS反变换,得到新的L、B、V图像;
(3-3)HSV变换同小波变换相结合的融合:经过LBV数据变换后生成的L、B、V图像进行HSV正变换,得到H、S、V三个分量;将SPOT全色PAN图像对照V分量进行融合;将SPOT全色PAN图像与V分量进行小波融合,将融合生成新的变量定义为V与H、S分量进行HSV逆变换,生成新的LBV融合图像。
所述客观定量评价包括如下步骤:
(5-1)均值评价:均值为图像中像素的灰度平均值,对人眼反应为平均亮度,图像均值的计算公式为:
式中:Z表示图像的均值,Z(xi,yi)为图像在第i行,第j列的灰度值,M为图像的总行数,N为图像的总列数,i,j分别表示依次取的像素的行列号;
(5-2)均方根误差RMSE评价:用来评价融合图像与参考图像之间的差异程度,差异小,表示融合效果好,均方根误差计算公式为:
式中:RMSE表示均方根误差,R(xi,yi)为融合后图像在第i行,第j列的灰度值,∑表示求和运算,F(xi,yj)为融合前图像在第i行,第j列的灰度值,M为图像的总行数,N为图像的总列数,i,j分别表示依次取的像素的行列号;
(5-3)熵评价:选用对图像求熵的方法进行信息量大小的评价,熵越大,图像所含的信息越丰富,图像质量越好,熵的计算公式为:
式中:E为图像的熵,L为图像的总灰度级,Pi表示灰度值为i的像素数Ni与图像总像素数N之比;
(5-4)梯度评价:梯度反应影像清晰度的大小,用G表示,G越大,图像越清晰,图像梯度的计算公式为:
式中:G表示图像梯度值,Z(xi,yj)为图像在第i行,第j列的灰度值,M为图像的总行数,N为图像的总列数,i,j分别表示依次取的像素的行列号δ表示对函数求偏微分;
(5-5)相关系数评价:相关系数反应两幅图像的相关程度,通过比较融合前后图像的相关系数,得到多光谱影像的光谱信息改变程度,相关系数的计算公式为:
式中:P为相关系数,F(xi,yj)为融合前图像第i行,第j列的灰度值,A(xi,yi)为融合后图像第i行,第j列的灰度值,f为融合前图像的均值,a为融合后图像的均值,M为图像的总行数,N为图像的总列数。
本发明具有以下有益效果及优点:
1.解决了单纯LBV数据变换中缺少空间纹理结构等信息的缺陷。本发明方法采用了利用多个光谱波段进行数据变换的LBV数据变换方法,使变换后的图像光谱信息更加丰富。但是LBV数据变换没有考虑到空间信息,本方法将变换后的图像进一步进行经典的图像融合,很好的解决了这一问题。
2.增加了传统图像融合后图像的光谱信息。本发明方法创新性的突破了以往传统的图像融合方法只利用3个光谱波段与高分辨率图像进行融合的局限,将采用四个(或更多)光谱波段的L,B,V图像同高分辨率图像进行融合,增加了融合图像的光谱信息,是对传统融合方法的一大突破。
3.应用广泛。经过本发明方法处理后的图像,光谱信息更加丰富,色彩更加鲜明,地物类别更易区分,特别的能够突出水体,植被等地物类别,可以很好的应用于图像的目视解译。
具体实施方式
下面结合附图对具体实施方式加以详细说明。
本发明提出了一种遥感图像融合增强的新方法,即将LBV数据变换同传统的图像融合相结合的图像融合增强的实现方法,其目的是增强处理后图像的光谱信息和提高处理后图像的空间分辨率,针对LBV数据变换以及传统的图像融合方法各自所存在的优缺点,将两种图像处理方法相结合,提出了将LBV数据变换同传统的图像融合相结合的图像处理实现方法。该方法可使处理后的图像光谱信息更加丰富,地物类别更易区分,可以有助于目视解译及特定目标地物的提取。本发明实现方法首先对多光谱影像进行LBV数据变换,然后选择利用经典的融合方法进行与高分辨率PAN影像的融合处理。对原始的多光谱图像进行LBV数据变换(参见图2所示),将变换后的图像用IHS(参见图2所示)、基于ISH和小波变换相结合的变换(参见图3所示)、基于HSV和小波相结合的变换(参见图4所示)等几种融合方法与高分辨率全色PAN图像进行了融合处理,并给出了融合结果的评价方法。实验结果表明,在进行LBV变换的基础上,选择不同的融合方法进行融合的结果存在差异,各有优缺点,说明实际融合时可根据不同的应用目的选择合适的融合方法。但总的来说,基于LBV变换后的融合图像,与未经LBV变换后的融合图像相比,光谱信息更加丰富,地物类别更易区分,可以有助于目视解译及特定目标地物的提取,是一种具有良好应用潜力的图像处理方法。
具体实施步骤如图1所示:
(1)数据预处理:将选取的TM(是一种卫星传感器)低分辨率多光谱影像与SPOT高分辨率全色波段影像进行配准;
(2)LBV数据变换:将多光谱遥感影像波段进行LBV数据变换,得到处理后的L、B、V图像;
LBV数据变换的实现流程如图2所示,具体包括以下5个子步骤:
(2-1)绘制地物灰度值曲线:以波长为横坐标,灰度值为纵坐标绘制裸地、水体、植被等典型地物类型的灰度值曲线;
(2-2)计算并绘制回归方程:将波长值代入二次回归曲线模型和回归直线模型,求出二次回归曲线和回归直线方程的系数,并绘制出线性和二次回归曲线;
(2-3)确定L、B、V的通用公式:本实施例以TM遥感影像为例,用λ=-0.20μm时的灰度值来表示普通辐射水平L,用线性回归直线的斜率来表示可见光-近红外辐射平衡B,用回归残差v表示波段辐射变化矢量(速度和方向)V,通用公式为:
L0=1.441247D2-0.090419D3-1.367302D4+1.794034D5+12.000000
B0=1.126971D2+0.673348D3+0.077966D4-1.878287D5+159.000000
V0=1.636910D2-3.396809D3+1.915944D4-0.156048D5+121.000000
式中,D2为TM影像第二波段的灰度值,D3为TM影像第三波段的灰度值,D4为TM影像第三波段的灰度值,D5为TM影像第三波段的灰度值,L0为适用于所有TM影像的地物辐射水平值,B0为适用于所有TM影像的可见光-近红外辐射平衡值,V0为适用于所有TM影像的辐射变化矢量(速度和方向)值。
(2-4)确定L、B、V的特定公式:根据(2-3)中得到的L0,B0,V0图像,计算出其灰度平均值和标准差,计算出适合于本实例所用的TM图像的L、B、V最终公式:
L=1.2173919D2-0.076375477D3-1.1549318D4+1.5153838D5+77.377914
B=0.64155117D2+0.38331683D3+0.044383962D4-1.0692530D5+137.43799
V=2.1351396D2-4.4306883D3+2.4990958D4-0.20354377D5+112.12141
式中,D2为TM影像第二波段的灰度值,D3为TM影像第三波段的灰度值,D4为TM影像第三波段的灰度值,D5为TM影像第三波段的灰度值,L为适于本发明所采用的TM影像的最终地物辐射水平值,B为适于本发明所采用的TM影像的最终可见光-近红外辐射平衡值,V为适于本发明所采用的TM影像的最终辐射变化矢量(速度和方向)值。
(2-5)得到最终L、B、V图像:根据(2-4)中的公式得到最终的L、B、V图像,并分别赋予红色、蓝色、绿色,得到彩色合成图像。
(3)将L、B、V变换图像进行传统图像融合:有以下方法供用户参考选择:(1)进行IHS变换融合;(2)利用IHS变换同小波变换相结合的融合,(3)利用HSV变换同小波变换相结合的融合。
本发明中提出的将L、B、V变换图像进行传统图像融合,实质上是一种新的方法实现多光谱图像与高分辨率PAN图像的融合,有以下方法供用户参考选择,如图3所示:
(3-1)IHS变换融合:将经过LBV数据变换后生成的L、B、V图像进行IHS正变换,得到I、H、S三个分量;将SPOT高分辨率全色波段图像,对照I分量进行直方图匹配,得到新的全色图像PAN1;用PAN1代替I分量,进行IHS反变换,得到新的L、B、V图像;
(3-2)IHS变换同小波变换相结合的融合(如图4所示):经过LBV数据变换后生成的L、B、V图像进行IHS正变换,得到I、H、S三个分量;将SPOT全色PAN图像对照I分量进行直方图拉伸,生成新的PAN1图像;对I分量和PAN1分别进行小波变换,生成分别代表低频整体信息分量和3个方向(水平,垂直,对角)上的高频信息分量:lli、lhi、hli、hhi和llp、lhp、,hlp、hhp;计算I分量的低频整体信息分量lli与PAN1图像中低频整体信息分量llp的相关关系w1,得到新的llp,llp=llp*(1-w1)+lli*w1;用新的llp代替旧的llp,进行小波反变换,生成新的I分量,再进行IHS反变换,得到新的L、B、V图像;
(3-3)HSV变换同小波变换相结合的融合(如图5所示):经过LBV数据变换后生成的L、B、V图像进行HSV正变换,得到H、S、V三个分量;将SPOT全色PAN图像与V分量进行小波融合,将融合生成新的分量定义为V,与H、S分量进行HSV逆变换,生成新的LBV融合图像。(参见图5所示)
(4)主观结果评价:通过肉眼观察最后的图像融合结果,图6B和图6C与图6A相比,经过LBV变换后的融合图像结果除色彩更加分明,地物类别更加分明,能很好的突出裸露地表,植被,水体等信息外,能够具有高空间分辨率信息,地物纹理结构等信息得以突出;如6A~6C所示,图6A为将2,3,4,5波段的TM多光谱影像进行LBV数据变换后得到的图像,图6B为经LBV数据变换后的图像与SPOT全色波段进行IHS变换与小波变换相结合的融合后得到的图像,图6C为经LBV数据变换后的图像与HSV变换与小波变换相结合的融合后得到的图像。
(5)客观定量评价:采用多种评价标准对结果图像进行评价,可采用的评价标准有:均值,方差,熵,梯度,相关系数和逼真度。(参见图6A~C所示)
本发明中提出的客观定量评价实质上是对采用本方法进行图像处理后的融合图像进行定量的分析,具体包括如下5个子步骤:
(5-1)均值评价:均值为图像中像素的灰度平均值,对人眼反应为平均亮度,图像均值的计算公式为:
式中:Z表示图像的均值,Z(xi,yi)为图像在第i行、第j列的灰度值,M为图像的总行数,N为图像的总列数,i,j分别表示依次取的像素的行列号。
(5-2)均方根误差RMSE评价:用来评价融合图像与参考图像之间的差异程度。差异小,表示融合效果好,均方根误差计算公式为:
式中:RMSE表示均方根误差,R(xi,yi)为融合后图像在第i行,第j列的灰度值,F(xi,yj)为融合前图像在第i行,第j列的灰度值,M为图像的总行数,N为图像的总列数,i,j分别表示依次取的像素的行列号。
(5-3)熵评价:熵是衡量图像信息丰富程度的一个重要指标,可选用对图像求熵的方法进行信息量大小的评价。熵越大,图像所含的信息越丰富,图像质量越好,熵的计算公式为:
式中:E为图像的熵,L为图像的总灰度级,Pi表示灰度值为i的像素数Ni与图像总像素数N之比。
(5-4)梯度评价:梯度反应影像清晰度的大小,用G表示,G越大,图像越清晰。图像梯度的计算公式为:
式中:G表示图像梯度值,Z(xi,yj)为图像在第i行,第j列的灰度值,M为图像的总行数,N为图像的总列数,i,j分别表示依次取的像素的行列号δ表示对函数求偏微分。
(5-5)相关系数评价:相关系数反应了两幅图像的相关程度。通过比较融合前后图像的相关系数,得到多光谱影像的光谱信息改变程度。
相关系数的计算公式为:
式中:P为相关系数,F(xi,yj)为融合前图像第i行、第j列的灰度值,A(xi,yj)为融合后图像第i行、第j列的灰度值,f为融合前图像的均值,a为融合后图像的均值,M为图像的总行数,N为图像的总列数。
本发明方法的实现原理如下:
LBV数据变换的理论基础
LBV数据变换是一种新的关于遥感图像数据变换的方法,它通过对遥感图像上不同波段不同地物特征的灰度曲线进行分析,提取出了四种最基本的遥感特征:普通辐射水平L,可将光-近红外辐射平衡B,波段辐射变化矢量(速度和方向)V,热辐射强度I。其中,热辐射强度I取决于热红外波段,这一特征是独立的,可以单独被使用,因此不需要参与数据变换。所以,数据转换主要是针对原始图像提取出L、B、V三个特征来进行。以TM影像为例,利用TM遥感影像的2,3,4,5波段的灰度值绘制回归直线和二次回归曲线,通过分析和比较,普通辐射水平L可用λ=-0.20μm时的灰度值来表示,可将光-近红外辐射平衡B用回归直线的斜率来表示,波段辐射变化矢量(速度和方向)V可用回归残差v表示。这样就得到了TM影像的L,B,V最初计算公式:
L0=5.101187D2-0320033D3-4.839463D4+6.349850D5
B0=0.607728D2+0.363108D3+0.042044D4-1.012881D5
V0=0.649331D2-1.347445D3+0.760016D4-0.061901D5
但这些初始的L0、B0、V0有可能是负值,或者超过最大灰度值255,因此对于任意一幅TM影像,都可以用以下的通用公式来得到L、B、V值:
L1=1.441247D2-0.090419D3-1.367302D4+1.794034D5+12.000000
B1=1.126971D2+0.673348D3+0.077966D4-1.878287D5+159.000000
V1=1.636910D2-3.396809D3+1.915944D4-0.156048D5+121.000000
对于特定地区的图像,可以通过计算L、B、V图像的均值和标准差来修正L、B、V计算公式,得到特定图像的L、B、V计算公式,本发明方法计算出了所用到的TM影像的最终L、B、V计算公式:
L=1.2173919D2-0.076375477D3-1.1549318D4+1.5153838D5+77.377914
B=0.64155117D2+0.38331683D3+0.044383962D4-1.0692530D5+137.43799
V=2.1351396D2-4.4306883D3+2.4990958D4-0.20354377D5+112.12141
另外,在地球表面有三个最基本的地面覆盖要素,即裸地(广义),植被和水体,这三者的不同比例构成了地球表面所有的覆盖类型。此外,在彩色图像上有三种最基本的颜色(包括遥感图像的彩色合成),既红色,绿色和蓝色,这三种颜色组成了彩色图像里的所有颜色。
LBV数据变换就是将这三种最基本遥感特征,这三种最基本的陆地覆盖要素和三种最基本的颜色相互对应,代表普通辐射水平的L在遥感图像上表示广义的裸地,赋予红色;代表可见光-近红外辐射平衡的B在遥感图像上表示水体,赋予蓝色;代表波段辐射变化矢量(速度和方向)V在遥感图像上表示植被,赋予绿色。因此被分别赋予红色,蓝色,绿色的L、B、V图像可以有效的用来生成高质量的彩色复合图像,能够产生红色,绿色,蓝,黄,粉色,青色和其他各种颜色,并且这些颜色都纯净、饱和、平衡,定义明确而且接近地面物质的颜色特征。因此,能够不仅仅凭借经验,也能通过逻辑来更容易的解释和分析地表物质。是一种能够被用来进行遥感图像解译,分类和增强的好方法。
本发明对LBV数据变换的改进:
经过LBV数据变换后得到的L、B、V合成图像,其光谱信息明显增加,色彩更加鲜明,地物类别更易区分。但是LBV数据变换没有考虑到空间信息,因此图像的空间分辨率不能得到增强。本发明方法将LBV数据变换同传统的融合方法相结合,通过IHS变换融合方法,IHS变换和小波变换相结合的融合方法,HSV变换同小波变换相结合的融合方法,大大的提高了经过LBV变换后图像的空间分辨率,得到了光谱信息更加丰富,空间分辨率高的图像。
IHS变换融合的理论基础:
IHS是基于不同色彩空间融合方法的一种。在所有的色彩变换技术中,IHS变换最符合人的视觉效果。IHS从多光谱色彩空间中提取代表空间信息的亮度I(Intensity)和代表光谱信息的色度H(Hue)与饱和度S(Saturation)。亮度I主要反映图像地物反射的全部能量信息;色度H代表颜色属性,由红、绿、蓝的比重所决定;饱和度S表示相对中性灰色而言颜色的比重,即颜色的鲜艳度。经过HIS变换后,亮度、色度和饱和度三种成分之间的相关性变得很低,可以对HIS空间中的三个变量单独进行处理,为我们对饱和度进行拉伸提供基础。通常将RGB到HIS的变换称为HIS正变换,而将IHS到RGB的变换称为HIS逆变换。IHS变化的方法有圆柱体法,六棱锥法和三角形法。对于图像融合而言,各种HIS变换方法无异。以Smith的三角形模型计算IHS变换为例,正变换公式如下:
I=(R+G+B)3
H=(G-B)/3(I-B),S=1-B/I,(B=min)
H=(B-G)/3(I-R),S=1-R/I,(R=min)
H=(R-G)/3(I-G),S=1-G/I,(G=min)
式中:R表示被颜色为红色的波段的灰度值,G表示颜色为绿色的波段的灰度值,B表示颜色为蓝色的波段的灰度值,I表示经变换后得到的亮度值,H表示经变换后得到的色度值,S表示经变换后得到的饱和度值。
反变换公式如下:
B=I×(1-S)
G=3H(I-B)+B(B=min)
R=3I-B-G
R=I×(1-S)
B=3H(I-R)+R(R=min)
G=3I-B-R
G=I×(1-S)
R=3H(I-G)+G(G=min)
B=3I-R-G
式中:R表示被颜色为红色的波段的灰度值,G表示颜色为绿色的波段的灰度值,B表示颜色为蓝色的波段的灰度值,I表示经变换后得到的亮度值,H表示经变换后得到的色度值,S表示经变换后得到的饱和度值。
IHS变换与小波变换相结合的融合方法的理论基础:
为了更好的结合多光谱图像的光谱信息和高分辨率图像的空间信息,人们又提出了基于IHS变换和小波变换相结合的遥感图像融合方法,其基本思路是通过将高分辨率的图像与多光谱图像的IHS变换后的I分量进行直方图匹配,然后再分别进行小波变换,用高分辨率图像的低频替换I分量的低频,再对新生成的I分量进行小波反变换,而后经过IHS反变换,获得融合后的图像。
HSV变换与小波变换相结合的融合方法的理论基础:
HSV正变换的公式为:
v=m;当m=0时,s=0,当s≠0,s=(m-n)/m;
当S=0时,h=0;当r=m且g≥b时,h=60(g-b)/(m-n),
当r=m且g<b时,h=360+60(g-b)/(m-n)
当g=m时,h=120+60(b-r)/(m-n)
当b=m时,h=240+60(r-b)/(m-n) m=max(r,g,b),n=min(r,g,b)(r,g,b分别是归一化的rgb空间中的值,max表示最大值,min表示最小值)
HSV反变换
若h=360,则h=0,I为h对60取整,f为h对60取余。
设p=v*(1-s),q=v*(1-s*f),t=v*(1-s*(1-f))
若I=0,r=v,g=t,b=p
I=1,r=q,g=v,b=p
I=2,r=p,g=v,b=t
I=3,r=p,g=q,b=v
I=4,r=t,g=p,b=v
I=5,r=v,g=p,b=q
式中:r表示被颜色为红色的波段的灰度值,g表示颜色为绿色的波段的灰度值,b表示颜色为蓝色的波段的灰度值,v表示经变换后得到的明度值,h表示经变换后得到的色度值,s表示经变换后得到的饱和度值,I为h对60取整,f为h对60取余;p、t、q为中间变量。
本发明对传统的融合方法:IHS变换融合,IHS变换与小波变换相结合的融合,HSV变换与小波变换相结合的融合所进行的改进:
本发明对传统的图像融合方法进行了改进,与传统融合方法的不同之处在于,进入各种融合变换的不是多光谱影像的3个原始波段,而是将多光谱影像的四个波段进行LBV数据变换,将变换后的L、B、V图像运用传统的融合方法进行融合。因为进行融合的L、B、V图像包含了四个波段的光谱信息,因此本发明方法增加了融合后图像的光谱信息,并且使融合后的图像地物类别更易区分,可以有助于目视解译及特定目标地物的提取。