CN105303542B - 基于梯度加权的自适应sfim图像融合算法 - Google Patents

基于梯度加权的自适应sfim图像融合算法 Download PDF

Info

Publication number
CN105303542B
CN105303542B CN201510604419.2A CN201510604419A CN105303542B CN 105303542 B CN105303542 B CN 105303542B CN 201510604419 A CN201510604419 A CN 201510604419A CN 105303542 B CN105303542 B CN 105303542B
Authority
CN
China
Prior art keywords
image
pixel
sfim
gradient
full
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510604419.2A
Other languages
English (en)
Other versions
CN105303542A (zh
Inventor
何贵青
张慧静
李涛
夏召强
彭进业
冯晓毅
李会方
谢红梅
吴俊�
蒋晓悦
杨雨奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201510604419.2A priority Critical patent/CN105303542B/zh
Publication of CN105303542A publication Critical patent/CN105303542A/zh
Application granted granted Critical
Publication of CN105303542B publication Critical patent/CN105303542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明提供了一种基于梯度加权的自适应SFIM图像融合算法，首先求解全色图像的梯度，然后使用梯度的统计信息确定自适应的滤波窗口大小；同时利用图像像素点的梯度值构建加权滤波器，进而使用该滤波器获得滤波图像；最后使用SFIM算法的融合方法融合图像。本发明比原始的SFIM算法中均值滤波器的设计更合理，整体质量较高，在空间分辨率提高和光谱信息保持两个方面达到更好的平衡，主观评价和客观分析结果能够达到一致，而且在光谱信息保持和空间信息提高方面都优于his_dwt算法，得到的融合图像可视性更好，图片更清晰。

Description

基于梯度加权的自适应SFIM图像融合算法
技术领域
本发明涉及图像处理领域的图像融合，特别是涉及一种图像融合中SFIM算法的滤波器设计。
背景技术
遥感图像融合是近年来遥感图像处理领域热门研究内容之一。其中，利用高空间分辨率全色图像PAN(Panchromatic image)和低空间分辨率多光谱图像MS(Multi-spectral images)进行融合产生高分辨率多光谱图像是其中一个重要研究方向。国内外学者提出了很多经典融合方法，例如主成分分析(PCA)变换融合、HIS变换融合、高通滤波融合、小波变换融合和Brovey变换融合等。在遥感图像后期应用中，空间信息和光谱信息都有很重要的作用。基于PCA变换的融合光谱信息保持较好，但空间细节信息增加较少。基于HIS变换、Brovey变换和高通滤波变换的融合空间信息增加丰富，但光谱失真比较严重，其中，高通滤波融合如果滤波器选择不好，效果会比较差。小波变换融合具有良好的空间和光谱保持能力，但是小波基的选择比较困难，而且计算比较复杂。基于亮度平滑滤波调节SFIM(Smoothing Filter-based Intensity Modulation,基于平滑滤波的亮度调制)(文献1“LIU J G.Smoothing filter-based intensity modulation：A spectral preserveimage fusion technique for improving spatial details[J].International Journalof Remote Sensing，2000，21(18)：3461—3472.”)的方法是2000年由J.G.Liu提出的一种空谱结合的融合方法。SFIM融合过程简单，计算复杂度比较小，和一些经典算法相比，具有较好的效果；但SFIM融合后图像空间分辨率改善不多，光谱存在一定失真。
发明内容
为了克服现有技术的不足，本发明提供一种基于梯度加权平滑滤波的自适应SFIM变换算法，对SFIM变换融合算法进行改进，通过实验结果验证，融合效果有改进，在尽量保持多光谱信息的同时，提高了融合后图像的空间细节信息。
本发明解决其技术问题所采用的技术方案包括以下步骤：
(1)对输入的全色图像PAN进行边缘像素的扩展，对扩展后的图像计算其梯度图，像素点(i，j)处对应的梯度值其中，像素点(i，j)在x方向的偏导数像素点(i，j)在y方向的偏导数f(i，j)为全色图像任意像素点(i，j)处的灰度值；
(2)根据计算的梯度图确定滤波器窗口大小，具体步骤如下：
①对G(i，j)中对应全色图像的像素部分进行处理，得到
②根据coef确定基本参数进而根据基本参数d确定滤波器窗 口的大小N＝2d+1；
(3)以像素点(i,j)为中心，在大小为N*N的窗口内，定义滤波器权重矩阵其中任意位置的权重值s,t为整数且在[-d，d]取值；
(4)利用滤波器权重矩阵对全色图像进行梯度加权平滑滤波，计算像素点(i，j)的 滤波输出值其中，Phigh(i,j)表示全色图像中 像素点(i，j)的像素值；将Pmean代入SFIM融合算法计算融合图像Plow表示 任意波段的多光谱图像，Pmean表示对全色图像Phigh滤波后的图像。
本发明的有益效果是：比原始的SFIM算法中均值滤波器的设计更合理，整体质量较高，在空间分辨率提高和光谱信息保持两个方面达到更好的平衡，主观评价和客观分析结果能够达到一致。而且在光谱信息保持和空间信息提高方面都优于his_dwt算法(文献2“张丽侠，张力，艾海滨.改进IHS变换的图像融合方法研究[J].测绘科学，2011.11,36(6)：149—151.”)。另外，本发明方法比其他两种算法得到的融合图像可视性更好，图片更清晰。
附图说明
图1是本发明的融合算法技术路线示意图；
图2是全色多光谱图像及几种方法的融合结果示意图，图中，(a)是多光谱图像，(b)是全色图像，(c)是本发明方法的图像，(d)是均值滤波方法的图像，(e)是his_dwt算法的图像。
具体实施方式
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
针对SFIM融合算法中滤波器的设计问题，本发明提出了一种基于梯度加权的自适应窗口滤波方法。本发明的主要思路是首先求解全色图像的梯度，然后使用梯度的统计信息确定自适应的滤波窗口大小；同时利用图像像素点的梯度值构建加权滤波器，进而使用该滤波器获得滤波图像；最后使用SFIM算法的融合方法融合图像。
本发明的技术方案主要包括四个步骤：
(1)梯度的计算
为了便于计算全色图像PAN边缘像素的梯度，首先对输入的全色图像PAN进行边缘像素的扩展，然后再计算梯度图。假设全色图像任意像素点(i，j)处的灰度值为f(i，j)，则点(i，j)处对应的梯度幅值为
其中，gx和gy分别表示该像素点x和y方向的偏导数
(2)自适应窗口的确定
根据第(1)步骤中计算的梯度图确定滤波器窗口大小，具体步骤如下：
①根据高分辨率全色图像中每个像素的梯度值G(i，j)，按以下公式对G(i，j)进行处理，用coef表示：
②针对全色图像任意像素点(i,j)，利用公式(5)确定该像素对应的滤波器窗口大小N。根据coef确定基本参数d：
进而根据基本参数d，确定自适应窗口的大小N＝2d+1，即：
(3)滤波权重的计算
由上一步骤计算出全色图像点(i，j)处的滤波器窗口大小为N，以像素点(i,j)为中心，在大小为N*N的窗口内，定义滤波器权重矩阵W为：
其中任意位置的权重值计算如下
式中s,t为整数且在[-d，d]取值。
(4)SFIM融合
记全色图像Phigh，首先利用公式(6)对Phigh进行梯度加权平滑滤波，即，利用公式(6)对应模板中心点逐一对准全色图像Phigh中每一个像素(i，j)，每一个像素处将模板元素和它所对应的图像像素值对应相乘求和，从而计算出该像素点的滤波输出值Pmean(i，j)，即：
Pmean表示对全色图像Phigh滤波后的图像。
然后，再将Pmean代入SFIM融合算法计算融合图像PSFIM，若使用Plow表示任意波段的多光谱图像，融合过程为
为了说明新算法的优越性，在分析和试验大量卫星遥感图像的基础上，发明中采用了256灰度级，大小为300×300pixels的某地区卫星遥感图像块进行仿真和说明。试验所用的多光谱图像(20m×20m)与全色图像(10m×10m)经过了空间配准。
按照图1所示，本发明具体实施方式如下：
(1)梯度的计算
①首先对输入的多光谱图像Plow进行RGB三波段分解，得到IR,IG,IB图像。
②然后对输入的全色图像Phigh进行边缘扩展，四周分别向外扩展7个像素。则由原来的300×300pixels变为314×314pixels大小的图像P′high。
③对图像P′high根据公式(1)计算其梯度图像,得到G′(i，j)。
(2)自适应窗口的确定
①根据公式(3)对G′(i，j)中对应Phigh的像素部分进行计算，得到coef。
②由得到的coef,根据公式(4)、(5)计算得到相应像素的自适应窗口大小N。
(3)滤波权重的确定
①对于全色图像任一点像素Phigh(i，j)，根据公式(7)计算得到该点对应的图像滤波器权重值w(i，j)。
②由该点像素的权重值w(i，j)根据公式(6)构成权重矩阵W(i，j)。
(4)SFIM融合
①将全色图像Phigh的每一个像素点用对应该像素点的滤波器权重矩阵W进行逐一滤波，得到Pmean(i，j)。
②根据SFIM变换公式(9),将Pmean代入分别与IR、IG、IB图像进行细节融合，IR、IG、IB依次代替公式(9)中的Plow，得到三个融合图像FRSFIM、FGSFIM、FBSFIM。
③最后将FRSFIM、FGSFIM、FBSFIM三个波段的图像进行RGB彩色合成，得到融合图像PSFIM。
表1 几种融合图像的统计参数对比
表1分别为本发明、均值滤波(文献1)和his_dwt(文献2)的融合图像评价结果。可以看出本发明方法的空间相关系数最大，在尽量保持光谱信息的前提下，提高了空间细节信息的融入。

Claims (1)

1.一种基于梯度加权的自适应SFIM图像融合算法，其特征在于包括下述步骤：
(1)对输入的全色图像Phigh进行边缘像素的扩展，对扩展后的图像计算其梯度图，像素点(i，j)处对应的梯度值其中，像素点(i，j)在x方向的偏导数像素点(i，j)在y方向的偏导数f(i，j)为全色图像任意像素点(i，j)处的灰度值；
(2)根据计算的梯度图确定滤波器窗口大小，具体步骤如下：
①对G(i，j)中对应全色图像的像素部分进行处理，得到
②根据coef确定基本参数进而根据基本参数d确定滤波器窗口的大小N＝2d+1；
(3)以像素点(i,j)为中心，在大小为N*N的窗口内，定义滤波器权重矩阵其中任意位置的权重值s,t为整数且在[-d，d]取值；
(4)利用滤波器权重矩阵对全色图像进行梯度加权平滑滤波，计算像素点(i，j)的滤波输出值其中，Phigh(i,j)表示全色图像中像素点(i，j)的像素值；将Pmean代入SFIM融合算法计算融合图像Plow表示任意波段的多光谱图像，Pmean表示对全色图像Phigh滤波后的图像。
CN201510604419.2A 2015-09-22 2015-09-22 基于梯度加权的自适应sfim图像融合算法 Active CN105303542B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510604419.2A CN105303542B (zh) 2015-09-22 2015-09-22 基于梯度加权的自适应sfim图像融合算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510604419.2A CN105303542B (zh) 2015-09-22 2015-09-22 基于梯度加权的自适应sfim图像融合算法

Publications (2)

Publication Number Publication Date
CN105303542A CN105303542A (zh) 2016-02-03
CN105303542B true CN105303542B (zh) 2018-10-30

Family

ID=55200766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510604419.2A Active CN105303542B (zh) 2015-09-22 2015-09-22 基于梯度加权的自适应sfim图像融合算法

Country Status (1)

Country Link
CN (1) CN105303542B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220957B (zh) * 2017-04-25 2019-07-05 西北工业大学 一种利用滚动导向滤波的遥感图像融合方法
CN107958450B (zh) * 2017-12-15 2021-05-04 武汉大学 基于自适应高斯滤波的全色多光谱影像融合方法及系统
CN109615599B (zh) * 2018-12-13 2022-05-06 钦州学院 基于分类选优的双边滤波算法及高光谱图像空谱特征提取方法
CN110930343A (zh) * 2019-11-22 2020-03-27 南京信息工程大学 基于sr-mdcnn的遥感图像融合方法
CN113992838A (zh) * 2021-08-09 2022-01-28 中科联芯(广州)科技有限公司 一种硅基多光谱信号的成像聚焦方法和控制方法
CN114897882B (zh) * 2022-06-10 2024-04-19 大连民族大学 一种基于加权平均曲率滤波分解的遥感图像融合方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7394856B2 (en) * 2003-09-19 2008-07-01 Seiko Epson Corporation Adaptive video prefilter
CN101266686A (zh) * 2008-05-05 2008-09-17 西北工业大学 一种基于sfim和ihs变换的图像融合方法
CN101968883A (zh) * 2010-10-28 2011-02-09 西北工业大学 一种基于小波变换和邻域特征的多聚焦图像融合方法
CN102436666A (zh) * 2011-08-31 2012-05-02 上海大学 基于ihs变换的对象与场景融合方法
CN104202513A (zh) * 2014-06-30 2014-12-10 北京控制工程研究所 一种基于fpga的星敏感器多模式图像预处理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030005009A1 (en) * 2001-04-17 2003-01-02 Mohammad Usman Least-mean square system with adaptive step size
US20060233454A1 (en) * 2005-04-15 2006-10-19 Hu Cheng Method for image intensity correction using extrapolation and adaptive smoothing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7394856B2 (en) * 2003-09-19 2008-07-01 Seiko Epson Corporation Adaptive video prefilter
CN101266686A (zh) * 2008-05-05 2008-09-17 西北工业大学 一种基于sfim和ihs变换的图像融合方法
CN101968883A (zh) * 2010-10-28 2011-02-09 西北工业大学 一种基于小波变换和邻域特征的多聚焦图像融合方法
CN102436666A (zh) * 2011-08-31 2012-05-02 上海大学 基于ihs变换的对象与场景融合方法
CN104202513A (zh) * 2014-06-30 2014-12-10 北京控制工程研究所 一种基于fpga的星敏感器多模式图像预处理方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
An Adaptive Window Mechanism for Image Smoothing;Ardeshir Goshtasby 等;《Computer Vision and Image Understanding》;20080831;摘要 *
Some Modifications of Gradient Weighted Filters;Rey-Sern Lin 等;《Journal of Visual Communication and Image Representation》;19991231;第10卷(第4期);全文 *
一种基于SFIM和IHS变换的图像融合算法;何贵青 等;《西北工业大学学报》;20080229;第26卷(第1期);41-46 *
一种基于互信息量的并行磁共振图像重建新算法;黄鑫 等;《中国生物医学工程学报》;20071231;第26卷(第6期);850-855 *
一种改进亮度平滑滤波调节图像融合算法;亓辰 等;《微计算机信息》;20091231;第25卷(第2-3期);正文第1节第2段，第2节 *
改进IHS变换的图像融合方法研究;张丽侠 等;《测绘科学》;20111130;第36卷(第6期);143、149-151 *

Also Published As

Publication number Publication date
CN105303542A (zh) 2016-02-03

Similar Documents

Publication Publication Date Title
CN105303542B (zh) 基于梯度加权的自适应sfim图像融合算法
CN104683767B (zh) 透雾图像生成方法及装置
CN108830796B (zh) 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法
CN104851077B (zh) 一种自适应的遥感图像全色锐化方法
CN109410164B (zh) 多尺度卷积神经网络的卫星全色与多光谱图像融合方法
Alleysson et al. Linear demosaicing inspired by the human visual system
KR101291219B1 (ko) 전정색영상과 다분광영상의 융합 방법 및 그 장치
CN106960428A (zh) 可见光和红外双波段图像融合增强方法
CN109509160A (zh) 一种利用逐层迭代超分辨率的分层次遥感图像融合方法
CN105850114A (zh) 用于图像的逆色调映射的方法
WO2016045242A1 (zh) 一种图像放大方法、图像放大装置及显示设备
CN103871041B (zh) 基于认知正则化参数构建的图像超分辨率重构方法
CN104867124B (zh) 基于对偶稀疏非负矩阵分解的多光谱与全色图像融合方法
CN105447840B (zh) 基于主动采样与高斯过程回归的图像超分辨方法
CN105915909A (zh) 一种高动态范围图像分层压缩方法
CN105160647B (zh) 一种全色多光谱影像融合方法
CN107103596A (zh) 一种基于yuv空间的彩色夜视图像融合方法
CN104537678B (zh) 一种从单幅遥感图像中去除云雾的方法
CN109074637B (zh) 用于从多个相应的输入图像通道生成输出图像的方法和系统
CN107610093B (zh) 基于相似性特征融合的全参考型图像质量评价方法
CN110599418B (zh) 一种变换域融合的全局色调映射方法
CN105913400A (zh) 一种获得高质量且实时的美颜的装置
Hnatushenko et al. PANSHARPENING TECHNOLOGY OF HIGH RESOLUTION MULTISPECTRAL AND PANCHROMATIC SATELLITE IMAGES.
CN107169946A (zh) 基于非负稀疏矩阵与超球面彩色变换的图像融合方法
CN114897706A (zh) 一种全色多光谱影像融合的绿色植被增强方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant