CN106875370B - 一种全色图像和多光谱图像的融合方法及装置 - Google Patents
一种全色图像和多光谱图像的融合方法及装置 Download PDFInfo
- Publication number
- CN106875370B CN106875370B CN201710059349.6A CN201710059349A CN106875370B CN 106875370 B CN106875370 B CN 106875370B CN 201710059349 A CN201710059349 A CN 201710059349A CN 106875370 B CN106875370 B CN 106875370B
- Authority
- CN
- China
- Prior art keywords
- image
- full
- gray
- color image
- multispectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 49
- 230000004927 fusion Effects 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 13
- 230000001131 transforming effect Effects 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 abstract description 7
- 238000002156 mixing Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
本发明公开了一种全色图像和多光谱图像的融合方法及装置,该方法包括如下步骤:使多光谱图像与全色图像具有相同的像元尺寸,对处理后的多光谱图像进行变换,形成1个亮度分量和n‑1个角度分量;对全色图像进行灰度拉伸处理;将亮度分量与灰度拉伸后的全色图像融合,获得新的分量;对新的分量和n‑1个角度分量进行反变换,形成融合后的图像;该装置包括处理模块、变换模块、拉伸模块、融合模块及反变换模块。本发明的多光谱图像具有较高的空间分辨率,较好地保留了原始多光谱图像的光谱信息,有效地改善了传统融合方法存在的光谱扭曲问题,而且,通过本发明融合方法得到的融合图像具有整体对比度高、纹理清晰、边缘信息丰富等优点。
Description
技术领域
本发明涉及卫星获取的遥感影像融合的技术领域,更为具体来说,
本发明为一种全色图像和多光谱图像的融合方法及装置。
背景技术
由于技术的限制,目前卫星只能提供两种图像,一种是高分辨率全色图像(黑白的),另一种是低分辨多光谱图像(彩色的)。当前各领域科学研究与应用对高质量的融合数据产品需求较大,为获取更高分辨率的彩色图像,需要将全色图像和多光谱图像融合。
但是,传统的融合方法存在融合质量差的问题。比如,有些融合方法会导致遥感图像发生光谱扭曲的现象,影响后期对遥感图像信息的解译和分析;有些融合方法会导致遥感图像细节模糊的问题。
因此,如何有效地提高全色图像和多光谱图像的融合质量,成为了本领域技术人员亟待解决的技术问题和始终研究的重点。
发明内容
为解决现有遥感影像融合方法存在的融合质量差的问题,本发明提供了一种全色图像和多光谱图像的融合方法及装置,对传统融合方法进行了合理的改进,提高了遥感图像的融合质量。
为实现上述的技术目的,本发明公开了一种全色图像和多光谱图像的融合方法,该融合方法包括如下步骤:
步骤1,对多光谱图像进行处理,使处理后的多光谱图像和全色图像具有相同的像元尺寸;
步骤2,对处理后的多光谱图像进行变换,形成1个亮度分量和n-1个角度分量,其中,n为分量总数;
步骤3,对全色图像进行灰度拉伸处理;
步骤4,将亮度分量与灰度拉伸后的全色图像融合,获得新的分量;
步骤5,对新的分量和n-1个角度分量进行反变换,形成融合后的图像。
本发明创新地通过变换的方式得到多光谱图像的亮度分量,将该亮度分量与灰度拉伸后的全色图像融合,得到新的分量,再将新的分量与前述变换得到的角度分量融合,从而得到融合后的图像。本发明通过融合得到的图像具有质量高、对比度高、纹理清晰、边缘信息丰富等优点。
进一步地,步骤4中,分别对亮度分量、灰度拉伸后的全色图像进行曲波变换,分离出亮度分量的高频部分和低频部分、灰度拉伸后的全色图像的高频部分和低频部分,将亮度分量的高频部分与灰度拉伸后的全色图像的高频部分融合、将亮度分量的低频部分与灰度拉伸后的全色图像的低频部分融合,对两个融合结果进行曲波反变换,获得新的分量。
进一步地,步骤4中,亮度分量的高频部分与灰度拉伸后的全色图像的高频部分的融合规则为:
进一步地,步骤4中,亮度分量的低频部分与灰度拉伸后的全色图像的低频部分的融合规则为:
其中,表示两个低频部分的融合结果,σPAN(k1,k2)、σI(k1,k2)为的局部区域标准差,分别为PAN*和I的低频系数,PAN*为灰度拉伸后的全色图像,I为亮度分量;(k1,k2)为被选取的图像局部区域中心;SRPAN(k1,k2)、SRI(k1,k2)分别为的局部方向信息熵。
进一步地,步骤4中,局部方向信息熵的计算方式为:
其中,SR(k1,k2)为局部方向信息熵,m×n为被选取的图像局部区域大小,R表示以(k1,k2)为中心选取的局部区域,C(i,j)为R的标准差,(i,j)为局部区域上的点。
进一步地,步骤2中,对处理后的多光谱图像进行超球体色彩空间变换;步骤5中,对新的分量和n-1个角度分量进行超球体色彩空间反变换。
本发明创新地将HCS变换(超球体色彩空间变换)和Curvelet变换(曲波变换)结合,大幅度提高了全色图像和多光谱图像的融合质量,有效改善了传统方法存在的光谱扭曲问题,融合影像在主观和客观上均取得较好的结果。
进一步地,步骤1中,通过立方卷积插值的方式处理多光谱图像。
进一步地,步骤3中,灰度拉伸处理采用的公式为:
本发明的另一发明目的在于提供一种全色图像和多光谱图像的融合装置,该融合装置包括处理模块、变换模块、拉伸模块、融合模块及反变换模块,处理模块与变换模块连接,变换模块与融合模块连接,融合模块与拉伸模块连接,融合模块、变换模块均与反变换模块连接;
处理模块,对多光谱图像进行处理,使处理后的多光谱图像和全色图像具有相同的像元尺寸;
变换模块,对处理后的多光谱图像进行变换,形成1个亮度分量和n-1个角度分量,其中,n为分量总数;
拉伸模块,对全色图像进行灰度拉伸处理;
融合模块,将亮度分量与灰度拉伸后的全色图像融合,获得新的分量;
反变换模块,对新的分量和n-1个角度分量进行反变换,形成融合后的图像。
本发明创新地通过融合装置得到多光谱图像的亮度分量,将亮度分量与灰度拉伸后的全色图像融合,得到新的分量,再将新的分量与前述变换得到的角度分量融合,从而得到融合后的图像。本发明通过融合得到的图像具有质量高、对比度高、纹理清晰、边缘信息丰富等优点。
进一步地,融合模块包括分离单元,分离单元分别对亮度分量、灰度拉伸后的全色图像进行曲波变换,分离出亮度分量的高频部分和低频部分、灰度拉伸后的全色图像的高频部分和低频部分。
本发明的有益效果为:本发明的多光谱图像具有较高的空间分辨率,较好地保留了原始多光谱图像的光谱信息,有效地改善了传统融合方法存在的光谱扭曲问题,而且通过本发明融合方法得到的融合图像具有整体对比度高、纹理清晰、边缘信息丰富等优点。另外,本发明在均值、标准差、相关系数、信息熵、平均梯度、相对偏差等指标取得了较好的结果。
附图说明
图1为全色图像和多光谱图像的融合方法流程示意图。
图2为全色图像和多光谱图像的融合装置组成示意图。
图3为全色图像和多光谱图像具体的融合过程图。
具体实施方式
下面结合说明书附图对本发明的全色图像和多光谱图像的融合方法及装置进行详细的解释和说明。
如图1、2、3所示,本发明公开了一种全色图像和多光谱图像的融合方法,融合方法包括如下步骤:
步骤1,对多光谱图像进行处理,使处理后的多光谱图像和全色图像具有相同的像元尺寸,为实现后期更好的融合效果;本实施例中,通过立方卷积插值的方式处理多光谱图像。
步骤2,对处理后的多光谱图像进行变换,形成1个亮度分量和n-1个角度分量,其中,n为分量总数;本实施例中,对处理后的多光谱图像进行超球体色彩空间变换。
步骤3,对全色图像进行灰度拉伸处理;具体地,灰度拉伸处理采用的公式为:
步骤4,将亮度分量与灰度拉伸后的全色图像融合,获得新的分量;本实施例中,分别对亮度分量、灰度拉伸后的全色图像进行曲波变换,曲波变换,即Curvelet变换,是一个新的图像多尺度几何分析工具,具有空间和频率的局域性,可将图像的空间特征(高频部分)和光谱特征(低频部分)进行分离。本发明利用Curvelet变换的优点,解决融合后的图像存在的光谱扭曲问题,更为具体地,本发明通过Wrap算法对遥感影像进行Curvelet变换,本发明通过曲波变换分离出亮度分量的高频部分和低频部分、灰度拉伸后的全色图像的高频部分和低频部分,将亮度分量的高频部分与灰度拉伸后的全色图像的高频部分融合、将亮度分量的低频部分与灰度拉伸后的全色图像的低频部分融合,对两个融合结果进行曲波反变换,获得新的分量。
对于高频系数,不同尺度及方向下的高频系数包含了图像的细节特征,本文采用绝对值取大的融合规则。具体来说,亮度分量的高频部分与灰度拉伸后的全色图像的高频部分的融合规则为:
对于低频系数,本发明提出了以区域标准差和局部方向信息熵为主要判断依据的低频系数自适应融合规则。具体来说,本实施例中,亮度分量的低频部分与灰度拉伸后的全色图像的低频部分的融合规则为:
其中,表示两个低频部分的融合结果,σPAN(k1,k2)、σI(k1,k2)为的局部区域标准差,分别为PAN*和I的低频系数,PAN*为灰度拉伸后的全色图像,I为亮度分量;(k1,k2)为被选取的图像局部区域中心;SRPAN(k1,k2)、SRI(k1,k2)分别为的局部方向信息熵。
具体来说,局部方向信息熵的计算方式为:
其中,SR(k1,k2)为局部方向信息熵,m×n为被选取的图像局部区域大小,R表示以(k1,k2)为中心选取的局部区域,C(i,j)为R的标准差,(i,j)为局部区域上的点。
步骤5,对新的分量和n-1个角度分量进行反变换,形成融合后的图像。对应于步骤2,本实施例中,对新的分量和n-1个角度分量进行超球体色彩空间反变换。
如图2、1、3所示,本发明还公开了一种全色图像和多光谱图像的融合装置,对应于本发明提供的融合方法,本发明的融合装置包括处理模块、变换模块、拉伸模块、融合模块及反变换模块,处理模块与变换模块连接,变换模块与融合模块连接,融合模块与拉伸模块连接,融合模块、变换模块均与反变换模块连接;
处理模块,对多光谱图像进行处理,使处理后的多光谱图像和全色图像具有相同的像元尺寸;
变换模块,对处理后的多光谱图像进行变换,形成1个亮度分量和n-1个角度分量,其中,n为分量总数;
拉伸模块,对全色图像进行灰度拉伸处理;
融合模块,将亮度分量与灰度拉伸后的全色图像融合,获得新的分量;
反变换模块,对新的分量和n-1个角度分量进行反变换,形成融合后的图像。
融合模块包括分离单元,分离单元分别对亮度分量、灰度拉伸后的全色图像进行曲波变换,分离出亮度分量的高频部分和低频部分、灰度拉伸后的全色图像的高频部分和低频部分。
如图3所示,本发明全色图像和多光谱图像的融合方法可按照如下的方式实施:
1)对n波段多光谱影像进行立方卷积插值,得到与PAN图像具有相同像元尺寸的MS图像,此处的“PAN图像”指的是高分辨率的全色图像,即处理前的原全色图像,此处的“MS图像”指的是低分辨率的多光谱图像。
2)对立方卷积插值后的MS图像进行HCS变换,形成1个亮度分量I和n-1个角度分量,此处的“HCS变换”指的是超球体色彩空间变换,HCS的全称为hyperspherical colorspace resolution merge。
3)对PAN图像进行灰度拉伸,得到PAN*。采用的公式为:
其中,μ1,σ1分别为PAN2的均值和标准差,μ0,σ0分别为I2的均值和标准差。
4)对MS和PAN*分别进行Curvelet变换得到低频和高频系数。针对变换后的低频和高频系数选用不同的融合规则,得到新的Curvelet变换系数,此处的“Curvelet变换”指的是曲波变换。然后,将得到的Curvelet变换系数进行Curvelet逆变换,从而得到新的I*分量;
5)将新的I*分量和步骤2)中的n-1个角度分量进行HCS反变换,形成融合后的图像。
本文以GF-2卫星的1m全色影像和4m多光谱影像作为实验数据。为验证算法的有效性,本发明选择地物丰富、特征多样的影像作为数据源,并且GF-2多光谱影像的4个波段都参与融合,并与其他方法进行比较。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“本实施例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明实质内容上所作的任何修改、等同替换和简单改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种全色图像和多光谱图像的融合方法,其特征在于:所述融合方法包括如下步骤:
步骤1,对多光谱图像进行处理,使处理后的多光谱图像和全色图像具有相同的像元尺寸;
步骤2,对处理后的多光谱图像进行变换,形成1个亮度分量和n-1个角度分量,其中,n为分量总数;
步骤3,对全色图像进行灰度拉伸处理;
步骤4,将所述亮度分量与灰度拉伸后的全色图像融合,获得新的分量;
步骤5,对新的分量和所述n-1个角度分量进行反变换,形成融合后的图像;
步骤4中,分别对亮度分量、灰度拉伸后的全色图像进行曲波变换,分离出亮度分量的高频部分和低频部分、灰度拉伸后的全色图像的高频部分和低频部分,将亮度分量的高频部分与灰度拉伸后的全色图像的高频部分融合、将亮度分量的低频部分与灰度拉伸后的全色图像的低频部分融合,对两个融合结果进行曲波反变换,获得新的分量;
步骤4中,亮度分量的高频部分与灰度拉伸后的全色图像的高频部分的融合规则为:
步骤4中,亮度分量的低频部分与灰度拉伸后的全色图像的低频部分的融合规则为:
3.根据权利要求1或2所述的全色图像和多光谱图像的融合方法,其特征在于:步骤2中,对处理后的多光谱图像进行超球体色彩空间变换;步骤5中,对新的分量和所述n-1个角度分量进行超球体色彩空间反变换。
4.根据权利要求3所述的全色图像和多光谱图像的融合方法,其特征在于:步骤1中,通过立方卷积插值的方式处理多光谱图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710059349.6A CN106875370B (zh) | 2017-01-24 | 2017-01-24 | 一种全色图像和多光谱图像的融合方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710059349.6A CN106875370B (zh) | 2017-01-24 | 2017-01-24 | 一种全色图像和多光谱图像的融合方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106875370A CN106875370A (zh) | 2017-06-20 |
CN106875370B true CN106875370B (zh) | 2020-11-06 |
Family
ID=59158808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710059349.6A Active CN106875370B (zh) | 2017-01-24 | 2017-01-24 | 一种全色图像和多光谱图像的融合方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106875370B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107730907B (zh) * | 2017-08-21 | 2020-08-04 | 广东奥格信息技术有限公司 | 一种实时记录违章信息的方法 |
CN107293126B (zh) * | 2017-08-21 | 2018-03-23 | 广东省计算技术应用研究所 | 实时违章信息记录平台 |
CN110136183B (zh) | 2018-02-09 | 2021-05-18 | 华为技术有限公司 | 一种图像处理的方法、装置以及摄像装置 |
CN111383203B (zh) * | 2019-11-07 | 2022-05-03 | 北京航空航天大学 | 基于分区域拟合的全色与多光谱遥感图像融合方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102063710A (zh) * | 2009-11-13 | 2011-05-18 | 烟台海岸带可持续发展研究所 | 一种遥感图像融合增强的实现方法 |
CN103065282A (zh) * | 2012-12-27 | 2013-04-24 | 浙江大学 | 一种基于稀疏线性系统的图像融合方法 |
CN104156911A (zh) * | 2014-07-18 | 2014-11-19 | 苏州阔地网络科技有限公司 | 一种图像融合处理方法及系统 |
CN105869114A (zh) * | 2016-03-25 | 2016-08-17 | 哈尔滨工业大学 | 基于多层带间结构模型的多光谱图像和全色图像融合方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104346790B (zh) * | 2014-10-30 | 2017-06-20 | 中山大学 | 一种hcs结合小波变换的遥感图像融合方法 |
-
2017
- 2017-01-24 CN CN201710059349.6A patent/CN106875370B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102063710A (zh) * | 2009-11-13 | 2011-05-18 | 烟台海岸带可持续发展研究所 | 一种遥感图像融合增强的实现方法 |
CN103065282A (zh) * | 2012-12-27 | 2013-04-24 | 浙江大学 | 一种基于稀疏线性系统的图像融合方法 |
CN104156911A (zh) * | 2014-07-18 | 2014-11-19 | 苏州阔地网络科技有限公司 | 一种图像融合处理方法及系统 |
CN105869114A (zh) * | 2016-03-25 | 2016-08-17 | 哈尔滨工业大学 | 基于多层带间结构模型的多光谱图像和全色图像融合方法 |
Non-Patent Citations (2)
Title |
---|
Pixel and region-based image fusion with complex wavelets;LEWIS J J et al;《Information Fusion》;20070430;第8卷(第2期);第119-130页 * |
基于Curvelet变换的图像融合改进算法;冀晓涛;《电子科技》;20120615;第25卷(第6期);第10-13页 * |
Also Published As
Publication number | Publication date |
---|---|
CN106875370A (zh) | 2017-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106875370B (zh) | 一种全色图像和多光谱图像的融合方法及装置 | |
CN109447922B (zh) | 一种改进的ihs变换遥感影像融合方法及系统 | |
CN108830796B (zh) | 基于谱空结合和梯度域损失的高光谱图像超分辨重构方法 | |
CN102722876A (zh) | 一种基于残差的图像超分辨率重建方法 | |
CN113129391B (zh) | 基于多曝光图像特征分布权重的多曝光融合方法 | |
CN110544212B (zh) | 基于层级特征融合的卷积神经网络高光谱图像锐化方法 | |
CN109859110A (zh) | 基于光谱维控制卷积神经网络的高光谱图像全色锐化方法 | |
CN103093444A (zh) | 基于自相似性和结构信息约束的图像超分辨重建方法 | |
CN107169946B (zh) | 基于非负稀疏矩阵与超球面彩色变换的图像融合方法 | |
CN107610093B (zh) | 基于相似性特征融合的全参考型图像质量评价方法 | |
CN102243711A (zh) | 一种基于邻域嵌套的图像超分辨率重建方法 | |
CN104504672B (zh) | 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法 | |
CN111563866B (zh) | 一种多源遥感图像融合方法 | |
CN105303542B (zh) | 基于梯度加权的自适应sfim图像融合算法 | |
CN111539900A (zh) | 一种基于引导滤波的ihs遥感图像融合方法 | |
CN103268596A (zh) | 一种降低图像噪声和使颜色接近标准的方法 | |
CN106780423B (zh) | 一种基于少数波段高分辨率图像的光谱重建方法 | |
Zhou et al. | Modality-aware feature integration for pan-sharpening | |
CN110163830B (zh) | 基于Riesz-Lap变换及PCNN的图像融合方法 | |
CN111275620B (zh) | 一种基于Stacking集成学习的图像超分辨方法 | |
CN109544495B (zh) | 一种基于高斯滤波和比值变换的SoC芯片图像处理融合方法 | |
CN107622479B (zh) | 一种多谱段图像全色锐化的轮廓波子带自适应细节注入方法 | |
CN115294001A (zh) | 一种改进ihs与小波变换的夜光遥感影像融合方法 | |
CN104010189A (zh) | 一种基于色度共生矩阵加权的视频质量客观评价方法 | |
CN111524079B (zh) | 基于分量替换和低通滤波的多光谱遥感图像全色锐化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |