CN107705280B - 一种结构驱动的光谱映射遥感图像融合方法 - Google Patents
一种结构驱动的光谱映射遥感图像融合方法 Download PDFInfo
- Publication number
- CN107705280B CN107705280B CN201710991192.0A CN201710991192A CN107705280B CN 107705280 B CN107705280 B CN 107705280B CN 201710991192 A CN201710991192 A CN 201710991192A CN 107705280 B CN107705280 B CN 107705280B
- Authority
- CN
- China
- Prior art keywords
- image
- image block
- pure
- block
- mixed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001228 spectrum Methods 0.000 title claims abstract description 19
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 16
- 238000013507 mapping Methods 0.000 title claims abstract description 15
- 230000003595 spectral effect Effects 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 5
- 239000013598 vector Substances 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 abstract description 10
- 238000000605 extraction Methods 0.000 abstract description 4
- 230000007613 environmental effect Effects 0.000 abstract 1
- 238000011835 investigation Methods 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 abstract 1
- 238000012916 structural analysis Methods 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种结构驱动的光谱映射遥感图像融合方法，属于遥感图像处理技术领域。实施过程包括：1)对全色图像进行块处理，建立全色图像块与多光谱图像像元之间的对应关系。并根据每个图像块自身的空间特性及其与邻域图像的关系将其划分为纯或混合图像块，从而确定对应的多光谱图像像元的纯、混合属性；2)分别对纯、混合图像块采用不同的方法进行光谱信息映射得到光谱信息图像；3)采用一般的细节提取方法将细节信息注入到光谱信息图像中得到融合图像。本发明通过基于对全色图像的结构分析，保证了像元的光谱信息的准确性，能够改善一般融合图像中的鬼影等现象，可用于环境监测、土地利用与农业调查等领域。
Description
技术领域
本发明属于遥感图像处理领域，特别涉及全色图像和多光谱图像融合的一种结构驱动的光谱映射遥感图像融合方法。
背景技术
对于卫星在同一地点获取的全色图像和多光谱图像而言，由于传感器自身的一些限制导致了它们相反的特性，全色图像有较高的空间分辨率而多光谱图像有较高的光谱分辨率。因此将全色图像和多光谱图像进行融合以生成同时具有高空间分辨率和高光谱分辨率的遥感图像可以更好地进行遥感图像的分类、特征提取及变化检测等。
目前的融合方法的基本实现步骤可以概括为：1)从全色图像中提取空间细节信息、2)将提取到的空间细节信息注入到升采样后的多光谱图像中得到融合后的图像。而主流的融合方法可以分为两类：成分替换的方法和多尺度的方法。其中成分替换方法的主要流程是将多光谱图像投影到别的空间从而使得空间信息和光谱信息分隔开，然后将得到的空间信息用全色图像代替，最后进行反变换得到融合图像。而多尺度的方法则是利用多尺度分解获取全色图像在各个波段下的近似低通图像，通过将全色图像和低通近似图像两者做差就可以得到相应各个波段的细节空间信息，最后再利用各种不同的细节注入方式将细节空间信息注入到升采样后的多光谱图像中得到融合后的图像。
但是目前这些图像融合方法普遍存在光谱失真的问题，经过分析发现其主要原因在于提取出来的空间细节信息是注入到升采样以后的多光谱图像中，而将多光谱图像进行升采样时由于没有考虑到全色图像的空间结构，因而对于图像中不同地物交界处的像元来说光谱信息会产生失真的现象。
发明内容
(一)要解决的技术问题
针对现有的融合算法存在的光谱失真问题，本发明提供一种结构驱动的光谱映射遥感图像融合方法。该方法能够利用全色图像的结构信息使融合图像的像元具有准确的光谱信息。
(二)技术方案
一种结构驱动的光谱映射遥感图像融合方法，该方法具体包括以下步骤：
步骤1：对全色图像进行块处理，建立全色图像块与多光谱图像像元之间的对应关系。并根据每个全色图像块自身的空间特性及其与邻域的全色图像块的关系将其划分为纯或混合图像块，从而确定对应的多光谱图像像元的纯、混合属性；
步骤2：分别对纯、混合图像块采取不同的光谱信息映射方法得到光谱信息图像。对纯图像块而言，直接将纯像元的光谱信息赋给其内部的每个像素。而对混合图像块则采取迭代更新的方法逐一计算其内部每个像素的光谱信息；
步骤3：采用一般的细节提取方法将细节信息注入到光谱信息图像中得到融合图像；
(三)有益效果
目前的融合图像方法几乎都是将细节信息注入到升采样后的多光谱图像当中，但是升采样后的多光谱图像中尤其是位于地物交界处的像元其光谱信息是不准确的，最后得到的融合图像存在光谱失真的问题。而本发明利用全色图像的空间结构能够更加准确地确定在高空间分辨率的尺度下每个像元的光谱信息。使得融合图像的融合效果尤其是视觉效果要明显优于其他融合方法，没有一般融合图像中的鬼影等现象。
附图说明
图1：结构驱动的光谱映射遥感图像融合方法流程图；
具体实施方式
为了更好地理解本发明的技术方案，下面结合附图及具体实施方式详细介绍本发明。本发明的具体实现流程如图1所示，各部分具体实施细节如下：
步骤1：对全色图像进行块处理，建立图像块与多光谱图像像元之间的对应关系。并根据每个图像块自身的空间特性及其与邻域图像的关系将其划分为纯或混合图像块，从而确定对应的多光谱图像像元的纯、混合属性。
步骤1-1：计算得到全色图像和多光谱图像之间分辨率的比值r，根据r对全色图像进行块处理，每个图像块的大小为r*r，其像素点的个数记为Nb。
通过块处理的方式进而可以确定全色图像块和多光谱像元之间的对应关系，因为此时全色图像中的每个图像块正好对应多光谱图像中相应的像元，它们表示的是同一区域的地物。
步骤1-2：对全色图像进行Canny边缘检测，然后统计每个全色图像块包含边缘点的个数，如果该图像块内有边缘点则可认为是混合图像块。反之则认为该图像块为候选的纯图像块，仍需要进一步地筛选。
将全色图像块内是否有边缘点作为划分纯、混合图像块的一个标准的原因在于：边缘点一般分布在两种不同地物的交界处，如果该图像块内部有边缘点，那么则可认为该图像块包含一种以上的地物，是混合图像块，反之则可认为是候选的纯图像块，但由于边缘检测可能无法检测出所有的边缘点，因此仍需要进一步地在候选纯图像块中剔除混合图像块。
步骤1-3：对候选的纯图像块计算其r*r个像素的标准差
计算公式如(1)所示，如果
大于设定的阈值τu，则可认为该候选纯图像块是混合图像块，将其从候选纯图像块中剔除，反之则保留。
其中，
是当前处理的候选纯图像块内部所有像素灰度值的平均值。
步骤1-4：计算候选纯图像块与四邻域图像块对应的多光谱像元的光谱差异
计算公式如(2)所示，如果
大于设定的阈值τd，则可认为该候选纯图像块是混合图像块，将其从候选纯图像块中剔除，反之则可确认为是纯图像块。
其中，MSi为候选纯图像块所对应的多光谱图像像元的光谱信息，而MSj则是候选纯图像块的四领域内的全色图像块所对应的多光谱图像像元的光谱信息。
通过以上的4个子步骤即可将全色图像块B划分为纯和混合图像块，分别对应于
和
以及它们相对应的多光谱图像中的纯和混合像元，分别表示为
和
纯、混合图像块的本质区别在于纯图像块只包含一种地物，而混合图像块则包含了一种以上的地物。这也决定了之后会分别采取不同的策略对纯、混合图像块进行光谱映射。
步骤2：分别对纯、混合图像块采用不同的方法进行光谱信息映射得到光谱信息图像。对纯图像块而言，直接将纯像元的光谱信息赋给其内部的每个像素。而对混合图像块则采取迭代更新的方法逐一计算其内部每个像素的光谱信息。
步骤2-1：纯图像块的光谱信息映射是基于块的处理方式，对于当前处理的纯图像块，其内部像素点的光谱信息和该图像块所对应的多光谱图像像元的光谱信息保持一致，计算公式如下所示：
HRMS(x,y)＝LRMS(Ppi)，(x,y)∈ΛBpi (3)
其中，Ppi表示当前处理的纯图像块所对应的多光谱像元坐标，而ΛBpi是当前纯图像块的内部像素坐标的集合。
步骤2-2：混合图像块的光谱信息映射是基于像素的处理方式，对当前处理的混合图像块内的每一个像素点都按照同样的方法赋予各自的光谱信息。
步骤2-2-1：确定一个大小为W*W以当前处理混合图像块为中心的搜索窗，计算窗口内每一个纯图像块的灰度均值
然后选出与当前处理混合像素点(x′,y′)的灰度值最靠近的Nr个纯图像块，将它们所对应的多光谱像元Ppj(j＝1,…,Nr)的光谱信息的平均值作为该混合像素点的初始光谱信息HRMS(x′,y′)，计算公式如下所示：
步骤2-2-2：得到混合像素点(x′,y′)初始的光谱信息以后，按下式构造当前特征向量fP：
fP＝[p(x′,y′),HRMS(x′,y′),lbp(x′,y′)] (5)
对于窗口内的所有纯图像块，按照下式构造各自对应的特征向量fB：
其中，lbp函数计算的是像素点的纹理特征值。
步骤2-2-3：计算当前混合像素点的特征向量fP与每个纯像元图像块的特征向量fB之间的欧式几何距离，计算公式如下所示：
dfi＝‖fP-fBi‖2 (7)
步骤2-2-4：挑选出dfi最小的Nr个纯图像块，并利用它们对应的纯像元的光谱信息通过权值求和的方式更新当前混合像素点的光谱信息，计算公式如下所示:
步骤2-2-4：在当前处理的混合像素点的光谱信息得到更新以后相应的fP也得到更新，如果更新前后的HRMS(x′,y′)之间的欧式距离小于设定的阈值τt则停止迭代，否则回到步骤2-2-3继续对HRMS(x′,y′)进行迭代更新。
步骤3：采用一般的细节提取方法将细节信息注入到光谱信息图像中得到融合图像Fpan，计算公式如下所示：
其中，L表示多光谱图像的波段数目，而scr(x,y,b)表示的是融合图像中像元(x,y)各个波段的光谱信息与平均值之间的比值。
本发明的优点可以通过以下仿真实验作进一步说明：
实验的仿真环境为MatlabR2014b。所进行测试的计算机主频为Intel(R)Core(TM)i7-6700HQ 2.6GHz，操作系统为Windows10。实验中用到的遥感图像均来自于GeoEye-1卫星，该卫星图像包括多光谱图像和全色图像。其中，多光谱图像包括近红外波段、红色光波段、绿色光波段和蓝色光波段，其空间分辨率为1.65m，全色图像空间分辨率为0.41m。
为了证明本发明融合方法(SSMP)的效果，在成分替换和多尺度分析两类融合方法中各采用4种经典对比算法，其中属于成分替换的算法IHS、PCA、PRACS、BDSD，属于多尺度分析的算法有：ATWT、AWLP、MTF_GLP、MTF_GLP_CBD。
对于各个算法得到的融合结果，为了检验实验结果的有效性，为此采用了RG(radiometric and geometric)下针对空间结构和地物辐射综合考虑的多组融合客观评价指标：光谱映射角(Spectral Angle Mapper,SAM)、结构相似性(structural similarityindex,SSIM)、相关系数(Correlative Coefficient,CC)、通用图像质量评价指标(Universal Image Quality Index,UIQI)、均方根误差(root mean squared error,RMSE)。其中SAM、UIQI和RMSE的值越小代表融合效果越好，而SSIM和CC则相反。
对于两组遥感图像的评价结果如下表1和表2所示：
表1：
表2：
由此可以看出本发明的评价结果整体上优于现有技术的评价结果，本发明比已有技术有较好的客观评价效果。
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。
Claims (2)
1.一种结构驱动的光谱映射遥感图像融合方法，其特征在于，该方法具体包括以下步骤：
步骤1：对全色图像进行块处理，建立全色图像块与多光谱图像像元之间的对应关系，并根据每个图像块自身的空间特性及其与邻域图像的关系将其划分为纯或混合图像块，从而确定对应的多光谱图像像元的纯、混合属性；具体过程为：
步骤1-1：计算得到全色图像和多光谱图像之间分辨率的比值r，根据r对全色图像进行块处理，每个图像块的大小为r*r，其像素点的个数记为Nb；通过块处理的方式进而可以确定全色图像块和多光谱像元之间的对应关系，因为此时全色图像中的每个图像块正好对应多光谱图像中相应的像元，它们表示的是同一区域的地物；
步骤1-2：对全色图像进行边缘检测，然后统计每个全色图像块包含边缘点的个数，如果该图像块内有边缘点则可认为是混合图像块，反之则认为该图像块为候选的纯图像块，仍需要进一步地筛选；
步骤1-3：对候选的纯图像块计算其r*r个像素的标准差
如果
大于设定的阈值τu，则可认为该候选纯图像块是混合图像块，将其从候选纯图像块中剔除，反之则保留；
步骤1-4：计算候选纯图像块与四邻域图像块对应的多光谱像元的光谱差异
如果
大于设定的阈值τd，则可认为该候选纯图像块是混合图像块，将其从候选纯图像块中剔除，反之则可确认为纯图像块；
步骤2：分别对纯、混合图像块采取不同的方法进行光谱信息映射得到光谱信息图像，对纯图像块而言，直接将纯像元的光谱信息赋给其内部的每个像素，而对混合图像块则采取迭代更新的方法逐一计算其内部每个像素的光谱信息；具体过程为：
步骤2-1：纯图像块的光谱信息赋予是基于块的赋予方式，对于当前处理的纯图像块，其内部像素点的光谱信息和该图像块所对应的多光谱像元的光谱信息保持一致；
步骤2-2：混合图像块的光谱信息赋予是基于像素的赋予方式，对当前处理的混合图像块内的每一个像素点都按照同样的方法赋予各自的光谱信息；
步骤3：采用快速有效的Brovey方法将细节信息注入到光谱信息图像中得到融合图像。
2.根据权利要求1所述的一种结构驱动的光谱映射遥感图像融合方法，其特征在于，所述步骤2-2具体过程为：
步骤2-2-1：确定一个大小为W*W以当前处理混合图像块为中心的搜索窗，计算窗口内每一个纯图像块的灰度均值
然后选出与当前处理混合像素点(x′,y′)的灰度值最靠近的Nr个纯图像块，将它们所对应的多光谱像元Ppj(j＝1,…,Nr)的光谱信息的平均值作为该像元的初始光谱信息；
步骤2-2-2：得到混合像素点(x′,y′)初始的光谱信息以后，构造其当前特征向量fP，并对窗口内的所有纯图像块构造各自对应的特征向量fB；
步骤2-2-3：计算当前混合像素点的特征向量fP与每个纯像元图像块的特征向量fB之间的欧式几何距离；
步骤2-2-4：挑选出距离最小的Nr个纯图像块，并利用它们对应的纯像元的光谱信息通过权值求和的方式更新当前混合像素点的光谱信息HRMS(x′,y′)；
步骤2-2-4：更新了HRMS(x′,y′)以后相应的fP也得到更新，如果更新前后的HRMS(x′,y′)之间的欧式距离小于设定的阈值τt则停止迭代，否则回到步骤2-2-3继续进行迭代更新。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710991192.0A CN107705280B (zh) | 2017-10-23 | 2017-10-23 | 一种结构驱动的光谱映射遥感图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710991192.0A CN107705280B (zh) | 2017-10-23 | 2017-10-23 | 一种结构驱动的光谱映射遥感图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107705280A CN107705280A (zh) | 2018-02-16 |
| CN107705280B true CN107705280B (zh) | 2020-12-15 |
Family
ID=61182960
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710991192.0A Active CN107705280B (zh) | 2017-10-23 | 2017-10-23 | 一种结构驱动的光谱映射遥感图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107705280B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104794681A (zh) * | 2015-04-28 | 2015-07-22 | 西安电子科技大学 | 基于多冗余字典和稀疏重构的遥感图像融合方法 |
| US9239384B1 (en) * | 2014-10-21 | 2016-01-19 | Sandia Corporation | Terrain detection and classification using single polarization SAR |
| CN105787492A (zh) * | 2016-04-01 | 2016-07-20 | 电子科技大学 | 基于均值采样的局部三值模式纹理特征提取方法 |
-
2017
- 2017-10-23 CN CN201710991192.0A patent/CN107705280B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9239384B1 (en) * | 2014-10-21 | 2016-01-19 | Sandia Corporation | Terrain detection and classification using single polarization SAR |
| CN104794681A (zh) * | 2015-04-28 | 2015-07-22 | 西安电子科技大学 | 基于多冗余字典和稀疏重构的遥感图像融合方法 |
| CN105787492A (zh) * | 2016-04-01 | 2016-07-20 | 电子科技大学 | 基于均值采样的局部三值模式纹理特征提取方法 |
Non-Patent Citations (3)
| Title |
|---|
| Radon Transform Based Edge Detection for SAR Imagery;Gadhiraju Surender Varma;《Geoscience & Remote Sensing Symposium》;20130731;全文 * |
| 基于多种变换的遥感图像新型融合方法;尹继豪;《遥感信息》;20120630;全文 * |
| 多时相SAR图像多尺度变化检测;崔莹;《中国优秀硕士学位论文全文数据库信息科技辑》;20170315;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107705280A (zh) | 2018-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Feng et al. | Robust registration for remote sensing images by combining and localizing feature-and area-based methods | |
| CN110929607B (zh) | 一种城市建筑物施工进度的遥感识别方法和系统 | |
| Awrangjeb et al. | Automatic detection of residential buildings using LIDAR data and multispectral imagery | |
| CN111079556A (zh) | 一种多时相无人机视频图像变化区域检测及分类方法 | |
| CN107067405B (zh) | 基于尺度优选的遥感影像分割方法 | |
| CN110120046B (zh) | 一种融合dem、光学遥感和形变信息的潜在滑坡识别方法 | |
| Chen et al. | Edge-guided multiscale segmentation of satellite multispectral imagery | |
| CN103077515B (zh) | 一种多光谱图像建筑物变化检测方法 | |
| Fytsilis et al. | A methodology for near real-time change detection between Unmanned Aerial Vehicle and wide area satellite images | |
| Qin et al. | Spatiotemporal inferences for use in building detection using series of very-high-resolution space-borne stereo images | |
| Moussa et al. | A new object based method for automated extraction of urban objects from airborne sensors data | |
| Zhu et al. | Robust registration of aerial images and LiDAR data using spatial constraints and Gabor structural features | |
| Fu et al. | Fusion of hyperspectral and multispectral images accounting for localized inter-image changes | |
| Bandyopadhyay et al. | Classification and extraction of trees and buildings from urban scenes using discrete return LiDAR and aerial color imagery | |
| Hossain et al. | A hybrid image segmentation method for building extraction from high-resolution RGB images | |
| Dey et al. | A robust performance evaluation metric for extracted building boundaries from remote sensing data | |
| Jhan et al. | A generalized tool for accurate and efficient image registration of UAV multi-lens multispectral cameras by N-SURF matching | |
| Zhang et al. | Optical and SAR image dense registration using a robust deep optical flow framework | |
| Kim et al. | Tree and building detection in dense urban environments using automated processing of IKONOS image and LiDAR data | |
| Sun et al. | Identifying terraces in the hilly and gully regions of the Loess Plateau in China | |
| Wang et al. | Using 250-m MODIS data for enhancing spatiotemporal fusion by sparse representation | |
| CN107705280B (zh) | 一种结构驱动的光谱映射遥感图像融合方法 | |
| CN113902759B (zh) | 一种空谱信息联合的星载高光谱影像分割与聚类方法 | |
| Siok et al. | A simulation approach to the spectral quality of multispectral images enhancement | |
| Tian et al. | Automatic rooftop extraction in stereo imagery using distance and building shape regularized level set evolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |