CN112528914B - 一种细节信息逐步融入的卫星影像全色增强方法 - Google Patents
一种细节信息逐步融入的卫星影像全色增强方法 Download PDFInfo
- Publication number
- CN112528914B CN112528914B CN202011510233.8A CN202011510233A CN112528914B CN 112528914 B CN112528914 B CN 112528914B CN 202011510233 A CN202011510233 A CN 202011510233A CN 112528914 B CN112528914 B CN 112528914B
- Authority
- CN
- China
- Prior art keywords
- image
- multispectral
- pass
- panchromatic
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种细节信息逐步融入的卫星影像全色增强方法,首先将全色影像分解成高通部分和低通部分,然后将全色增强视为超分辨率问题,通过在超分辨率过程中融入高通部分,实现遥感影像空间细节信息的保持。本发明的优点在于:利用频率分离技术提前分离PAN图像信息,充分利用了PAN图像中的细节信息;采用渐进式组合重建和自学习上采样的方法,实现空间特征与多光谱特征的多层次融合,处理后的图像结构空间细节信息丰富,空间细节信息融合充分,具有较好的增强效果,能够增强图像的空间分辨率。
Description
技术领域
本发明涉及遥感影像处理技术领域,具体涉及一种卫星影像的全色增强方法。
背景技术
由于星载存储器、星-地通信传输及地表单元内反射能量强度的限制,获取同时具有高空间分辨率和高光谱分辨率的影像相当困难。针对上述问题,传感器在光谱通道设置时,采用一个高空间分辨率的全色波段和低空间分辨率的多光谱波段。全色增强通过全色波段与多光谱波段的融合,实现增强多光谱波段空间分辨率的同时,保持其光谱特征。目前,全色增强已经成为一种重要的遥感数据处理方法,根据是否使用深度学习,可以分为传统方法和深度学习方法。
替换法是一种常用的全色增强方法。考虑到全色波段接收的波长范围较宽,一般涵盖红绿蓝三个光谱通道,与HIS颜色空间中的亮度分量(I)存在较强的相关性。HIS替换法首先将多光谱影像从RGB空间转换到HIS空间,然后用全色波段替换I分量,从而将全色波段携带的高空间信息赋予给多光谱影像,实现全色增强。由于不同地物的亮度形成机制不一样,容易导致部分地物出现颜色畸变。主成分变换首先将多光谱影像转换到多个相互独立分量组成的数据空间,再利用全色波段替换其第一主成分 ,获得增强的全色影像。但由于新影像的物理意义不明确,难以直接建立与地物的解译关系,给增强结果影像的应用带来困难。
由于不同区域、不同空间分辨率、不同光谱通道之间的辐射特征转化关系是不同的,难以通过简单的线性方程描述,使得全色增强结果中容易出现光谱畸变。近年来,以卷积神经网络为基础的深度学习因其非线性激活函数和多层次卷积特征,具备通过样本学习建立复杂关系,以描述不同分辨率输入和输出特征间的非线性映射,在全色增强等需建立不同空间分辨率影像之间变换关系中得到了广泛应用。根据使用模型的不同,基于深度学习的全色增强可以分为自动编码器、超分辨率、生成对抗网络类型三种主要类型。
自动编码器通过一系列非线性映射,将输入影像转换到稀疏矩阵(即编码),再从稀疏矩阵中恢复原始影像(即解码)。稀疏自动编码器、卷积自动编码器分别将全色波段和多光谱波段编码到相同的稀疏矩阵空间,建立二者的融合关系;然后通过解码过程实现全色影像对多光谱影像的空间分辨率增强。如TFNet 是一个基于卷积编码器的全色增强网络,它通过设计双流架构分别提取多光谱波段MS和PAN的特征,最后利用编码器重建高空间分辨率的多光谱影像。
生成对抗网络(GAN)是一种包含生成器和分类器耦合的新型网络架构,由生成器生成尽可能真实的影像,而分类器判断是真实影像还是假影像,通过二者的对抗训练实现协同优化,在影像生成、风格变换等方面得到了广泛应用,取得了良好效果。由于全色增强可以看成一个图像生成问题,基于GAN框架的深度网络也被用于全色增强。例如PSGAN将TFNet网络作为生成器,再利用一个传统的判别器来判别是增强影像还是真实影像,取得了优于单纯TFNet的全色增强效果。由于基于GAN的深度学习方法能够描述遥感影像之间的非线性映射关系,取得较好的效果。
基于深度学习的全色增强方法取得了良好的应用效果,但这些方法是在单一层次(即某一空间分辨率) 上实现多光谱信息与全色信息的融合,而不同空间分辨率上遥感影像的映射关系是存在差异的。由于影像高频部分反映的是边界信息,低频部分反映的是整体色彩(陈超迁,孟勇,杨平吕,等.基于边缘增强与光谱特性保持的Pan-sharpening融合模型[J].自动化学报,2019,45(2):374-387.)。据此,本发明首先将全色影像分解成高通部分和低通部分,然后将全色增强视为超分辨率问题,通过在超分辨率过程中融入高通部分,实现遥感影像空间细节信息的保持。本发明的主要贡献在于:(1)利用频率分离技术提前分离PAN图像信息,充分利用了PAN图像中的细节信息;(2)采用渐进式组合重建和自学习上采样的方法,实现空间特征与多光谱特征的多层次融合。
发明内容
本发明的目的在于提供一种细节信息逐步融入的卫星影像全色增强方法,以获得高空间分辨率的多光谱影像。
本发明提供的技术方案为:
一种细节信息逐步融入的卫星影像全色增强方法,假设存在全色波段P和多光谱波段M,其空间分辨率分别为h和l,根据分辨率的差异,将全色波段和多光谱波段分别记为Ph和Ml,包括以下步骤:
1)全色波段的频率分解:将全色波段Ph分解为高通成分和低通成分其中,高通成分反映影像上的高频细节,低通成分反映影像的整体光谱特征,频率分解采用先构建窗口大小为w的滤波矩阵,再对原始全色波段Ph进行滤波,滤波结果作为低通成分差值影像作为高通成分低通成分与高通成分的关系为:
其中,E表示自动编码网络,这里采用卷积自动编码器,使用三层卷积来实现,FE表示编码之后的特征,
作为改进,步骤7)中的解码函数D采用解码自动编码器,使用两层反卷积和1层卷积。
作为改进,所述步骤4)中的空间分辨率m为中间分辨率。
本发明的有益效果是:
本发明实施步骤简单,利用频率分离技术提前分离PAN图像信息,充分利用了PAN图像中的细节信息;采用渐进式组合重建和自学习上采样的方法,实现空间特征与多光谱特征的多层次融合。通过本方法处理后的图像结构空间细节信息丰富,空间细节信息融合充分,具有较好的增强效果,能够增强图像的空间分辨率。
附图说明
图1是本发明方法的流程图。
图2是本发明当前实施例输入影像。图2(a)为全色影像;图2(b)是多光谱影像。
图3是本发明全色影像的频率分解结果。图3(a)为高通成分;图3(b)是低通成分。
图4是本发明整体的全色增强结果。
图5是本发明当前实施例的输出结果及其局部细节展示图。
具体实施方式
下面用具体实施例说明本发明,并不是对本发明的限制。
附图1为本发明的流程图;附图2是本实施例所使用的影像World View 3,图2(a)和图2(b)分别为全色波段(P)和多光谱波段(M),其空间分辨率分别为0.5m(h)和2m(l),该影像位于浙江省杭州市临安区,地表覆盖类型包括森林、城市、农田、水体等多种类型。全色影像的尺寸是11196×9476像素,多光谱波段是2799×2369像素。为了处理的方便,将全色波段裁剪为512×512大小,而多光谱波段裁剪为128× 128像素的影像块,我们使用约75%的影像块进行训练,而剩余的影像块进行预测。
本发明的目标是获得空间分辨率0.5m(h)的多光谱影像,现结合附图1-4说明本发明的具体实施方式如下:
步骤1:全色波段的频率分解
窗口大小w可根据需要进行设置,一般来说,窗口增大,其平滑作用增强。滤波器也可以根据需要调整,例如均值滤波器,或者其他更加先进的滤波器。
图3是图2(a)所示影像的频率分解结果,可以看出图3(a)所示高通成分主要反应边界等特征突变,而图3(b)所示低通成分主要反应的影像特征的整体变化。
步骤2:全色波段的高通/低通特征提取
这里采用两个ResNet模块进行特征提取,上述过程可以将影像转化到特征空间表达。
步骤3:全色波段特征下采样
步骤4:低频特征融合及其上采样
步骤5:高频特征融合
步骤6:多尺度特征融合
步骤7:高分辨率的多光谱影像重建
该方法得到的结果如图4所示,可以看出本文方法对影像增强结果进行较好的空间分辨率增强。图 5(a)(d)本文增强结果的局部放大显示;图5(b)(e)是原始的全色影像;图5(c)(f)是原始的多光谱影像图 5(a)(d)为局部细节,对比图5(b)(e)的全色波段和图5(c)(f)多光谱波段,可以看出本发明的增强结果空间细节信息丰富,空间细节信息融合充分,具有较好的增强效果。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举,本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式,本发明的保护范围也给予本领域技术人员根据本发明构思所能够想到的等同技术手段。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。
Claims (3)
1.一种细节信息逐步融入的卫星影像全色增强方法,假设存在全色波段P和多光谱波段M,其空间分辨率分别为h和l,根据分辨率的差异,将全色波段和多光谱波段分别记为Ph和Ml,其特征在于,包括以下步骤:
1)全色波段的频率分解:将全色波段Ph分解为高通成分和低通成分其中,高通成分反映影像上的高频细节,低通成分反映影像的整体光谱特征,频率分解采用先构建窗口大小为w的滤波矩阵,再对原始全色波段Ph进行滤波,滤波结果作为低通成分差值影像作为高通成分低通成分与高通成分的关系为:
其中,E表示自动编码网络,这里采用卷积自动编码器,使用三层卷积来实现,FE表示编码之后的特征,
2.根据权利要求1所述的一种细节信息逐步融入的卫星影像全色增强方法,其特征在于,步骤7)中的解码函数D采用解码自动编码器,使用两层反卷积和1层卷积。
3.根据权利要求1所述的一种细节信息逐步融入的卫星影像全色增强方法,其特征在于,所述步骤4)中的空间分辨率m为中间分辨率。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011510233.8A CN112528914B (zh) | 2020-12-19 | 2020-12-19 | 一种细节信息逐步融入的卫星影像全色增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011510233.8A CN112528914B (zh) | 2020-12-19 | 2020-12-19 | 一种细节信息逐步融入的卫星影像全色增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112528914A CN112528914A (zh) | 2021-03-19 |
CN112528914B true CN112528914B (zh) | 2022-04-22 |
Family
ID=75001578
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011510233.8A Active CN112528914B (zh) | 2020-12-19 | 2020-12-19 | 一种细节信息逐步融入的卫星影像全色增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112528914B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115100081B (zh) * | 2022-08-24 | 2022-11-15 | 深圳佳弟子科技有限公司 | Lcd显示屏灰阶图像增强方法、装置、设备及存储介质 |
CN116030048B (zh) * | 2023-03-27 | 2023-07-18 | 山东鹰眼机械科技有限公司 | 灯检机及其方法 |
CN117078563B (zh) * | 2023-10-16 | 2024-02-02 | 武汉大学 | 启明星一号卫星高光谱图像全色锐化方法及系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7835594B2 (en) * | 2006-12-01 | 2010-11-16 | Harris Corporation | Structured smoothing for superresolution of multispectral imagery based on registered panchromatic image |
CN105282506A (zh) * | 2015-10-16 | 2016-01-27 | 浙江工业大学 | 基于物联网的全色-多光谱图像融合视频监控方法及其监控装置 |
CN108960345A (zh) * | 2018-08-08 | 2018-12-07 | 广东工业大学 | 一种遥感图像的融合方法、系统及相关组件 |
CN109993717A (zh) * | 2018-11-14 | 2019-07-09 | 重庆邮电大学 | 一种结合引导滤波和ihs变换的遥感图像融合方法 |
CN110428387B (zh) * | 2018-11-16 | 2022-03-04 | 西安电子科技大学 | 基于深度学习与矩阵分解的高光谱与全色图像融合方法 |
CN109509160A (zh) * | 2018-11-28 | 2019-03-22 | 长沙理工大学 | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 |
CN110533620B (zh) * | 2019-07-19 | 2021-09-10 | 西安电子科技大学 | 基于aae提取空间特征的高光谱和全色图像融合方法 |
CN111008936B (zh) * | 2019-11-18 | 2023-03-31 | 华南理工大学 | 一种多光谱图像全色锐化方法 |
-
2020
- 2020-12-19 CN CN202011510233.8A patent/CN112528914B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN112528914A (zh) | 2021-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112528914B (zh) | 一种细节信息逐步融入的卫星影像全色增强方法 | |
CN107123089B (zh) | 基于深度卷积网络的遥感图像超分辨重建方法及系统 | |
Alleysson et al. | Linear demosaicing inspired by the human visual system | |
Losson et al. | Comparison of color demosaicing methods | |
CN107851306B (zh) | 用于可配置解调制的系统及方法 | |
US8873847B2 (en) | Method of demosaicing a digital raw image, corresponding computer program and graphics or imager circuit | |
CN111784582B (zh) | 一种基于dec_se的低照度图像超分辨率重建方法 | |
CN109509160A (zh) | 一种利用逐层迭代超分辨率的分层次遥感图像融合方法 | |
CN109993717A (zh) | 一种结合引导滤波和ihs变换的遥感图像融合方法 | |
CN107103596A (zh) | 一种基于yuv空间的彩色夜视图像融合方法 | |
CN108154493B (zh) | 一种基于fpga的双波段红外图像伪彩融合算法 | |
CN112966580B (zh) | 基于深度学习和超分辨率的遥感图像绿潮信息提取方法 | |
CN105427257A (zh) | 图像增强方法及装置 | |
US10237519B2 (en) | Imaging apparatus, imaging system, image generation apparatus, and color filter | |
Li et al. | Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN | |
CN113643197B (zh) | 一种结合引导滤波和nsct的两阶轻量型网络全色锐化方法 | |
CN112837247A (zh) | 一种融合改进残差网络的gan图像去噪算法 | |
CN113793289B (zh) | 基于cnn和nsct的多光谱图像和全色图像模糊融合方法 | |
CN104537678A (zh) | 一种从单幅遥感图像中去除云雾的方法 | |
Sdraka et al. | Deep learning for downscaling remote sensing images: Fusion and super-resolution | |
CN106056565A (zh) | 一种基于多尺度形态学双边滤波分解和对比度压缩的mri与pet图像融合方法 | |
CN116977651B (zh) | 一种基于双分支和多尺度特征提取的图像去噪方法 | |
CN117350923A (zh) | 基于GAN和Transformer的全色与多光谱遥感图像融合方法 | |
CN108537765A (zh) | 一种星载全色与多光谱图像融合方法 | |
CN109785281B (zh) | 基于光谱映射的灰度调幅的pansharpening方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |