CN103065282A - 一种基于稀疏线性系统的图像融合方法 - Google Patents
一种基于稀疏线性系统的图像融合方法 Download PDFInfo
- Publication number
- CN103065282A CN103065282A CN2012105817630A CN201210581763A CN103065282A CN 103065282 A CN103065282 A CN 103065282A CN 2012105817630 A CN2012105817630 A CN 2012105817630A CN 201210581763 A CN201210581763 A CN 201210581763A CN 103065282 A CN103065282 A CN 103065282A
- Authority
- CN
- China
- Prior art keywords
- image
- full
- multispectral
- frequency information
- sparse linear
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及数字图像处理技术领域,公开了一种基于稀疏线性系统的图像融合方法,包括:多光谱图像进行IHS变化得到其亮度信息,对全色图像求取极值,根据全色图像、多光谱图像的亮度分量以及全色图像的极值点构造稀疏线性系统,基于稀疏线性系统求取平均包络,基于平均包络得到包含在全色图像内而多谱图像缺乏的高频信息;将得到的高频信息注入多光谱亮度分量得到融合结果的亮度分量,并将该融合结果的亮度分量和、多光谱图像的色度分量和饱和度分量进行逆IHS变换,得到融合结果。利用本发明,提高了高分率全色图像和低分辨率多光谱图像的融合效果。
Description
技术领域
本发明涉及数字图像处理技术领域,特别是一种基于稀疏线性系统的图像融合方法。
背景技术
由于超大规模集成电路(VLSI)和超高速集成电路(VHSIC)、高精度数控机床、计算机辅助设计和制造,以及其它设计和生产的改进,传感器性能大大提高。从20世纪70年代起,一门新兴的学科——多传感器信息融合(Multisensor Data Fusion)便迅速发展起来。图像融合(Image Fusion)是指联合两个或两个以上的图像通过某种算法得到一幅更高质量的新图像。图像融合是数据融合技术领域中的一个重要分支,它的研究具有十分重要的实际意义。单个传感器图像或者单幅图像,由于受物理条件的限制和成像环境的影响,往往不能提供人们所需要的足够多的信息。例如,全色(Panchromatic)图像具有的较高空间分辨率可以对目标进行更好的定位,但是低的谱分辨率导致识别能力较差;反过来,多光谱图像具有较高的谱分辨率可以较好地识别目标,但是低的空间分辨率导致定位不准确。融合多光谱图像和全色图像,可以得到具有较高空间分辨率的多光谱图像,从而更好地实现目标的识别和定位等后续处理。
总的来说,综合多个传感器图像的信息,可以降低图像信息的不确定性,增加图像信息的可靠性、鲁棒性,加大信息表达的范围和能力,有利于图像的理解和场景解释。图像融合技术还对图像去噪、图像复原、图像超分辨率等其它图像处理技术起到促进作用。同时,许多领域中的多传感器、多时相、多分辨率和多光谱(超光谱)图像的大量涌现,为了更好地存储、处理和利用这些数据,迫切要求一门综合处理多源图像的技术和系统。现在,图像融合广泛地应用于许多领域,包括遥感、医学影像、人工智能、隐藏武器检测、自动导航着陆、质量和故障检测,工业监测和军事国防等
图像融合方法是图像融合系统的核心部分。图像融合方法大致可以分为七类:一是彩色相关的方法;二是数值方法;三是基于概率统计的方法;四是基于多尺度分解的方法;五是神经网络融合方法;六是基于谱分离的方法;七是变分融合方法。其中Sharama在对图像融合作了深刻的分析的基础上提出了一种新的概率模型及参数估计方法。Zhang及Blum以在数字相机的应用为背景总结了基于多尺度分解的图像融合算法。Mohammad-Djafari则论述了贝叶斯估计方法在图像中的应用。
在这些算法中,其中基于多尺度分解的方法得到最为广泛的应用,其融合过程分为多尺度分解、信息转移和多尺度重建等三个步骤。使用多尺度分解的图像融合方法,融合之前先要对多光谱图像进行插值以使它的尺寸跟全色图像一样。然后,再将全色图像的细节信息融入到插值之后的多光谱图像中。这样,融合得到的多光谱图像就具有了更高的分辨率了;同时光谱图像的谱信息也会被保留。
但是,这些方法没有意识到一点:尺寸相同并不等于尺度相同。虽然全色图像和插值的多光谱图像具有相同的尺寸,但是显然的是后者的实际分辨率要低于前者。这时,两者的信息并不处于同一尺度空间,直接的融合可能导致信息的失真和扭曲,从而降低融合质量。
发明内容
有鉴于此,本发明的主要目的在于提供一种基于自适应分解和多尺度基本形式的图像融合方法,在图像自适应分解的基础上,解决以往图像融合没有考虑待融合的高分辨率图像和高光谱图像尺度不一致的问题,达到改进图像融合效果的目的。
为达到上述目的,本发明提供了一种基于稀疏线性系统的图像融合方法,包括:对多谱图像进行IHS变换;高分辨率图像求取其极值点;基于多谱图像的亮度部分、高分辨率图像和高分辨率图像的极值点构造稀疏线性方程组求取上下包络;根据上下包络求取其平均包络;根据平均包络求取高分辨率图像中包含而多谱图像缺乏的高频信息;对多谱图像的亮度部分注入高频信息;应用逆IHS变换得到最终结果。
从上述技术方案可以看出,本发明具有以下有益效果:
1、本发明提供的基于稀疏线性系统的图像融合方法,使融合的信息在尺度空间具有一致性,提高了高分率全色图像和低分辨率多光谱图像的融合效果。
2、本发明提供的基于稀疏线性系统的图像融合方法,通过从全色图像获得的高分辨率信息,多光谱图像的空间分辨率得到提高,输入图像的谱信息通过多光谱图像I部分得到保持。
3、本发明提供的基于稀疏线性系统的图像融合方法,首次提出应用图像特征构造稀疏线性方程的解决图像融合的方法,是一种自适应方法,一般的融合方法都是直接融合低分辨率多光谱图像与高分辨率全色图像以得到高分辨率的光谱图像,而没有考虑图像本身的特点。本发明提供的基于稀疏线性系统的图像融合方法,没有直接对输入图像进行融合,而是通过高分辨图像的极值点与输入图像求取多光谱图像缺乏的高频信息,然后使其与低通多光谱图像亮度部分进行融合,取得了更好的实验效果。
4、本发明提供的基于稀疏线性系统的图像融合方法,与基于小波的图像融合方法相比,本方法效果更优。
附图说明
图1是本发明方法流程图;
图2是图像分解结果图;
图3是一副图像融合结果图;
图4是另一幅图像融合结果图。
具体实施方式
下面结合附图及实例对本发明做进一步说明。
本发明提供的基于自适应分解和多尺度基本形式的图像融合方法,其基本思想为:对多光谱图像进行IHS变换,将其变换到IHS空间。对全色图像和多光谱图像的I部分联合构造稀疏线性方程对全色图像进行自适应分解,得到其低频信息与高频信息。因为其对应的低频信息的尺度与多光谱图像接近,其得到的高频相对于多谱图像来说冗余信息最少,对于图像融合来说,这种尺度相近的融合效果更好。然后基于稀疏线性方程的分解得到的全色图像高频信息与多光谱图像的I部分进行求和并进行灰度调整得到融合结果的I部分,结合多光谱图像的H部分和S部分,将其变换至RGB空间,得到融合结果。
如图1所示,图1是依照本发明实施例基于线性稀疏方程的图像融合方法流程图,该方法主要包括两个重要的模块:1. 图像多尺度分解模块;2. 图像融合模块。
首先简要介绍输入信息和IHS变换及IHS逆变换;
0.输入信息及IHS变换及IHS逆变换;
IHS和IHS逆变换对多光谱图像进行IHS变换,IHS(Intensity,Hue,Saturation)分别表示亮度或强度、色调和饱和度,是认识颜色的三个特征。亮度是指人眼对光源或物体明亮程度的感觉,一般来说与物体的反射率成正比。色调,也称色别,是指彩色的类别,是彩色彼此相互区分的特征。IHS变换和逆IHS变换如下:
1.图像多尺度分解模块;
1.1图像分解模块;
1)对于高分辨率图像求取其极值点集合,极值点集合由两部分组成,极大值点集合和极小值结合,极大(小)值点选取规则为:选定邻域k×k,在其邻域内最多仅有k个点大于(或者小于)该点,认为该点为极大(小)值点,则
构造下包络采用与构造上包络相同的邻域,所以该方程也是一个稀疏线性方程。
1.2图像多尺度分解模块;
循环分解过程如下:
图像分解结果如图2,图2中上一栏:多谱图像(左),高分辨率图像(中),高分辨率图像(右)的极值点。图2中下一栏:多谱图像的亮度部分(左),亮度图像的包络(中),亮度图像的细节图像(右)。
2.图像融合模块
2)把分解得到的细节信息整合多谱图像的亮度部分得到:
。
图像融合结果如图3,4所示,图3和图4中:多谱图像(左),高分辨率图像(中),本发明的结果(右)。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1. 一种基于稀疏线性系统的图像融合方法,其特征在于该方法具体是:
将全色图像和多光谱图像的亮度部分进行全色图像的自适应分解,得到保持多光谱图像谱信息和全色图像;将高频信息注入到多光谱图像的亮度部分进行融合,得到待融合结果的亮度部分,并将待融合结果的亮度部分和多光谱图像的色度部分、对比度部分进行逆HIS变换转化到RGB空间得到最后的融合结果。
2.根据权利要求1所述的一种基于稀疏线性系统的图像融合方法,其特征在于:基于全色图像和多光谱图像的亮度部分构造稀疏线性系统对全色图像进行自适应分解,得到多光谱图像缺乏的高频信息,具体是:
对全色图像求取其极值点,根据其极值点、全色图像和多光谱图像的亮度部分构造上下包络图像,根据上下包络图像求取其平均包络图像,也即是其低频信息,以高分辨率全色图像减去低频信息得到对应的高频信息。
3.根据权利要求2所述的一种基于稀疏线性系统的图像融合方法,其特征在于:根据极值点信息构造的线性方程需要体现以下的关键信息:1.在全色图像的极值点位置,得到包络图像的值应该等于全色图像的极值点;2.在非极值点位置的灰度变化应该与多光谱图像的亮度部分相同;3.根据上下包络面求取平均包络,其代表的含义是全色图像中包含的多光谱图像的低频信息;4.应用全色图像与求取的低频信息做差得到全色图像的高频信息,且这些高频信息是多光谱图像所缺乏的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012105817630A CN103065282A (zh) | 2012-12-27 | 2012-12-27 | 一种基于稀疏线性系统的图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2012105817630A CN103065282A (zh) | 2012-12-27 | 2012-12-27 | 一种基于稀疏线性系统的图像融合方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103065282A true CN103065282A (zh) | 2013-04-24 |
Family
ID=48107899
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2012105817630A Pending CN103065282A (zh) | 2012-12-27 | 2012-12-27 | 一种基于稀疏线性系统的图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103065282A (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105023261A (zh) * | 2015-07-22 | 2015-11-04 | 太原理工大学 | 基于agihs及低通滤波器的遥感图像融合方法 |
CN106251320A (zh) * | 2016-08-15 | 2016-12-21 | 西北大学 | 基于联合稀疏与结构字典的遥感图像融合方法 |
CN106875370A (zh) * | 2017-01-24 | 2017-06-20 | 中国科学院空间应用工程与技术中心 | 一种全色图像和多光谱图像的融合方法及装置 |
CN106909878A (zh) * | 2016-12-30 | 2017-06-30 | 中国科学院生态环境研究中心 | 一种基于信号处理的水质分析方法 |
CN107190621A (zh) * | 2016-03-15 | 2017-09-22 | 南京理工技术转移中心有限公司 | 一种路面裂缝病害检测系统和方法 |
CN107843341A (zh) * | 2017-11-16 | 2018-03-27 | 中国科学院西安光学精密机械研究所 | 一种天基空间目标高分辨多光谱成像方法及系统 |
CN111090129A (zh) * | 2019-12-31 | 2020-05-01 | 核工业北京地质研究院 | 基于多源数据融合的硬岩型铀矿控矿构造快速寻找方法 |
WO2020238416A1 (zh) * | 2019-05-31 | 2020-12-03 | 华为技术有限公司 | 一种图像处理方法和相关设备 |
CN114723631A (zh) * | 2022-04-01 | 2022-07-08 | 西安交通大学 | 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置 |
CN117201693A (zh) * | 2023-11-01 | 2023-12-08 | 长春汽车工业高等专科学校 | 一种物联网图像压缩方法、装置、终端设备及介质 |
US11861810B2 (en) | 2020-01-20 | 2024-01-02 | Tencent Technology (Shenzhen) Company Limited | Image dehazing method, apparatus, and device, and computer storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6198841B1 (en) * | 1996-03-28 | 2001-03-06 | Minolta Co., Ltd. | Color image processor |
CN1581230A (zh) * | 2004-05-20 | 2005-02-16 | 上海交通大学 | 基于影像局部光谱特性的遥感影像融合方法 |
-
2012
- 2012-12-27 CN CN2012105817630A patent/CN103065282A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6198841B1 (en) * | 1996-03-28 | 2001-03-06 | Minolta Co., Ltd. | Color image processor |
CN1581230A (zh) * | 2004-05-20 | 2005-02-16 | 上海交通大学 | 基于影像局部光谱特性的遥感影像融合方法 |
Non-Patent Citations (2)
Title |
---|
ZHIJUN WANG等: "A Comparative Analysis of Image Fusion Methods", 《IEEE TRANSACTION ON GEOSCIENCE AND REMOTE SENSING》 * |
胡建文等: "基于IHS变换和稀疏表示的遥感图像融合", 《2010 CHINESE CONFERENCE ON PATTERN RECOGNITION》 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105023261A (zh) * | 2015-07-22 | 2015-11-04 | 太原理工大学 | 基于agihs及低通滤波器的遥感图像融合方法 |
CN107190621A (zh) * | 2016-03-15 | 2017-09-22 | 南京理工技术转移中心有限公司 | 一种路面裂缝病害检测系统和方法 |
CN106251320B (zh) * | 2016-08-15 | 2019-03-26 | 西北大学 | 基于联合稀疏与结构字典的遥感图像融合方法 |
CN106251320A (zh) * | 2016-08-15 | 2016-12-21 | 西北大学 | 基于联合稀疏与结构字典的遥感图像融合方法 |
CN106909878A (zh) * | 2016-12-30 | 2017-06-30 | 中国科学院生态环境研究中心 | 一种基于信号处理的水质分析方法 |
CN106875370B (zh) * | 2017-01-24 | 2020-11-06 | 中国科学院空间应用工程与技术中心 | 一种全色图像和多光谱图像的融合方法及装置 |
CN106875370A (zh) * | 2017-01-24 | 2017-06-20 | 中国科学院空间应用工程与技术中心 | 一种全色图像和多光谱图像的融合方法及装置 |
CN107843341A (zh) * | 2017-11-16 | 2018-03-27 | 中国科学院西安光学精密机械研究所 | 一种天基空间目标高分辨多光谱成像方法及系统 |
WO2020238416A1 (zh) * | 2019-05-31 | 2020-12-03 | 华为技术有限公司 | 一种图像处理方法和相关设备 |
CN111090129A (zh) * | 2019-12-31 | 2020-05-01 | 核工业北京地质研究院 | 基于多源数据融合的硬岩型铀矿控矿构造快速寻找方法 |
CN111090129B (zh) * | 2019-12-31 | 2022-06-28 | 核工业北京地质研究院 | 基于多源数据融合的硬岩型铀矿控矿构造快速寻找方法 |
US11861810B2 (en) | 2020-01-20 | 2024-01-02 | Tencent Technology (Shenzhen) Company Limited | Image dehazing method, apparatus, and device, and computer storage medium |
CN114723631A (zh) * | 2022-04-01 | 2022-07-08 | 西安交通大学 | 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置 |
CN114723631B (zh) * | 2022-04-01 | 2024-08-09 | 西安交通大学 | 基于深度上下文先验与多尺度重建子网络的图像去噪方法、系统及装置 |
CN117201693A (zh) * | 2023-11-01 | 2023-12-08 | 长春汽车工业高等专科学校 | 一种物联网图像压缩方法、装置、终端设备及介质 |
CN117201693B (zh) * | 2023-11-01 | 2024-01-16 | 长春汽车工业高等专科学校 | 一种物联网图像压缩方法、装置、终端设备及介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103065282A (zh) | 一种基于稀疏线性系统的图像融合方法 | |
CN110378838B (zh) | 变视角图像生成方法,装置,存储介质及电子设备 | |
CN113870335B (zh) | 一种基于多尺度特征融合的单目深度估计方法 | |
Yue et al. | Blind quality assessment for screen content images via convolutional neural network | |
Wang et al. | Joint iterative color correction and dehazing for underwater image enhancement | |
CN105118027A (zh) | 一种图像的去雾方法 | |
CN103607589B (zh) | 基于层次选择性视觉注意力机制的jnd阈值计算方法 | |
Luo et al. | Multi-modal image fusion via deep laplacian pyramid hybrid network | |
Liu et al. | Scene background estimation based on temporal median filter with Gaussian filtering | |
Sheng et al. | Multi-scale residual attention network for single image dehazing | |
CN108509830B (zh) | 一种视频数据处理方法及设备 | |
Kekre et al. | Image fusion using Kekre's hybrid wavelet transform | |
CN103198456B (zh) | 基于方向波域隐马尔可夫树模型的遥感图像融合方法 | |
Yu et al. | Decolorization algorithm based on contrast pyramid transform fusion | |
Weligampola et al. | A retinex based gan pipeline to utilize paired and unpaired datasets for enhancing low light images | |
Codella et al. | Segmentation of both diseased and healthy skin from clinical photographs in a primary care setting | |
Zhang et al. | [Retracted] An Empirical Study on the Artificial Intelligence‐Aided Quantitative Design of Art Images | |
CN105118032A (zh) | 一种基于视觉系统的宽动态处理方法 | |
Wang et al. | Two-Stream Edge-Aware Network for Infrared and Visible Image Fusion With Multi-Level Wavelet Decomposition | |
Parekh et al. | Comparative study and analysis of medical image fusion techniques | |
Song et al. | NRNet: Retinex Decomposition with Realistic Noise | |
Vršnak et al. | Illuminant estimation error detection for outdoor scenes using transformers | |
Zhang et al. | FMGDN: Flexible Multi-Grained Dilation Network Empowered Multimedia Image Inpainting for Electronic Consumer | |
Gao et al. | [Retracted] Application of Multimedia Semantic Extraction Method in Fast Image Enhancement Control | |
Yang et al. | Unsupervised Low Illumination Enhancement Model Based on YCbCr Color Space |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130424 |