CN109658367B - 基于彩色传递的图像融合方法 - Google Patents

基于彩色传递的图像融合方法 Download PDF

Info

Publication number
CN109658367B
CN109658367B CN201811355736.5A CN201811355736A CN109658367B CN 109658367 B CN109658367 B CN 109658367B CN 201811355736 A CN201811355736 A CN 201811355736A CN 109658367 B CN109658367 B CN 109658367B
Authority
CN
China
Prior art keywords
image
color
ash
new
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811355736.5A
Other languages
English (en)
Other versions
CN109658367A (zh
Inventor
沈佳
邹岳琳
刘昆
张龙军
明涛
郭江涛
王巧莉
尹蕊
王天军
马斌
李雅洁
李豫芹
李凯
王辉
侯建明
高阳
刘信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Xinjiang Electric Power CorporationInformation & Telecommunication Co ltd
State Grid Corp of China SGCC
Original Assignee
State Grid Xinjiang Electric Power CorporationInformation & Telecommunication Co ltd
State Grid Corp of China SGCC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Xinjiang Electric Power CorporationInformation & Telecommunication Co ltd, State Grid Corp of China SGCC filed Critical State Grid Xinjiang Electric Power CorporationInformation & Telecommunication Co ltd
Priority to CN201811355736.5A priority Critical patent/CN109658367B/zh
Publication of CN109658367A publication Critical patent/CN109658367A/zh
Application granted granted Critical
Publication of CN109658367B publication Critical patent/CN109658367B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像融合技术领域，是一种基于彩色传递的图像融合方法，步骤一：将原始低分辨率多光谱图像P光进行彩色图像灰度化，得到对应灰度图像P灰；步骤二：将原始高分辨率全色图像P全和灰度图像P灰进行直方图匹配；步骤三：对灰度图像P灰和全色图像P全新的系数进行融合，得到融合灰度图像P融灰；步骤四：将原始低分辨率多光谱图像P光和融合灰度图像P融灰从RGB空间转换到lαβ彩色空间；步骤五：将lαβ彩色空间的(lt，αs，βs)转换到RGB空间，得到最终的融合结果图像P终。本发明对原始高分辨率全色图像和原始低分辨率多光谱图像进行融合，使得最终融合结果图像既具有全色图像的细节信息又具有多光谱图像的色彩信息，提高了图像的可用价值。

Description

基于彩色传递的图像融合方法
技术领域
本发明涉及图像融合技术领域，是一种基于彩色传递的图像融合方法。
背景技术
多源遥感图像的融合其实是信息融合的一个重要的分支，它兴起于20世纪70年代是综合了信号处理、图像处理、传感器理论、计算机技术等学科而形成的一门新兴的图像处理技术。多源遥感图像融合就是将由相同或不同的传感器在同一时间或不同时间所获得的关于同一个目标的多幅图像信息加以综合，以达到对场景和目标的综合描述，能对人进一步的应用和识别该目标和场景提供更加丰富和有效的信息。尤其是街景地图中，需要同时处理海量的图像，现有技术不能兼顾同时处理全色图像细节信息的清晰度和多光谱图像的色彩信息。
发明内容
本发明提供了一种基于彩色传递的图像融合方法，克服了上述现有技术之不足，其能有效解决现有的图像处理时存在全色图像细节信息的清晰度和多光谱图像的色彩信息不能同时兼顾处理的问题。
本发明的技术方案是通过以下措施来实现的：一种基于彩色传递的图像融合方法,包括以下步骤：
步骤一：将原始低分辨率多光谱图像P光采用加权平均法进行彩色图像灰度化，得到对应灰度图像P灰；
步骤二：将待融合的原始高分辨率全色图像P全和经过灰度化后的灰度图像P灰进行直方图匹配，获得新的全色图像P全新；
步骤三：对灰度图像P灰和全色图像P全新分别进行拉普拉斯金字塔变换，采用绝对值取大的融合方法，对灰度图像P灰和全色图像P全新的系数进行融合，得到融合灰度图像P融灰；
步骤四：进行彩色传递，将原始低分辨率多光谱图像P光和融合灰度图像P融灰从RGB空间转换到lαβ彩色空间，原始低分辨率多光谱图像P光转换结果为Is(ls，αs，βs)，融合灰度图像P融灰转换结果为IT(lt，αt，βt)，将多光谱图像P光的彩色通道中表示颜色信息的(αs，βs)传递给灰度图像；
步骤五：将lαβ彩色空间的(lt，αs，βs)转换到RGB空间，即得到最终的融合结果图像P终。
下面是对上述发明技术方案的进一步优化或/和改进：
上述第三步还包括对灰度图像P灰和全色图像P全新比较灰度差，判断|P灰－P全新|是否小于灰度差值阈值ζ，若|P灰－P全新|＜ζ，则将原始低分辨率多光谱图像P光中的对应点直接输出，之后进入步骤五；若|P灰－P全新|≥ζ，则将将原始低分辨率多光谱图像P光中的剩余像素点按步骤四继续进行彩色传递。
本发明对原始高分辨率全色图像和原始低分辨率多光谱图像进行融合，使得最终融合结果图像既具有全色图像的细节信息又具有多光谱图像的色彩信息，提高了图像的可用价值。采用了基于彩色传递的方法，将图像进行了RGB-lαβ彩色空间变换，将多光谱图像的光谱信息传递给全色图像，实现了彩色传递。对原始低分辨率图像灰度化后和原始高分辨率全色图像进行直方图匹配，调整了整个全色图像的灰度直方图(亮度)分布，减少了结果图像的颜色失真。使用拉普拉斯金字塔变换综合了两幅图像的细节信息，提高了融合结果图像的细节、色彩保真度。
附图说明
附图1为本发明实施例1的方法流程图。
附图2为本发明实施例2的原始低分辨率多光谱图像。
附图3为本发明实施例2的双线性插值放大后的原始低分辨率多光谱图像。
附图4为本发明实施例2的原始高分辨率全色图像。
附图5为本发明实施例2的拉普拉斯金字塔变换后的图像。
附图6为本发明实施例2的最终融合结果图像。
具体实施方式
本发明不受下述实施例的限制，可根据本发明的技术方案与实际情况来确定具体的实施方式。
下面结合实施例及附图对本发明作进一步描述：
实施例1：如附图1、2所示，该基于彩色传递的图像融合方法包括以下步骤：
步骤一：将原始低分辨率多光谱图像P光采用加权平均法进行彩色图像灰度化，得到对应灰度图像P灰；
步骤二：将待融合的原始高分辨率全色图像P全和经过灰度化后的灰度图像P灰进行直方图匹配，获得新的全色图像P全新；
上述将原始低分辨率多光谱图像P光经过灰度化后的灰度图像P灰和原始高分辨率全色图像P全进行直方图匹配，是为了调整全色图像的灰度直方图分布，使全色图像P全的灰度直方图与灰度化后的灰度图像P灰直方图相同，等同于调整全色图像P全的亮度分布，可避免出现实验结果图像颜色的轻微失真。
步骤三：对灰度图像P灰和全色图像P全新分别进行拉普拉斯金字塔变换，采用绝对值取大的融合方法，对灰度图像P灰和全色图像P全新的系数进行融合，得到融合灰度图像P融灰；
上述采用拉普拉斯金字塔变换的目的是消除灰度图像P灰和全色图像P全新的分辨率差异，对非彩色(亮度)分量进行重新提取，综合两幅图像之内的细节信息加权得到最后的结果图像。如果不对细节进行重新提取，会造成结果图像色彩失真严重，同时细节清晰度也受到影响。
步骤四：进行彩色传递，将原始低分辨率多光谱图像P光和融合灰度图像P融灰从RGB空间转换到lαβ彩色空间，原始低分辨率多光谱图像P光转换结果为Is(ls，αs，βs)，融合灰度图像P融灰转换结果为IT(lt，αt，βt)，将多光谱图像P光的彩色通道中表示颜色信息的(αs，βs)传递给灰度图像；
上述lαβ彩色空间中的l通道表示非彩色通道，α通道是表示黄-蓝颜色相关值的通道，β通道表示的是红-绿颜色相关值的通道。
步骤五：将lαβ彩色空间的(lt，αs，βs)转换到RGB空间，即得到最终的融合结果图像P终。
可根据实际需要，对上述基于彩色传递的图像融合方法作进一步优化或/和改进：
如附图1所示，第三步还包括对灰度图像P灰和全色图像P全新比较灰度差，判断|P灰－P全新|是否小于灰度差值阈值ζ，若|P灰－P全新|＜ζ，则将原始低分辨率多光谱图像P光中的对应点直接输出，之后进入步骤五；若|P灰－P全新|≥ζ，则将将原始低分辨率多光谱图像P光中的剩余像素点按步骤四继续进行彩色传递。
上述的灰度差值阈值ξ是与融合图像P融灰中的内容及细节所占整体图像的比例有关系。同时作为对细节信息保留度的考虑，直接保留的像素点应该不高于图像像素数目的10％，否则会影响细节信息的传递，从而导致结果图像P终中边缘信息的不连续或边缘模糊。
实施例2：如附图2、3、4、5、6所示，设存在理想的高分辨率多光谱图像D，则在最理想的情况下将D灰度化之后的结果无疑就应该是原始高分辨率全色图像P。那么在一定程度上，对原始的低分辨率多光谱图像进行灰度化的结果若是和P相等或是在一定尺度范围(ζ)内相近似，就可以将多光谱图像中的该像素点的值直接保留在结果图像中。而对于不符合此类特征的点则可以采用彩色传递的方法将多光谱图像中的各个像素点的彩色信息直接传递给全色图像中相对应的点。
将经过配准的图片为例(图片尺寸比例为1:4)，采用实施例1中的方法进行图像处理，原始低分辨率多光谱图像P光如附图2所示，将附图2中的图像进行双线性插值放大后的原始低分辨率多光谱图像如附图3所示，原始高分辨率全色图像P全如附图4所示，拉普拉斯金字塔变换后的融合灰度图像P融灰如附图5所示，最终融合结果图像P终如附图6所示。
以上技术特征构成了本发明的实施例，其具有较强的适应性和实施效果，可根据实际需要增减非必要的技术特征，来满足不同情况的需求。

Claims (2)

1.一种基于彩色传递的图像融合方法，其特征在于包括以下步骤：
步骤一：将原始低分辨率多光谱图像P光采用加权平均法进行彩色图像灰度化，得到对应灰度图像P灰；
步骤二：将待融合的原始高分辨率全色图像P全和经过灰度化后的灰度图像P灰进行直方图匹配，获得新的全色图像P全新；
步骤三：对灰度图像P灰和全色图像P全新分别进行拉普拉斯金字塔变换，采用绝对值取大的融合方法，对灰度图像P灰和全色图像P全新的系数进行融合，得到融合灰度图像P融灰；
步骤四：进行彩色传递，将原始低分辨率多光谱图像P光和融合灰度图像P融灰从RGB空间转换到lαβ彩色空间，原始低分辨率多光谱图像P光转换结果为Is(ls，αs，βs)，融合灰度图像P融灰转换结果为IT(lt，αt，βt)，将多光谱图像P光的彩色通道中表示颜色信息的(αs，βs)传递给灰度图像；
步骤五：将lαβ彩色空间的(lt，αs，βs)转换到RGB空间，即得到最终的融合结果图像P终。
2.根据权利要求1所述的基于彩色传递的图像融合方法，其特征在于第三步还包括对灰度图像P灰和全色图像P全新比较灰度差，判断|P灰－P全新|是否小于灰度差值阈值ζ，若|P灰－P全新|＜ζ，则将原始低分辨率多光谱图像P光中的对应点直接输出，之后进入步骤五；若|P灰－P全新|≥ζ，则将原始低分辨率多光谱图像P光中的剩余像素点按步骤四继续进行彩色传递。
CN201811355736.5A 2018-11-14 2018-11-14 基于彩色传递的图像融合方法 Active CN109658367B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811355736.5A CN109658367B (zh) 2018-11-14 2018-11-14 基于彩色传递的图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811355736.5A CN109658367B (zh) 2018-11-14 2018-11-14 基于彩色传递的图像融合方法

Publications (2)

Publication Number Publication Date
CN109658367A CN109658367A (zh) 2019-04-19
CN109658367B true CN109658367B (zh) 2022-11-25

Family

ID=66110962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811355736.5A Active CN109658367B (zh) 2018-11-14 2018-11-14 基于彩色传递的图像融合方法

Country Status (1)

Country Link
CN (1) CN109658367B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699710A (zh) * 2019-10-22 2021-04-23 中科星图股份有限公司 一种基于深度学习的gf2遥感影像密集目标识别方法和系统
CN111815548B (zh) * 2020-07-07 2023-11-03 昆明物理研究所 一种中长波双波段红外图像融合方法
CN111986084B (zh) * 2020-08-03 2023-12-12 南京大学 一种基于多任务融合的多相机低光照图像质量增强方法
CN112562017B (zh) * 2020-12-07 2024-08-23 奥比中光科技集团股份有限公司 一种rgb图像的色彩还原方法及计算机可读存储介质
CN112907485B (zh) * 2021-03-18 2023-04-25 国家海洋信息中心 一种基于lαβ空间色彩映射的遥感影像批量调色方法
CN115063336B (zh) * 2022-08-18 2022-11-25 北京理工大学 一种全色与多光谱图像融合方法及其装置、介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547063A (zh) * 2012-02-08 2012-07-04 南京航空航天大学 基于颜色对比度增强的自然感彩色融合方法
CN104616261A (zh) * 2015-02-09 2015-05-13 内蒙古科技大学 一种基于光谱特性的Shearlet域多光谱与全色图像融合方法
CN108491869A (zh) * 2018-03-14 2018-09-04 北京师范大学 一种全色波段灰度值自适应反转的主成分变换遥感图像融合方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8611620B2 (en) * 2010-07-01 2013-12-17 Ardia Medical Products Ltd. Advanced digital pathology and provisions for remote diagnostics

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547063A (zh) * 2012-02-08 2012-07-04 南京航空航天大学 基于颜色对比度增强的自然感彩色融合方法
CN104616261A (zh) * 2015-02-09 2015-05-13 内蒙古科技大学 一种基于光谱特性的Shearlet域多光谱与全色图像融合方法
CN108491869A (zh) * 2018-03-14 2018-09-04 北京师范大学 一种全色波段灰度值自适应反转的主成分变换遥感图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于lαβ空间的多光谱和全色图像融合;黄伟等;《计算机工程》;20060630;第1-3页 *

Also Published As

Publication number Publication date
CN109658367A (zh) 2019-04-19

Similar Documents

Publication Publication Date Title
CN109658367B (zh) 基于彩色传递的图像融合方法
CN103971351B (zh) 使用多光谱滤光器阵列传感器的图像融合方法和设备
KR102144577B1 (ko) 최적의 감마보정 기반 저조도 영상 보정방법
CN109447922B (zh) 一种改进的ihs变换遥感影像融合方法及系统
CN111107330B (zh) 一种Lab空间的偏色校正方法
EP3142355B1 (en) Method and apparatus for enhancing local contrast in a thermal image
CN105427268A (zh) 一种中长波双波段红外图像特征级彩色融合方法
CN111491149B (zh) 基于高清视频的实时抠像方法、装置、设备及存储介质
CN112435184B (zh) 一种基于Retinex和四元数的雾霾天图像识别方法
CN113556526A (zh) 一种基于rgbw滤光阵列的彩色夜视设备色彩增强方法
CN117934408B (zh) 一种基于透镜图的光场图像全参考质量评价方法
CN106408617B (zh) 一种基于yuv颜色空间的交互式单幅图像材质获取系统和方法
CN110580684A (zh) 一种基于黑白-彩色双目相机的图像增强方法
US20220279110A1 (en) Imaging device, processing device, data transmission system, and data transmission method
CN102170571A (zh) 一种支持双通道cmos传感器的数码相机架构
EP3407297B1 (en) Method and device for determining a characteristic of a display device
CN107203979B (zh) 一种低照度图像增强的方法
CN116761093A (zh) 一种基于深度学习的摄像头图像坏点补偿方法
WO2023110880A1 (en) Image processing methods and systems for low-light image enhancement using machine learning models
CN111080560B (zh) 一种图像的处理与识别方法
CN113936017A (zh) 图像处理方法及装置
CN114463192A (zh) 一种基于深度学习的红外视频畸变校正的方法
CN113301319A (zh) 一种在fpga上实现的图像色彩增强方法及设备
CN112102347A (zh) 一种基于双目视觉的台阶检测和单级台阶高度估计方法
CN113344798A (zh) 一种基于Retinex的暗图像增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant