CN109670522A - 一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法 - Google Patents

一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法 Download PDF

Info

Publication number
CN109670522A
CN109670522A CN201811127118.5A CN201811127118A CN109670522A CN 109670522 A CN109670522 A CN 109670522A CN 201811127118 A CN201811127118 A CN 201811127118A CN 109670522 A CN109670522 A CN 109670522A
Authority
CN
China
Prior art keywords
image
laplacian pyramid
infrared
visible images
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811127118.5A
Other languages
English (en)
Inventor
毛润
牛萍娟
王慧泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Polytechnic University
Original Assignee
Tianjin Polytechnic University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Polytechnic University filed Critical Tianjin Polytechnic University
Priority to CN201811127118.5A priority Critical patent/CN109670522A/zh
Publication of CN109670522A publication Critical patent/CN109670522A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法,针对传统的拉普拉斯金字塔融合方法不能够有效的反映出融合图像的边缘信息和对比度较差的问题。提出了一种具有多方向联合平均的拉普拉斯金字塔算法。首先,使用拉普拉斯金字塔把输入图像进行多尺度分解得到二者的高低频子带系数。其次,对于高频系数,采用提取多方向的特征图进行联合平均融合的规则,从而得到融合图像的高频子带系数;低频系数,采用区域平均梯度自适应加权的融合规则,从而得到融合图像的低频子带系数。最后,通过拉普拉斯金字塔逆变换的重建过程得到融合图像。本发明能够有效地反映出融合图像的边缘信息,具有丰富的背景细节特征。

Description

一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像 融合方法
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于多方向性拉普拉斯金字塔的可见光图 像与红外图像融合方法,用于医学、航天等传感器平台获取的可见光图像和红外图像的融合。
背景技术
图像融合技术是对同一场景在不同光谱与空间细节下的两幅或者多幅图像信息进行综 合。红外图像具有突出目标信息的优点,但是,不能够清晰地描述目标场景的背景信息,可 见光图像符合人眼的视觉特性,能够有效地呈现出目标场景的背景信息,但是容易受到光照、 天气等外部环境的影响。因此,综合利用可见光图像与红外图像间的互补信息融合成为新图 像,提供更丰富的信息,在目标识别、多源信息挖掘、医学成像以及地图匹配等研究领域中 有着重要的应用。
自从1983年Burt等人提出了拉普拉斯金字塔算法以来,该方法被广泛应用于图像融合 领域。但是,源图像经过拉普拉斯金字塔分解后仅仅具有多尺度信息,而不具备多方向特征 信息的特点,会造成融合图像对比度不明显,边界轮廓模糊的现象。然而,传统的多尺度融 合规则主要包括:1)取最大值的方法:根据活性水平集测度较大的系数选择对应变化剧烈的 像素点,采用的边缘强度最大算法的融合规则;2)加权平均融合的方法:根据源图像之间活 性水平集测度的匹配度关系经行加权融合。但是,不管是基于像素级和基于区域级的系数融 合规则都未改善拉普拉斯金字塔算法带有的块效应。
本发明的主要目的改善拉普拉斯金字塔算法带有的块效应,为了实现此目标,提出一种 基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法。
发明内容
为了克服现有技术的不足,本发明提出一种基于多方向性拉普拉斯金字塔的可见光图像 与红外图像融合方法,针对传统的拉普拉斯金字塔融合方法不能够有效的反映出融合图像的 边缘信息和对比度较差的问题。对拉普拉斯金字塔融合算法进行改进,提出了一种具有多方 向联合平均的拉普拉斯金字塔算法。通过实验结果验证,融合效果有改进,能够有效地反映出 融合图像的边缘信息,具有丰富的背景细节特征。
本发明解决其技术问题所采用的技术方案包括以下步骤:
步骤1:使用拉普拉斯金字塔把输入图像进行多尺度分解得到二者的高低频子带系数;
步骤2:对于高频系数,采用提取多方向的特征图进行联合平均融合的规则,从而得到 融合图像的高频子带系数;
步骤3:低频系数,采用区域平均梯度自适应加权的融合规则,从而得到融合图像的低 频子带系数;
步骤4:通过拉普拉斯金字塔逆变换的重建过程得到融合图像。
进一步地,所述步骤1中使用拉普拉斯金字塔把输入图像进行多尺度分解得到二者的高 低频子带系数;如下式所示:
其中Gl-1表示源图像的第l层高斯金字塔图像,是通过高斯金字塔l层进行上采样并 高斯卷积得到的图像,Ll表示拉普拉斯金字塔的第l层图像。
进一步地,所述步骤2中对于高频系数,采用提取多方向的特征图进行联合平均融合的 规则;具体步骤为:
步骤2-1:源图像经过拉普拉斯金字塔变换后的高频子带信息卷积水平方向仿射矩阵, 垂直方向仿射矩阵,增强对角线矩阵来获得高频分量中取带有水平、垂直和对角线方向信息 的图像,如下式所示:
其中:为水平方向信息,为垂直方向信息,为主副对角线方向上信息,为水平方向仿射矩阵,为垂直方向仿射矩阵以及 为增强主副对角线矩阵。
步骤2-2:得到红外和可见光图像高频子带分量多方向信息后,每一层高频子带分量将 有四个方向上的信息。以l层为例,对红外和可见光图像l层分解得到的四个方向上的信息 分别对应进行联合平均,得到融合图像l层的高频子带的边界信息图像,将边界信息图像与 红外和可见光图像l层图像进行平均,得到最终的融合图像l层的高频子带图像,如下式所 示:
其中:红外和可见光图像水平方向联合平均图像;红外和可见光图像垂直方向 联合平均图像;红外和可见光图像主副对角线方向联合平均图像;L′l红外图像的 高频信息图像;Ll可见光图像高频信息图像,1≤l<N。
进一步地,所述步骤3中对于低频系数,采用区域平均梯度自适应加权的融合规则;如 下式所示:
其中:为可见光、红外图像低频系数图像的区域平均梯度,区域窗口大小 为M×N;p(i,j),q(i,j)为自适应加权系数,为融合后的低频系数。
进一步地,所述步骤4中通过拉普拉斯金字塔逆变换的重建过程得到融合图像。
本发明提出一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法,针对 传统的拉普拉斯金字塔融合方法不能够有效的反映出融合图像的边缘信息和对比度较差的问 题。本发明对拉普拉斯金字塔融合算法进行改进,提出了一种具有多方向联合平均的拉普拉 斯金字塔算法。通过实验结果验证,融合效果有改进,能够有效地反映出融合图像的边缘信息, 具有丰富的背景细节特征。
附图说明
图1是本发明的融合算法技术路线示意图;
具体实施方式
下面结合附图和实施例对本发明进一步说明,本发明包括但不仅限于下述实施例。
针对传统的拉普拉斯金字塔融合方法不能够有效的反映出融合图像的边缘信息和对比度 较差的问题。本发明对拉普拉斯金字塔融合算法进行改进,提出了一种具有多方向联合平均 的拉普拉斯金字塔算法,融合效果有改进,能够有效地反映出融合图像的边缘信息,具有丰 富的背景细节特征。本发明主要包括以下步骤:
A:使用拉普拉斯金字塔把输入图像进行多尺度分解得到二者的高低频子带系数;
B:对于高频系数,采用提取多方向的特征图进行联合平均融合的规则,从而得到融合图 像的高频子带系数;
C:低频系数,采用区域平均梯度自适应加权的融合规则,从而得到融合图像的低频子带 系数;
D:通过拉普拉斯金字塔逆变换的重建过程得到融合图像。
步骤A中输入图像分别为对同一个场景获取的可见光和红外图像,可见光图像中能够有 效地呈现出目标场景的背景信息,红外图像具有突出目标信息的优点,并且图像大小相同, 将输入图像进行拉普拉斯金字塔分解,将图像分解为高频子带信息和低频子带信息,图像的 拉普拉斯金字塔构成如公式(1)所示:
其中Gl-1表示源图像的第l层高斯金字塔图像,是通过高斯金字塔l层进行上采样并高斯 卷积得到的图像,Ll表示拉普拉斯金字塔的第l层图像。
步骤B对于高频系数,提取多方向的特征图进行联合平均融合的规则技术,在一定程度 上对融合后的图像的高频系数进行了边缘信息增强,具有丰富的背景细节特征。实现多方向 的特征图进行联合平均融合进一步包括:
B1:源图像经过拉普拉斯金字塔变换后的高频子带信息卷积水平方向仿射矩阵,垂直方 向仿射矩阵,增强对角线矩阵来获得高频分量中取带有水平、垂直和对角线方向信息的图像, 如公式(2)所示:
其中:为水平方向信息,为垂直方向信息,为主副对角线方向上信息,为水平方向仿射矩阵,为垂直方向仿射矩阵以及 为增强主副对角线矩阵。
B2:得到红外和可见光图像高频子带分量多方向信息后,每一层高频子带分量将有四个 方向上的信息。以l层为例,对红外和可见光图像l层分解得到的四个方向上的信息分别对 应进行联合平均,得到融合图像l层的高频子带的边界信息图像,将边界信息图像与红外和 可见光图像l层图像进行平均,得到最终的融合图像l层的高频子带图像,如公式(3)所示:
其中:红外和可见光图像水平方向联合平均图像;红外和可见光图像垂直方向 联合平均图像;红外和可见光图像主副对角线方向联合平均图像;L′l红外图像的 高频信息图像;Ll可见光图像高频信息图像,1≤l<N。
步骤C:中对于低频系数,采用区域平均梯度自适应加权的融合规则;获得区域平均梯 度特征如公式(4)所示,对得到的区域平均梯度自适应加权,实现方法如公式(5)所示:
其中:区域窗口大小为M×N,本次实施采取3×3的区域窗口。
其中:为可见光、红外图像低频系数图像的区域平均梯度,区域窗口大小 为M×N;p(i,j),q(i,j)为自适应加权系数,为融合后的低频系数。
步骤D:通过拉普拉斯金字塔逆变换的重建过程得到融合图像,拉普拉斯金字塔的重构是 将融合后的拉普拉斯金字塔的每一层的图像进行内插放大,经过若干次放大后变为大小与原 始输入图像相同的图像,然后进行像素级的加法运算,得以重构。
本发明所讲述的方法与其他方法相比,含有更加丰富的细节,更高的清晰度并且具有令人 满意的运行速度。本专利的实验采用两组经典图像作为源图像,结果测量是利用传统的图像 质量评价标准:信息熵(Information Entropy,H)、峰值信噪比(Peak Signalto Noise Ratio, PSNR)、标准差(Standard Deviation,STD)、平均梯度(Averagegradient,AG)、结构相 似性(Structural Similarity,SSIM)。与基于拉普拉斯变换的区域互信息量、匹配度以及 区域能量的图像融合算法(简称为:LP_A)、基于拉普拉斯变换像素的融合算法即高频采用 取最大值方法,低频采用取平均值方法(简称为:LP_B)、基于离散小波变换(简称为:DWT)、 NSCT变换及低通金字塔变换(RP)进行比较。实验结果如表1、表2所示,本发明提出的算 法在各项指标上都有良好的表现,表明融合图像清晰度及与源图像相似性较高,该算法能够 有效地突出红外图像的目标信息和保留可见光图像的边缘细节。
表1 第一组源图像:
表2第二组源图像:

Claims (5)

1.一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法,其特征在于,包括:
步骤1:使用拉普拉斯金字塔把输入图像进行多尺度分解得到二者的高低频子带系数;
步骤2:对于高频系数,采用提取多方向的特征图进行联合平均融合的规则,从而得到融合图像的高频子带系数;
步骤3:低频系数,采用区域平均梯度自适应加权的融合规则,从而得到融合图像的低频子带系数;
步骤4:通过拉普拉斯金字塔逆变换的重建过程得到融合图像。
2.如权利要求1所述的一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法,其特征在于所述步骤1中使用拉普拉斯金字塔把输入图像进行多尺度分解得到二者的高低频子带系数;如下式所示:
其中Gl-1表示源图像的第l层高斯金字塔图像,是通过高斯金字塔l层进行上采样并高斯卷积得到的图像,Ll表示拉普拉斯金字塔的第l层图像。
3.如权利要求1所述的一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法,其特征在于所述步骤2中对于高频系数,采用提取多方向的特征图进行联合平均融合的规则;具体步骤为:
步骤2-1:源图像经过拉普拉斯金字塔变换后的高频子带信息卷积水平方向仿射矩阵,垂直方向仿射矩阵,增强对角线矩阵来获得高频分量中取带有水平、垂直和对角线方向信息的图像,如下式所示:
其中:为水平方向信息,为垂直方向信息,为主副对角线方向上信息,为水平方向仿射矩阵,为垂直方向仿射矩阵以及 为增强主副对角线矩阵。
步骤2-2:得到红外和可见光图像高频子带分量多方向信息后,每一层高频子带分量将有四个方向上的信息。以l层为例,对红外和可见光图像l层分解得到的四个方向上的信息分别对应进行联合平均,得到融合图像l层的高频子带的边界信息图像,将边界信息图像与红外和可见光图像l层图像进行平均,得到最终的融合图像l层的高频子带图像,如下式所示:
其中:红外和可见光图像水平方向联合平均图像;红外和可见光图像垂直方向联合平均图像;红外和可见光图像主副对角线方向联合平均图像;L′l红外图像的高频信息图像;Ll可见光图像高频信息图像,1≤l<N。
4.如权利要求1所述的一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法,其特征在于所述步骤3中对于低频系数,采用区域平均梯度自适应加权的融合规则;如下式所示:
其中:为可见光、红外图像低频系数图像的区域平均梯度,区域窗口大小为M×N;p(i,j),q(i,j)为自适应加权系数,为融合后的低频系数。
5.如权利要求1所述的一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法,其特征在于所述步骤4中通过拉普拉斯金字塔逆变换的重建过程得到融合图像。
CN201811127118.5A 2018-09-26 2018-09-26 一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法 Pending CN109670522A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811127118.5A CN109670522A (zh) 2018-09-26 2018-09-26 一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811127118.5A CN109670522A (zh) 2018-09-26 2018-09-26 一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法

Publications (1)

Publication Number Publication Date
CN109670522A true CN109670522A (zh) 2019-04-23

Family

ID=66142018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811127118.5A Pending CN109670522A (zh) 2018-09-26 2018-09-26 一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法

Country Status (1)

Country Link
CN (1) CN109670522A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210541A (zh) * 2019-05-23 2019-09-06 浙江大华技术股份有限公司 图像融合方法及设备、存储装置
CN110751189A (zh) * 2019-09-26 2020-02-04 北京航空航天大学 一种基于感知对比度和特征选择的椭圆检测方法
CN111080724A (zh) * 2019-12-17 2020-04-28 大连理工大学 一种红外和可见光的融合方法
CN111462028A (zh) * 2020-03-16 2020-07-28 中国地质大学(武汉) 基于相位一致性和目标增强的红外和可见光图像融合方法
CN111667516A (zh) * 2020-06-05 2020-09-15 北京环境特性研究所 基于拉普拉斯金字塔分解结构的红外偏振信息融合方法
CN112396572A (zh) * 2020-11-18 2021-02-23 国网浙江省电力有限公司电力科学研究院 基于特征增强和高斯金字塔的复合绝缘子双光融合方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408700A (zh) * 2014-11-21 2015-03-11 南京理工大学 基于形态学和pca的轮廓波红外与可见光图像融合方法
CN104835130A (zh) * 2015-04-17 2015-08-12 北京联合大学 一种多曝光图像融合方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104408700A (zh) * 2014-11-21 2015-03-11 南京理工大学 基于形态学和pca的轮廓波红外与可见光图像融合方法
CN104835130A (zh) * 2015-04-17 2015-08-12 北京联合大学 一种多曝光图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAO RUN 等: "Multi-directional Laplacian pyramid image fusion algorithm", 《2018 3RD INTERNATIONAL CONFERENCE ON MECHANICAL, CONTROL AND COMPUTER ENGINEERING》 *
李贺等: "一种改进的基于多尺度变换的红外和可见光图像融合算法", 《半导体光电》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110210541A (zh) * 2019-05-23 2019-09-06 浙江大华技术股份有限公司 图像融合方法及设备、存储装置
CN110751189A (zh) * 2019-09-26 2020-02-04 北京航空航天大学 一种基于感知对比度和特征选择的椭圆检测方法
CN110751189B (zh) * 2019-09-26 2022-02-22 北京航空航天大学 一种基于感知对比度和特征选择的椭圆检测方法
CN111080724A (zh) * 2019-12-17 2020-04-28 大连理工大学 一种红外和可见光的融合方法
WO2021120404A1 (zh) * 2019-12-17 2021-06-24 大连理工大学 一种红外和可见光的融合方法
CN111080724B (zh) * 2019-12-17 2023-04-28 大连理工大学 一种红外和可见光的融合方法
US11823363B2 (en) 2019-12-17 2023-11-21 Dalian University Of Technology Infrared and visible light fusion method
CN111462028A (zh) * 2020-03-16 2020-07-28 中国地质大学(武汉) 基于相位一致性和目标增强的红外和可见光图像融合方法
CN111462028B (zh) * 2020-03-16 2023-06-27 中国地质大学(武汉) 基于相位一致性和目标增强的红外和可见光图像融合方法
CN111667516A (zh) * 2020-06-05 2020-09-15 北京环境特性研究所 基于拉普拉斯金字塔分解结构的红外偏振信息融合方法
CN112396572A (zh) * 2020-11-18 2021-02-23 国网浙江省电力有限公司电力科学研究院 基于特征增强和高斯金字塔的复合绝缘子双光融合方法
CN112396572B (zh) * 2020-11-18 2022-11-01 国网浙江省电力有限公司电力科学研究院 基于特征增强和高斯金字塔的复合绝缘子双光融合方法

Similar Documents

Publication Publication Date Title
CN109670522A (zh) 一种基于多方向性拉普拉斯金字塔的可见光图像与红外图像融合方法
Zhang et al. Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity
CN107492070B (zh) 一种双通道卷积神经网络的单图像超分辨率计算方法
CN104809734B (zh) 一种基于引导滤波的红外图像与可见光图像融合的方法
CN104282007B (zh) 基于非采样的轮廓波变换自适应的医学图像融合方法
CN107451984A (zh) 一种基于混合多尺度分析的红外与可见光图像融合算法
CN104408700A (zh) 基于形态学和pca的轮廓波红外与可见光图像融合方法
CN108765280A (zh) 一种高光谱图像空间分辨率增强方法
Suganya et al. Survey on image enhancement techniques
CN101231748A (zh) 基于奇异值分解的图像融合方法
Singh et al. Review of various image fusion algorithms and image fusion performance metric
CN109308691A (zh) 基于图像增强与nsct的红外和可见光图像融合方法
CN109636766A (zh) 基于边缘信息增强的偏振差分与光强图像多尺度融合方法
Mao et al. Multi-directional laplacian pyramid image fusion algorithm
CN104504672B (zh) 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
CN105825491A (zh) 一种基于混合模型的图像融合方法
CN106254720B (zh) 一种基于联合正则化的视频超分辨率重建方法
Li et al. Low illumination video image enhancement
CN109961408A (zh) 基于nsct和块匹配滤波的光子计数图像去噪算法
CN103607589A (zh) 像素域内基于层次选择性视觉注意力机制的图像jnd阈值计算方法
CN115457359A (zh) 基于自适应对抗生成网络的pet-mri图像融合方法
CN102222321A (zh) 一种视频序列盲重建方法
CN109472762A (zh) 基于nsct和非线性增强的红外双波段图像融合算法
Tang et al. Curvature-based real-time brightness adjustment for ultra hd video
Kannan et al. Optimal decomposition level of discrete wavelet transform for pixel based fusion of multi-focused images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
DD01 Delivery of document by public notice

Addressee: Mao Run

Document name: Deemed withdrawal notice

DD01 Delivery of document by public notice
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190423

WD01 Invention patent application deemed withdrawn after publication