CN107451986B - 一种基于融合技术的单幅红外图像增强方法 - Google Patents
一种基于融合技术的单幅红外图像增强方法 Download PDFInfo
- Publication number
- CN107451986B CN107451986B CN201710678831.8A CN201710678831A CN107451986B CN 107451986 B CN107451986 B CN 107451986B CN 201710678831 A CN201710678831 A CN 201710678831A CN 107451986 B CN107451986 B CN 107451986B
- Authority
- CN
- China
- Prior art keywords
- fusion
- source
- infrared
- image
- constructing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明提供了一种基于融合技术的单幅红外图像增强方法,步骤包括:基于单幅红外图像构建出多个富含不同有效分量的融合源;对各融合源中的有效分量进行逐像素识别并分别构建融合权重图;为各融合源及相应融合权重图分别构建拉普拉斯金字塔模型并以分层融合的形式合成出增强后的图像。本文所提方法不仅可以凸显高热辐射区域,同时也有效恢复出了低热辐射区域的场景细节,且通过构建信息量权重图和显著性权重图,可以在有效保持图像结构的同时有效勾勒出重要场景细节的边缘特征。
Description
技术领域
本发明涉及一种图像增强方法,尤其是一种基于融合技术的单幅红外图像增强方法。
背景技术
红外成像技术已被广泛地应用于目标识别、目标跟踪、遥感成像、安全监控和智能交通等军用和民用领域中。然而,受背景热辐射、传感设备噪声以及热辐射传输衰减等因素的影响,所获取的红外图像往往会显著降质,具体表现为图像信噪比降低、对比度衰减、结构及纹理细节信息丢失、动态范围压缩等,而这极大的制约了后期处理系统的有效性。因此,对红外图像进行增强处理,从而消除红外图像中的负面效应并恢复出清晰图像具有极为重要的现实意义。
发明内容
本发明要解决的技术问题是现有的红外图像采集过程中常常受背景热辐射、传感设备噪声以及热辐射传输衰减等因素的影响,所获取的红外图像往往会显著降质。
为了解决上述技术问题,本发明提供了一种基于融合技术的单幅红外图像增强方法,包括如下步骤:
步骤1,基于单幅红外图像构建出多个富含不同有效分量的融合源;
步骤2,对各融合源中的有效分量进行逐像素识别并分别构建融合权重图;
步骤3,为各融合源及相应融合权重图分别构建拉普拉斯金字塔模型并以分层融合的形式合成出增强后的图像。
作为本发明的进一步限定方案,步骤1中,基于单幅红外图像构建出多个富含不同有效分量的融合源的具体步骤为:
步骤1.1,读入目标红外图像IInfrared(x,y),并定义Fi(x,y)为第i个融合源;
步骤1.2,将读入的目标红外图像IInfrared(x,y)作为第一个融合源,即将IInfrared(x,y)赋值给F1(x,y);
步骤1.3,利用直方图均衡法对目标红外图像IInfrared(x,y)进行调节,从而生成第二个融合源,即将HE(IInfrared(x,y))赋值给F2(x,y),HE(·)表示进行直方图均衡操作;
步骤1.4,将目标红外图像IInfrared(x,y)进行反转获得Ireverse(x,y)=1-Iinfrared(x,y),再基于Retinex模型对Ireverse(x,y)进行分解获得Ireverse(x,y)=Rreverse(x,y)·Lreverse(x,y),其中,Rreverse(x,y)为反射图,Lreverse(x,y)为入射图,又由于因此可计算得到反射图再将反射图Rreverse(x,y)进行反转,获得目标红外图像IInfrared(x,y)的反射图为RInfrared(x,y)=1-Rreverse(x,y),在获得目标红外图像IInfrared(x,y)的反射图RInfrared(x,y)后,将反射图RInfrared(x,y)设置为第三个融合源为F3(x,y)=RInfrared(x,y)。
作为本发明的进一步限定方案,步骤2中,对各融合源中的有效分量进行逐像素识别并分别构建融合权重图的具体步骤为:
步骤2.1,构建各融合源的信息量子权重图,融合源的信息量子权重图的构建过程表示为:
其中,Wi C(x,y)为融合源Fi(x,y)所对应的信息量权重图,(x',y')为以像素索引(x,y)为中心的邻域Λ(x,y)中的像素,为Λ(x,y)中像素强度的均值,为Λ(x,y)中像素强度的中位值;
步骤2.2,构建各融合源的显著性子权重图,显著性子权重图的构建过程表示为:
Wi S(x,y)=||blur(Fi(x,y))-mean(Fi(x,y))||
其中,Wi S(x,y)为融合源Fi(x,y)所对应的显著性子权重图,mean(Fi(x,y))为融合源的全局均值,blur(Fi(x,y))为经导向滤波后所得到融合源;
步骤2.3,构建融合权重图为:
作为本发明的进一步限定方案,步骤3中,为各融合源及相应融合权重图分别构建拉普拉斯金字塔模型并以分层融合的形式合成出增强后的图像的具体步骤为:
其中,Source为待分解目标图像,即融合源Fi(x,y)和相应的融合权重图decompose(·)为基于高斯模糊核的下采样分解操作,为所构建的高斯金字塔中的各层分量,利用构建的高斯金字塔模型将融合源Fi(x,y)和相应的融合权重图分解成高斯金字塔模型;
步骤3.2,利用构建出的高斯金字塔再次构建拉普拉斯金字塔模型,具体过程为:
本发明的有益效果在于:本文所提方法不仅可以凸显高热辐射区域,同时也有效恢复出了低热辐射区域的场景细节。而且,通过构建信息量权重图和显著性权重图,可以在有效保持图像结构的同时有效勾勒出重要场景细节的边缘特征。具体的,在步骤1.1和1.2中通过选择原始输入图像作为第一个融合源,以确保融合所得图像可以最大程度的保持原图像的基本结构;在步骤1.3中利用直方图均衡技术有效凸显出原本湮没在背景热辐射中的低频结构信息,从而勾勒出背景中所包含的纹理细节;在步骤1.4中不使用任何滤波技术,从而在保持图像的基本结构及低频分量的前提下,获得一个富含高频分量的融合源;在步骤2.1中依据信息量特征对各融合源进行逐像素识别,即依据融合源中像素和其邻域中像素的差异度来估计出各融合源中每个像素的信息量融合子权重,从而获得各融合源的信息量子权重图;在步骤2.2中依据显著性特征对各融合源进行逐像素识别,即依据融合源中像素相对于其所在邻域中其他像素的重要程度来估计出各融合源中每个像素的显著性融合子权重,从而获得各融合源的显著性子权重图;在步骤2.3中依据各融合源的信息量子权重图和显著性子权重图,构建出各融合源的合权重图,在此过程中,通过对各子权重图进行正则化来平衡各融合源在融合所得图像中的成分比例,同时保证所得融合权重值在一个合理范围内(不溢出上下界);在步骤3.1和3.2中利用金字塔分解技术将各融合源及相关融合权重图分解为不同的频域分量,从而分解出各融合源中蕴含的有效成分及负面成分;在步骤3.3和3.4中利用融合权重图的金字塔模型对融合源模型中的不同的频域分量进行有效调控,即在凸显出其中的有效成分的同时抑制其中的负面成分,从而获得增强后的红外图像的金字塔模型;在步骤3.5中对增强后的红外图像的金字塔模型进行重构,从而获得增强后的红外图像。
附图说明
图1为本发明的单幅红外图像增强方法处理流程图;
图2为待增强红外图像;
图3为Barnard方法增强效果;
图4为Dong方法增强效果;
图5为Ashiba方法增强效果;
图6为本发明增强效果。
具体实施方式
为更有效的提升红外图像的整体视觉效果并凸显其中的场景细节,本发明提出了一个基于融合技术的单幅红外图像增强方法。首先,基于单幅红外图像构建出多个富含不同有效分量的融合源。然后,对各融合源中的分量进行逐像素识别并分别构建融合权重图。最后,为各融合源及相应融合权重图分别构建拉普拉斯金字塔模型,并以分层融合的形式合成出增强后的图像。主观及客观对比实验结果证明了本算法具有良好的鲁棒性,及在视觉效果增强、有效信息增益方面的优势。具体方法流程如图1所示,其包括如下步骤:
第一步:基于单幅红外图像构建出多个富含不同有效分量的融合源,具体为:
1)读入红外图像IInfrared(x,y),并定义Fi(x,y)表示第i个融合源,选择目标红外图像IInfrared(x,y)作为第一个融合源,即:F1(x,y)←IInfrared(x,y);
2)选择直方图均衡技术来对目标红外图像进行调节,从而生成第二个融合源,即:F2(x,y)←HE(IInfrared(x,y)),其中,HE(·)为直方图均衡操作;
3)将目标红外图像IInfrared(x,y)进行反转:Ireverse(x,y)=1-Iinfrared(x,y),然后,基于Retinex模型对Ireverse(x,y)进行分解:
Ireverse(x,y)=Rreverse(x,y)·Lreverse(x,y) (1)
其中,Rreverse(x,y)是反射图,Lreverse(x,y)是入射图,进而可知:
将公式(2)代入公式(1)可以得到反射图如下:
将反射图Rreverse(x,y)进行反转,可以获得目标红外图像的反射图如下:
RInfrared(x,y)←1-Rreverse(x,y) (4)
在获得红外图像反射图后,将其设置为第三个融合源:F3(x,y)←RInfrared(x,y)。
第二步:各融合源中的分量进行逐像素识别并分别构建融合权重图,首先,引入两个重要图像评价指标(信息量和显著性)对各融合源进行逐像素识别,并据此构建信息量子权重图和显著子权重图。然后,通过对各子权重图进行正则化来平衡各融合源在融合所得图像中的成分比例,从而获得各融合源相应的融合权重图。具体构建过程如下:
1)构建各融合源的信息量子权重图,通常来说,像素与其邻域内各像素的差异越大该像素所描述的是纹理细节的可能性越大,所包含的信息量越大,所以应该赋予较大的融合权重值。依据此思想,融合源信息量子权重图的构建过程可以表示为:
其中,Wi C(x,y)是融合源Fi(x,y)所对应的信息量权重图,(x',y')是以像素索引(x,y)为中心的邻域Λ(x,y)中的像素,是Λ(x,y)中像素强度的均值,是Λ(x,y)中像素强度的中位值;
2)构建各融合源的显著性子权重图,依据显著性构建融合权重图可以在不引入噪声的前提下有效凸显出各融合源中的重要部分。显著性子权重图的构建过程可以表示为:
Wi S(x,y)=||blur(Fi(x,y))-mean(Fi(x,y))|| (6)
其中,Wi S(x,y)是融合源Fi(x,y)所对应的显著性子权重图,mean(Fi(x,y))是融合源的全局均值,blur(Fi(x,y))是经导向滤波后所得到融合源;
3)构建融合权重图,构建融合权重图为:
第三步:为各融合源及相应融合权重图分别构建拉普拉斯金字塔模型,并以分层融合的形式合成出增强后的图像,具体为:
其中,Source是待分解目标图像(即融合源Fi(x,y)和相应的融合图),decompose(·)是基于高斯模糊核的下采样分解操作,是所构建的高斯金字塔中的各层分量,利用公式(8),可以将融合源Fi(x,y)和相应的融合图分解成高斯金字塔模型。
2)利用构建出的高斯金字塔再次构建拉普拉斯金字塔模型,具体过程如下:
其中,expand(·)是插值放大算子。由公式(9)可以看出,利用高斯金字塔模型可以直接构建出相应的拉普拉斯金字塔模型。将融合源Fi(x,y)所对应的拉普拉斯金字塔模型记为:融合图所对应的拉普拉斯金字塔模型记为:
5)对融合后图像所对应的金字塔模型进行重构,从而最终获得融合后图像Ifusion(x,y),即:
为进一步验证本发明的优势,选取4幅具有挑战性的红外图像作为实验图像,并与现有的三类主流算法(基于Retinex理论的Barnard方法、基于深度学习的Dong方法、基于小波变换的Ashiba方法)分别进行主观和客观对比。
从图2-6可以看出,本发明不仅可以凸显高热辐射区域,同时也有效恢复出了低热辐射区域的场景细节。而且,通过构建信息量权重图和显著性权重图,可以在有效保持图像结构的同时有效勾勒出重要场景细节的边缘特征。其中,图2为待增强红外图像,图3为Barnard方法增强效果,图4为Dong方法增强效果,图5为Ashiba方法增强效果,图6为本发明增强效果。
为了客观评价本文算法并与对比算法进行比较,本文采用了三个经典的评价指标,包括:新增可见边比E,平均对比度增益R和清晰度指标FADE。依据文献可知,指标E用于量化增强后新增的可见边的比例,指标R用于评估增强算法所获得的平均对比度增益。现有技术中所提出的指标FADE是用来检测图像中场景细节被遮蔽的程度,因此也可以用来评价相应增强方法剥离负面效应的能力,即图像的清晰度。一般来说,较大的E值和R值可以验证对应算法具有较好的视觉效果增强、纹理细节凸显和噪声放大效应抑制能力,而较小的FADE值则可以证明相应增强结果更为清晰。在表1中,给出了各算法对图2-6的增强效果的各项指标值。
表1新增可见边比对比结果
E | Barnard方法 | Dong方法 | Ashiba方法 | 本发明方法 |
图2-6 | 0.02 | 0.57 | -0.67 | 6.39 |
从表1中可以看出,本发明对全部图像取得了最高的E值,这证明了本发明不仅可以有效增强原有的场景细节,而且也揭示了湮没在背景中的场景细节,同时准确勾勒出了场景细节的有效边缘结构。另外,本发明对全部图像取得了最高的R值,这证明了本发明具有较好的视觉效果增强能力,而且具备了较强的信息增益能力。从主观对比试验结果中可以看出,本发明所增强的图像具有较好的清晰度。综上,本发明在视觉效果增强及有效信息增益方面均优于对比方法。
Claims (2)
1.一种基于融合技术的单幅红外图像增强方法,其特征在于,包括如下步骤:
步骤1,基于单幅红外图像构建出多个富含不同有效分量的融合源;
步骤2,对各融合源中的有效分量进行逐像素识别并分别构建融合权重图;
步骤3,为各融合源及相应融合权重图分别构建拉普拉斯金字塔模型并以分层融合的形式合成出增强后的图像;
步骤1中,基于单幅红外图像构建出多个富含不同有效分量的融合源的具体步骤为:
步骤1.1,读入目标红外图像IInfrared(x,y),并定义Fi(x,y)为第i个融合源;
步骤1.2,将读入的目标红外图像IInfrared(x,y)作为第一个融合源,即将IInfrared(x,y)赋值给F1(x,y);
步骤1.3,利用直方图均衡法对目标红外图像IInfrared(x,y)进行调节,从而生成第二个融合源,即将HE(IInfrared(x,y))赋值给F2(x,y),HE(·)表示进行直方图均衡操作;
步骤1.4,将目标红外图像IInfrared(x,y)进行反转获得Ireverse(x,y)=1-IInfrared(x,y),再基于Retinex模型对Ireverse(x,y)进行分解获得Ireverse(x,y)=Rreverse(x,y)·Lreverse(x,y),其中,Rreverse(x,y)为反射图,Lreverse(x,y)为入射图,又由于 因此可计算得到反射图 再将反射图Rreverse(x,y)进行反转,获得目标红外图像IInfrared(x,y)的反射图为RInfrared(x,y)=1-Rreverse(x,y),在获得目标红外图像IInfrared(x,y)的反射图RInfrared(x,y)后,将反射图RInfrared(x,y)设置为第三个融合源为F3(x,y)=RInfrared(x,y);
步骤2中,对各融合源中的有效分量进行逐像素识别并分别构建融合权重图的具体步骤为:
步骤2.1,构建各融合源的信息量子权重图,融合源的信息量子权重图的构建过程表示为:
其中,Wi C(x,y)为融合源Fi(x,y)所对应的信息量权重图,(x′,y′)为以像素索引(x,y)为中心的邻域Λ(x,y)中的像素,为Λ(x,y)中像素强度的均值,为Λ(x,y)中像素强度的中位值;
步骤2.2,构建各融合源的显著性子权重图,显著性子权重图的构建过程表示为:
Wi S(x,y)=||blur(Fi(x,y))-mean(Fi(x,y))||
其中,Wi S(x,y)为融合源Fi(x,y)所对应的显著性子权重图,mean(Fi(x,y))为融合源的全局均值,blur(Fi(x,y))为经导向滤波后所得到融合源;
步骤2.3,构建融合权重图为:
2.根据权利要求1所述的基于融合技术的单幅红外图像增强方法,其特征在于,步骤3中,为各融合源及相应融合权重图分别构建拉普拉斯金字塔模型并以分层融合的形式合成出增强后的图像的具体步骤为:
其中,Source为待分解目标图像,即融合源Fi(x,y)和相应的融合权重图decompose(·)为基于高斯模糊核的下采样分解操作,为所构建的高斯金字塔中的各层分量,利用构建的高斯金字塔模型将融合源Fi(x,y)和相应的融合权重图分解成高斯金字塔模型;
步骤3.2,利用构建出的高斯金字塔再次构建拉普拉斯金字塔模型,具体过程为:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710678831.8A CN107451986B (zh) | 2017-08-10 | 2017-08-10 | 一种基于融合技术的单幅红外图像增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710678831.8A CN107451986B (zh) | 2017-08-10 | 2017-08-10 | 一种基于融合技术的单幅红外图像增强方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107451986A CN107451986A (zh) | 2017-12-08 |
CN107451986B true CN107451986B (zh) | 2020-08-14 |
Family
ID=60491954
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710678831.8A Active CN107451986B (zh) | 2017-08-10 | 2017-08-10 | 一种基于融合技术的单幅红外图像增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107451986B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110175962B (zh) * | 2019-05-22 | 2023-02-10 | 南京信息职业技术学院 | 一种基于区域显著性识别的红外图像增强方法 |
CN110175972B (zh) * | 2019-05-29 | 2023-02-14 | 南京信息职业技术学院 | 一种基于透射图融合的红外图像增强方法 |
CN111080538B (zh) * | 2019-11-29 | 2022-08-16 | 中国电子科技集团公司第五十二研究所 | 一种红外融合边缘增强方法 |
CN115409754B (zh) * | 2022-11-02 | 2023-03-24 | 深圳深知未来智能有限公司 | 一种基于图像区域有效性的多曝光图像融合方法及系统 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8411938B2 (en) * | 2007-11-29 | 2013-04-02 | Sri International | Multi-scale multi-camera adaptive fusion with contrast normalization |
US8670630B1 (en) * | 2010-12-09 | 2014-03-11 | Google Inc. | Fast randomized multi-scale energy minimization for image processing |
CN105809640B (zh) * | 2016-03-09 | 2019-01-22 | 长春理工大学 | 基于多传感器融合的低照度视频图像增强方法 |
CN106296616B (zh) * | 2016-08-18 | 2019-01-29 | 中国航空工业集团公司洛阳电光设备研究所 | 一种红外图像细节增强方法和一种红外图像细节增强装置 |
CN106780404B (zh) * | 2017-02-14 | 2019-10-29 | 青岛浦利医疗技术有限公司 | 图像增强方法、装置及血管显像设备 |
CN106971379A (zh) * | 2017-03-02 | 2017-07-21 | 天津大学 | 一种基于分层加权融合的水下图像增强方法 |
-
2017
- 2017-08-10 CN CN201710678831.8A patent/CN107451986B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN107451986A (zh) | 2017-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Robust image and video dehazing with visual artifact suppression via gradient residual minimization | |
Wang et al. | Noise detection and image denoising based on fractional calculus | |
WO2021217643A1 (zh) | 红外图像处理方法、装置及可移动平台 | |
Zhou et al. | Retinex-based laplacian pyramid method for image defogging | |
Yang et al. | Image denoising using nonsubsampled shearlet transform and twin support vector machines | |
CN107451986B (zh) | 一种基于融合技术的单幅红外图像增强方法 | |
US20160063684A1 (en) | Method and device for removing haze in single image | |
CN111080538B (zh) | 一种红外融合边缘增强方法 | |
Liu et al. | Single nighttime image dehazing based on image decomposition | |
CN113837974B (zh) | 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法 | |
CN104574293A (zh) | 基于有界运算的多尺度Retinex图像清晰化算法 | |
Tan et al. | Multipoint filtering with local polynomial approximation and range guidance | |
Zhang et al. | Decision-based non-local means filter for removing impulse noise from digital images | |
CN104272347A (zh) | 去除包含在静止图像中的雾的图像处理装置及其方法 | |
Shu et al. | Alternating minimization algorithm for hybrid regularized variational image dehazing | |
CN110796616A (zh) | 基于分数阶微分算子的l0范数约束和自适应加权梯度的湍流退化图像恢复方法 | |
Lim et al. | Robust contrast enhancement of noisy low-light images: Denoising-enhancement-completion | |
Xu et al. | A novel variational model for detail-preserving low-illumination image enhancement | |
Sandeep | Remote sensing image dehazing using guided filter | |
Zou et al. | Image haze removal algorithm using a logarithmic guide filtering and multi-channel prior | |
Ziou et al. | Reducing aliasing in images: a PDE-based diffusion revisited | |
Wang et al. | Rapid nighttime haze removal with color-gray layer decomposition | |
CN111899200B (zh) | 一种基于3d滤波的红外图像增强方法 | |
Negru et al. | Exponential image enhancement in daytime fog conditions | |
Peng et al. | Detail enhancement for infrared images based on propagated image filter |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220425 Address after: 210000 Room 401, building 01, 108 ganjiabian East, Yaohua street, Nanjing, Jiangsu Patentee after: Nanjing Yunkai Data Technology Co.,Ltd. Address before: No.99 Wenlan Road, Xianlin University Town, Qixia District, Nanjing City, Jiangsu Province Patentee before: NANJING College OF INFORMATION TECHNOLOGY |