CN106204509B - 基于区域特性的红外与可见光图像融合方法 - Google Patents

基于区域特性的红外与可见光图像融合方法 Download PDF

Info

Publication number
CN106204509B
CN106204509B CN201610532153.XA CN201610532153A CN106204509B CN 106204509 B CN106204509 B CN 106204509B CN 201610532153 A CN201610532153 A CN 201610532153A CN 106204509 B CN106204509 B CN 106204509B
Authority
CN
China
Prior art keywords
image
region
target
infrared
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610532153.XA
Other languages
English (en)
Other versions
CN106204509A (zh
Inventor
孟繁杰
石瑞霞
单大龙
王彦龙
曾萍萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Electronic Science and Technology
Original Assignee
Xian University of Electronic Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Electronic Science and Technology filed Critical Xian University of Electronic Science and Technology
Priority to CN201610532153.XA priority Critical patent/CN106204509B/zh
Publication of CN106204509A publication Critical patent/CN106204509A/zh
Application granted granted Critical
Publication of CN106204509B publication Critical patent/CN106204509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明属于图像处理技术领域，涉及一种基于区域特性的红外与可见光图像融合方法，包括对红外图像A进行处理得到红外增强图像A1；对场景进行区域划分得区域划分图C，并通过图C对红外增强图像A1、可见光图像B和红外图像A进行区域映射；对可见光图像B、红外图像A、红外增强图像A1分别进行NSCT变换，得到原图像各个子区域的高低频系数；对得到的不同子区域采用不同的融合方法进行融合；对分区域融合后的图像进行NSCT反变换得最终融合图像五个步骤；该基于图像区域特性的红外与可见光图像融合方法，能够避免干扰区域，完整地提取目标区域，既有效地保留了红外目标，又有效地获取了原图像的空间域信息，得到了较好的融合效果。

Description

基于区域特性的红外与可见光图像融合方法
技术领域
本发明属于图像处理技术领域，涉及一种基于区域特性的红外与可见光图像融合方法。
背景技术
图像融合是将来源于同一场景，且性质不同的两幅或多幅图像通过采取某种方法提取每幅图像中我们所需要的信息，最终融合成一副可以清晰、准确地表达场景信息的图像。近年来图像融合技术越来越成为一个研究热点，他在军事、医学、目标跟踪等方面均得到了广泛的应用。
红外图像的获得主要是根据目标物和场景物体的红外辐射的空间分布，而可见光的获取是根据物体对光的反射，因此在夜间或条件恶劣的气候下红外图像目标呈现的较好，但分辨率低、视觉效果模糊，而可见光图像的获得主要靠物体对光的反射能力，在同一场景可见光图像具有识别目标能力较弱而对场景成像清晰度较高的特点，因此要得到一副有目标且场景分辨率较高的图像，我们就要进行两者融合，充分利用两者的互补信息，使得我们可以准确得到目标的位置和清晰的场景。
目前，传统的方法主要是基于像素级融合，如：金字塔变换，小波变换，轮廓波变换和非下采样轮廓波变换(NSCT)等，这些方法将源图像分解为多个尺度的图像，并对每个尺度设计融合规则进行融合，最后再进行反变换得最终融合图像，这样只进行了多分辨率分析，没有对源图像进行区域特性分析，而且采用简单、一致的融合规则会使最终融合图像的目标与场景区域对比度降低，不能较好地保留红外图像的目标信息，而且场景分辨率也较低，容易导致融合图像失真。
随后研究者又提出基于区域的融合方法，虽然基于区域融合相比基于像素级融合在视觉特征和细节上有所提升，但还是有所缺陷，如：提出一种基于相似度的区域融合，该方法相对于像素级融合效果虽然有所提升，但是此方法的区域映射图依赖初始融合规则，初始融合结果的好坏决定区域映射图的划分；还有基于目标区域提取融合方法，这种将目标与背景分开来融合，可以较好地保留红外图像的目标特性，但它只考虑了红外的目标区域且只考虑了红外单目标情况，也没有考虑可见光图像场景的区域特性，因此得到的融合图像虽然凸显了目标，但是场景模糊，分辨率不高。因此要想获得较好的融合效果，必须同时考虑红外图像和可见光图像的区域特性。
发明内容
本发明的目的是克服现有图像融合技术在融合过程中进行目标区域融合存在场景区域干扰，使得提取目标不够完善引入少量的场景区域，提出了一种能够提出完整目标且避免干扰区域的引入的图像处理方法。
为此，本发明提供了一种基于区域特性的红外与可见光图像融合方法，包括如下步骤：
步骤1：对红外图像A进行处理得到红外增强图像A1；
步骤2：对场景进行区域划分得到区域划分图C，并通过图C分别对红外增强图像A1、可见光图像B和红外图像A进行区域映射；所述红外图像A1结合所述红外图像A利用区域生长和引导滤波得到目标区域；所述可见光图像B通过其梯度值对比得到平滑区域、纹理区域；目标区域、平滑区域和纹理区域联合得到区域划分图C；通过区域划分图C对图A1进行区域映射得到目标区域oA1；通过区域划分图C对图B进行区域映射得到目标区域oB、平滑区域sB和纹理区域tB；通过区域划分图C对图A进行区域映射得到平滑区域sA和纹理区域tA；
步骤3：对可见光图像B、红外图像A、红外增强图像A1分别进行NSCT变换，得到各个子区域的高低频系数；
步骤4：对步骤3得到的各个子区域进行高低频系数融合；
步骤5：对步骤4分区域融合后的高低频系数进行NSCT反变换得最终融合图像。
所述对红外图像进行处理得到红外增强图像，方法如下：
其中， u＝mean(A)*t
式中，A1(i,j)为增强后的图像像素点灰度值，t为常系数取值范围为1<t<2，A(i,j)为原红外线图像像素点位于(i,j)处的灰度值。
所述红外增强图像A1结合红外图像A利用区域生长和引导滤波，进行目标提取，得到目标区域包括如下步骤：
步骤(1)：在红外图像A中根据下述公式(2)选取种子点集合Z：
Z＝{A(i,j)|A(i,j)>M-AV/8} (2)
式中，A(i,j)为图像A位于(i,j)处的灰度值，M为图像A中像素点的灰度最大值，AV为图像A中像素点的灰度平均值；
步骤(2)：把红外增强图像A1中与红外图像A中的种子点对应的点作为A1中的种子点并得到种子点集合Z1，根据如下规则进行生长：
1)选取A1中像素点的最大值T＝max(A1)；
2)将T作为阀值应用到生长判决准则公式中，有：
abs(A1(i,j)-z)<T/4 (3)
式中A1(i,j)代表待生长像素点位于(i,j)处的灰度值，z代表位于Z1集合中的种子点的灰度值。若A1(i,j)满足公式(3)，则位于(i,j)处的像素点被纳入生长区域，直到没有满足公式(3)的条件时生长停止；
3)遍历Z1中的每个种子点，重复2)，可得到初始目标图IO。
步骤(3)：剔除初始目标图IO中的干扰区域，得到目标图IO1；
IO1＝{IO(m)<IOM/3}m∈{1,2,...L} (4)
式中，IOM为初始目标图IO中最大的目标区域面积，L为初始目标图IO中目标区域个数，IO(m)为第m个目标区域的面积；
步骤(4)：对目标图IO1中的每个目标进行区域分离，使每个目标区域用单个图像表示，计算每个目标图像的质心On：
式中，L1为目标图IO1目标的区域个数，Nn为第n个图像目标区域像素点，(in,jn)为第n个图像目标区域像素点的坐标；
计算第n个目标图像位于目标区域中的每个像素点到质心的距离RnJ：
对所有的RnJ求平均值记做且另
步骤(5)：根据滤波公式(7)对位于IO1中的每个目标分离出的目标图像进行引导滤波；
式中，Ii表示引导图像的像素值，i代表像素索引，在本文中I为引导图像A1，pn为输入图像位于i处的像素值，即IO1分离出的每个目标图像位于i处的像素值，qn为输出图像，ωk为第k个滤波窗口，k为滤波窗口索引，ε表示归一化参数，在ak，bk不变的情况下，其值越大，滤波越明显，窗口ωk的大小为rn*rn，uk和分别是I在窗口ωk中的均值和方差；是pn在窗口ωk中的均值；
步骤(6)：对qn,n∈{1,2,...L1}再进行区域生长，得到每个目标图像的最终目标区域；首先，选择种子点为qn中像素点的灰度最大值Tn＝max(qn)；其次，选择生长准则为：
abs(qn(i,j)-Tn)<Tn/2n∈{1,2,...L1} (9)
式中qn(i,j)为qn图像中像素点位于(i,j)处的灰度值，
最后，再进行整合所有目标图像中的目标区域，得到最终目标图IO2。
上述梯度值G为：
Gx＝filter(hx,B),Gy＝filter(hy,B)
G＝abs(Gx)+abs(Gy) (10)
式中，Gx为图像B的水平梯度，Gy为图像B的纵向梯度，hx为sobel水平梯度算子，hx＝[-1,0,1；-2,0,2；-1,0,1]，hy为sobel竖直梯度算子，hy＝hx'。
对得到的梯度值图G再利用K-means进行自动聚类，将图像B聚类为平滑区域和纹理区域。
将最终目标区域联合上述的纹理区域和平滑区域得区域划分图C，并将红外图像与可见光图像融合划分为各个子区域的融合即目标区域融合、平滑区域融合和纹理区域融合。
所述目标区域融合步骤为：
A、采用下述公式分别计算目标区域oA1与目标区域oB以像素点(i,j)为中心，大小为3*3窗口的区域的局部能量，记为EoA1、EoB；
式中，W为窗口，LT(i,j)为目标区域T在点(i,j)的低频子带系数，-1≤x≤1,-1≤y≤1。
B、采用如下公式，进行目标区域低频子带系数的融合；
LoF(i,j)＝aLoA1(i,j)+bLoB(i,j) (12)
式中，a＝EoA1(i,j)/(EoA1(i,j)+EoB(i,j)),b＝1-a，LoF(i,j)为融合的目标区域低频子带系数，LoA1(i,j)、LoB(i,j)分别为目标区域oA1和目标区域oB的低频子带系数。
C、采用绝对值取大原则进行高频系数的融合：
式中，HoA1(i,j)、HoB(i,j)分别为目标区域oA1、oB在点(i,j)的高频子带系数，HoF(i,j)为融合的目标高频子带系数。
所述平滑区域融合步骤为：
a、采用局部能量取大原则进行低频系数LsF融合：
式中，ESA(i,j)为平滑区域sA在点(i,j)处的能量，ESB(i,j)为平滑区域sB在点(i,j)处的能量，LsF(i,j)为融合的平滑区域低频子带系数，LsA(i,j)、LsB(i,j)分别为平滑区域sA和sB的低频子带系数；b、采用绝对值取大原则进行高频系数HsF融合：
式中，HsA为平滑区域sA在点(i,j)处的高频系数，HsB为平滑区域sB在点(i,j)处的高频系数，
HsF(i,j)为融合的目标区域高频子带系数。
所述纹理区域融合步骤为：
(a)、计算图像的局部梯度能量EOG能量：
CR1(i,j)＝corr2(E3tA(i,j),E3tB(i,j)) (19)
设h＝0.5,当CR1(i,j)≥h：
当CR1(i,j)<h：
式中，f(i,j)为图像在像素点(i,j)处的灰度值，ETL(i,j)为纹理区域T低频系数的局部EOG能量，E3T(i,j)为在ETL矩阵位于(i,j)的3*3邻域，CR1(i,j)为E3tA(i,j),E3tB(i,j)的相关系数，LtA(i,j)、LtB(i,j)分别为纹理区域tA和纹理区域tB在(i,j)位置处的低频系数，LtF(i,j)为融合的纹理区域低频子带系数。-1≤p≤1，-1≤q≤1，w为3*3大小的窗口，m，n分别表示原图像的行和列。
(b)、高频系数融合：
首先计算每层高频系数的各个点锐度：
CR2(i,j)＝corr2(PS3tA(i,j),PS3tB(i,j)) (24)
设h＝0.5，当CR2(i,j)≥h：
当CR2(i,j)<h：
式中，f(i,j)为图像在像素点(i,j)处的灰度值,psT(i,j)为纹理区域T中像素点位于(i,j)处的点锐度大小，PS3T(i,j)为在psT矩阵位于(i,j)的3*3邻域，CR2(i,j)为ps3tA(i,j),ps3tB(i,j)的相关系数HtA(i,j)为纹理区域tA在点(i,j)处的高频系数，HtB(i,j)为纹理区域tB在点(i,j)处的高频系数，HtF(i,j)为融合的纹理区域高频子带系数。PStA(i,j)为纹理区域tA在点(i,j)处的点锐度，PStB(i,j)为纹理区域tB在点(i,j)处的点锐度。
本发明的有益效果：本发明提供的这种基于图像区域特性的红外与可见光图像融合方法，能够避免干扰区域，完整的提取目标区域，充分考虑到红外与可见光的成像特点及其区域特性，利用区域生长与引导滤波较好地提取了红外图像的目标，同时考虑到多目标的处理情况，对滤波半径进行自适应改进；利用可见光图像对场景成像较清晰的特点，利用sobel算子与k-means将场景划分为不同的区域，然后根据各区域的不同特性采用不同的融合规则，即有效的保留了红外目标，又有效地获取了源图像的空间域信息，得到了较好的融合效果。
以下将结合附图对本发明做进一步详细说明。
附图说明
图1是基于图像区域特性的红外与可见光图像融合方法流程示意图。
图2是红外目标提取流程示意图。
图3是第一示例的原始图像示意图。
图4是第一示例的红外增强图像示意图。
图5是第一示例的初始目标图像示意图。
图6是第一示例的剔除干扰后的目标图像示意图。
图7是第一示例的经引导滤波后图像示意图。
图8是第一示例的最终目标示意图。
图9是第一示例的现有技术基于Rentyi方法提取目标示意图。
图10是第一示例的现有技术基于灰色理论方法提取目标示意图。
图11是第二示例的原始图像示意图。
图12是第二示例的红外增强图像示意图。
图13是第二示例的初始目标图像示意图。
图14是第二示例的剔除干扰后的目标图像示意图。
图15是第二示例的经引导滤波后图像示意图。
图16是第二示例的最终目标示意图。
图17是第二示例的现有技术基于Rentyi方法提取目标示意图。
图18是第二示例的现有技术基于灰色理论方法提取目标示意图。
图19是第三示例的原始图像示意图。
图20是第三示例的红外增强图像示意图。
图21是第三示例的初始目标图像示意图。
图22是第三示例的剔除干扰后的目标图像示意图。
图23是第三示例的经引导滤波后图像示意图。
图24是第三示例的最终目标示意图。
图25是第三示例的现有技术基于Rentyi方法提取目标示意图。
图26是第三示例的现有技术基于灰色理论方法提取目标示意图。
图27是第四示例的原始图像示意图。
图28是第四示例的红外增强图像示意图。
图29是第四示例的初始目标图像示意图。
图30是第四示例的剔除干扰后的目标图像示意图。
图31是第四示例的经引导滤波后图像示意图。
图32是第四示例的最终目标示意图。
图33是第四示例的现有技术基于Rentyi方法提取目标示意图。
图34是第四示例的现有技术基于灰色理论方法提取目标示意图。
图35是第五示例的原始可见光图像示意图。
图36是第五示例的原始红外图像示意图。
图37是第五示例的红外目标图像示意图。
图38是第五示例的可见光图像的区域划分图像示意图。
图39是第五示例的最终区域划分图像示意图。
图40是第六示例的原始可见光图像示意图。
图41是第六示例的原始红外图像示意图。
图42是第六示例的红外目标图像示意图。
图43是第六示例的可见光图像的区域划分图像示意图。
图44是第六示例的最终区域划分图像示意图。
图45是第五示例采用现有技术进行图像融合的示意图一。
图46是第五示例采用现有技术进行图像融合的示意图二。
图47是第五示例采用现有技术进行图像融合的示意图三。
图48是第五示例采用现有技术进行图像融合的示意图四。
图49是第五示例为纹理区域、平滑区域采取平滑区域融合规则图像的示意图。
图50是第五示例为纹理区域、平滑区域采取目标区域融合规则图像的示意图。
图51是第五示例为本发明融合图像的示意图。
图52是第六示例采用现有技术进行图像融合的示意图一。
图53是第六示例采用现有技术进行图像融合的示意图二。
图54是第六示例采用现有技术进行图像融合的示意图三。
图55是第六示例为纹理区域、平滑区域采取平滑区域融合规则图像的示意图。
图56是第六示例为纹理区域、平滑区域采取目标区域融合规则图像的示意图。
图58是第六示例为本发明融合图像的示意图。
具体实施方式
为进一步阐述本发明达成预定目的所采取的技术手段及功效，以下结合附图及实施例对本发明的具体实施方式、结构特征及其功效，详细说明如下。
为了克服现有图像融合技术在融合过程中进行目标区域融合存在场景区域干扰，提取目标不够完善等问题。本实施例提出了一种基于图像目标提取和区域特性的红外与可见光融合方法，该方法针对传统融合方法不足，对原始融合图像进行特性分析，提取完整的目标和进行场景区域划分，根据不同的区域特性采用不同的方法进行融合。
首先，提出基于区域生长和引导滤波的目标提取，在该方法中考虑了红外的多目标特性和干扰目标的引入，并进行了剔除，而且通过改进自适应引导滤波半径有效的实现了自适应目标滤波，使得到的目标区域较完整且避免了引入场景信息。
其次，考虑到可见光图像对场景成像相对较清晰，通过计算可见光图像的梯度图并对其进行聚类有效地实现了对背景的划分，结合目标区域和背景区域的划分得最终区域划分图。
然后，设计基于增强的红外图像和区域划分图的融合方法，使融合图像的目标对比度高，场景较清晰。
如图1所示，基于图像目标提取和区域特性的红外与可见光融合方法，包括如下步骤：
步骤1：对红外图像A进行处理得到红外增强图像A1；
步骤2：对场景进行区域划分得到区域划分图C，并通过图C分别对红外增强图像A1、可见光图像B和红外图像A进行区域映射；
步骤3：对可见光图像B、红外图像A、红外增强图像A1分别进行NSCT变换，得到各个子区域的高低频系数；
步骤4：对步骤3得到的各个子区域进行高低频系数融合；
步骤5：对步骤4分区域融合后的高低频系数进行NSCT反变换得最终融合图像；
如图2所示，为提高红外图像的目标与场景的对比度和得到较准确的红外目标，故先对红外图像进行对比度增强，上述红外图像进行处理得到红外增强图像，方法如下：
其中， u＝mean(A)*t
式中，A1(i,j)为增强后的图像像素点灰度值，t为常系数取值范围为1<t<2，A(i,j)为原红外线图像像素点位于(i,j)处的灰度值。
该函数使得图像中的像素点灰度值大于u的像素点更亮，小于u的像素点更暗，一般目标区域相比场景要亮，当某些场景区域与目标区域对比度不高的情况下，为了避免场景区域的增强故u的大小设为上述值。
上述红外增强图像A1结合红外图像A通过区域生长和引导滤波得到目标区域。所述可见光图像B通过梯度值对比得到平滑区域、纹理区域，联合目标区域、平滑区域和纹理区域得到区域划分图C。通过区域划分图C对图A1进行区域映射得到目标区域oA1；通过区域划分图C对图B进行区域映射得到目标区域oB、平滑区域sB和纹理区域tB；通过区域划分图C对图A进行区域映射得到平滑区域sA和纹理区域tA。
区域生长是根据预先定义的生长准则来把像素或子区域集合成较大区域的处理方法。基本原理处理方法是以一组“种子”点来开始形成生长区域，即将那些预定义属性类似于种子的邻域像素附加到每个种子。本实施例采取区域生长法对目标进行定位提取。
由于在红外图像A中目标热辐射率较大故亮度较高,考虑到红外图像的多目标情况，且目标灰度值不相近，为了不丢失目标我们不选取灰度值最高的像素点作为种子点而选取灰度值相对较高的点作为种子点。
上述区域生长包括如下步骤：
步骤(1)：在红外图像A中根据下述公式(2)选取种子点集合Z：
Z＝{A(i,j)|A(i,j)>M-AV/8} (2)
式中，A(i,j)为图像A位于(i,j)处的灰度值，M为图像A中像素点的灰度最大值，AV为图像A中像素点的灰度平均值；
步骤(2)：把红外增强图像A1中与红外图像A中的种子点对应的点作为A1中的种子点并得到种子点集合Z1，根据如下规则进行生长：
1)选取A1中像素点的最大值T＝max(A1)；
2)将T作为阀值应用到生长判决准则公式中，有：
abs(A1(i,j)-z)<T/4 (3)
式中A1(i,j)代表待生长像素点位于(i,j)处的灰度值，z代表位于Z1集合中的种子点的灰度值。若A1(i,j)满足公式(3)，则位于(i,j)处的像素点被纳入生长区域，直到没有满足公式3的条件时生长停止；
3)遍历Z1中的每个种子点，重复2)，可得到初始目标图IO。
由于上述种子点选取方法可能会导致目标图IO引入场景的局部区域，故需要剔除干扰目标区域。我们认为IO中相对较大的区域为我们想要的目标区域，而相对较小的区域为干扰区域，故对得到的初始目标图IO进行连通区域个数L标记并进行计算每个区域的面积，并求出最大的区域面积记为IOM，为了得到较准确的目标区域，我们需要剔除较小的目标区域。
步骤(3)：剔除初始目标图IO中的干扰区域，得到目标图IO1；
IO1＝{IO(m)<IOM/3}m∈{1,2,...L} (4)
式中，IOM为初始目标图IO中最大的目标区域面积，L为初始目标图IO中目标区域个数，IO(m)为第m个目标区域的面积；
IO1为剔除后的目标图，它只是对大概的目标区域进行定位，可能没有提取出完整的目标区域，故采用引导滤波器对其进行进一步的处理。
上述引导滤波包括如下步骤：
为了确保所得目标区域的准确性和较好的边缘特性，我们采用引导滤波器对目标区域进行滤波。对比度增强的图像A1其目标与背景有较好的对比度，且边缘特性较好，故图像A1作为引导图像，则输入图像为IO1，这样的输出图像可以使IO1中的目标较完整并且可以较好的保持图像A1的目标边缘特性，但是对于窗口半径r的选取，当输入图像存在多个目标且每个目标区域大小不一，若r较大，则会在输出图像中引入目标区域外的一些场景，若r较小则无法再输出图像中得到完整的目标，因此要在输出图像中既不引入干扰场景，又可以得到完整目标区域，我们需要设定适应各目标区域的r值进行引导滤波具体如下：
步骤(4)：对目标图IO1中的每个目标进行区域分离，使每个目标区域用单个图像表示，计算每个目标图像的质心On：
式中，L1为目标图IO1目标的区域个数，Nn为第n个图像目标区域像素点，(in,jn)为第n个图像目标区域像素点的坐标；
计算第n个目标图像位于目标区域中的每个像素点到质心的距离RnJ，
RnJ＝[(iJ-Oni)2+(jJ-Onj)2]1/2,J∈{1,2,...Nn} (6)
对所有的RnJ求平均值记做且另
步骤(5)：根据滤波公式(7)对位于IO1中的每个目标分离出的目标图像进行引导滤波；
式中，Ii表示引导图像的像素值，i代表像素索引，在本文中I为引导图像A1，pn为输入图像位于i处的像素值即IO1分离出的每个目标图像位于i处的像素值，qn为输出图像，ωk为第k个滤波窗口，k为滤波窗口索引，ε表示归一化参数，在ak，bk不变的情况下，其值越大，滤波越明显，窗口ωk的大小为rn*rn，uk和分别是I在窗口ωk中的均值和方差；是pn在窗口ωk中的均值；
步骤(6)：对qn,n∈{1,2,...L1}再进行区域生长，得到每个目标图像的最终目标区域；首先，选择种子点为qn中像素点的灰度最大值Tn＝max(qn)；其次，选择生长准则为：
abs(qn(i,j)-Tn)<Tn/2 n∈{1,2,...L1} (9)
式中qn(i,j)为qn图像中像素点位于(i,j)处的灰度值，
最后，再进行整合所有目标图像中的目标区域，得到最终目标图IO2。
如图3至图34所示，其中，图3是第一示例的原始图像示意图。图4是第一示例的红外增强图像示意图。图5是第一示例的初始目标图像示意图。图6是第一示例的剔除干扰后的目标图像示意图。图7是第一示例的经引导滤波后图像示意图。图8是第一示例的最终目标示意图。图9是第一示例的现有技术基于Rentyi方法提取目标示意图。图10是第一示例的现有技术基于灰色理论方法提取目标示意图。图11是第二示例的原始图像示意图。图12是第二示例的红外增强图像示意图。图13是第二示例的初始目标图像示意图。图14是第二示例的剔除干扰后的目标图像示意图。图15是第二示例的经引导滤波后图像示意图。图16是第二示例的最终目标示意图。图17是第二示例的现有技术基于Rentyi方法提取目标示意图。图18是第二示例的现有技术基于灰色理论方法提取目标示意图。图19是第三示例的原始图像示意图。图20是第三示例的红外增强图像示意图。图21是第三示例的初始目标图像示意图。图22是第三示例的剔除干扰后的目标图像示意图。图23是第三示例的经引导滤波后图像示意图。图24是第三示例的最终目标示意图。图25是第三示例的现有技术基于Rentyi方法提取目标示意图。图26是第三示例的现有技术基于灰色理论方法提取目标示意图图27是第四示例的原始图像示意图。图28是第四示例的红外增强图像示意图。图29是第四示例的初始目标图像示意图。图30是第四示例的剔除干扰后的目标图像示意图。图31是第四示例的经引导滤波后图像示意图。图32是第四示例的最终目标示意图。图33是第四示例的现有技术基于Rentyi方法提取目标示意图。图34是第四示例的现有技术基于灰色理论方法提取目标示意图。
从上述图中可以看出，图9、图17、图25、图33为基于Rentyi方法提取目标虽然可以提出目标但没有考虑干扰区域的引入，使得目标不够完善引入少量的场景区域，图10、图18、图26、图34为基于灰色理论方法提取红外小目标时，结果还算可观，但对于稍大的红外目标且场景稍复杂的图像，提取目标不完整，且引进了背景的干扰区域，而本实施例方法通过区域生长先对目标位置进行大概定位，然后剔除干扰目标，在通过引导虑波得到目标的局部区域，再进行提取，不但可以提取完整的目标，还避免了场景的引入，提取结果较好，如图8、图16、图24、图32所示。
上述梯度值G为：
Gx＝filter(hx,B),Gy＝filter(hy,B)
G＝abs(Gx)+abs(Gy) (10)
式中，Gx为图像B的水平梯度，Gy为图像B的纵向梯度，hx为sobel水平梯度算子，hx＝[-1,0,1；-2,0,2；-1,0,1]，hy为sobel竖直梯度算子，hy＝hx'。G为图像梯度映射图，它的每个像素点的值代表原图像对应的像素点的梯度值得大小，其值越大表示原图像在当前位置灰度值变化较多，代表此位置细节信息越丰富。因此我们可以对G进行k-means聚类，(K-means方法是硬聚类方法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means方法以欧式距离作为相似度测度，它是求对应某一初始聚类中心向量V最优分类，使得评价指标J最小。方法采用误差平方和准则函数作为聚类准则函数。)根据梯度值的大小将可将光图像聚类为平滑区域和纹理区域。然后联合目标提取图将场景划分为：目标区域，平滑区域、纹理区域记为图C。如图35至图44所示，黑色区域代表平滑区域，白色区域代表目标区域，灰色区域代表纹理区域。其中，图35、图40为第五示例、第六示例的原始可见光图像，图36、图41为第五示例、第六示例的原始红外图像，图37、图42为第五示例、第六示例的红外目标图像，图38、图43为第五示例、第六示例的可见光图像的区域划分图，；图38、图43为第五示例、第六示例的最终区域划分图。
考虑红外目标对比度低、边界不清晰，可见光图像对场景成像较好等特点。我们将红外图像与可见光图像融合划分为各个子区域的融合即目标区域融合、平滑区域融合和纹理区域融合。
为了增强目标与场景的对比度我们采用红外增强图像与可见光图像进行目标融合。上述目标区域融合采用采用红外增强图像与可见光图像进行，具体步骤为：
A、采用下述公式分别计算目标区域oA1与目标区域oB以像素点(i,j)为中心，大小为3*3窗口的区域的局部能量，记为EoA1、EoB；
式中，W为窗口，LT(i,j)为目标区域T在点(i,j)的低频子带系数，-1≤x≤1,-1≤y≤1。
B、采用如下公式，进行目标区域低频子带系数的融合；
LoF(i,j)＝aLoA1(i,j)+bLoB(i,j) (12)
式中，a＝EoA1(i,j)/(EoA1(i,j)+EoB(i,j)),b＝1-a，LoF(i,j)为融合的目标区域低频子带系数，LoA1(i,j)、LoB(i,j)分别为目标区域oA1和目标区域oB的低频子带系数。
C、采用绝对值取大原则进行高频系数的融合：
式中，HoA1(i,j)、HoB(i,j)分别为目标区域oA1、oB在点(i,j)的高频子带系数，HoF(i,j)为融合的目标高频子带系数。
平滑区域信息相对不够丰富，其区域特性主要为亮度信息故低频采取局部能量取大原则,高频采用系数绝对值取大原则；上述平滑区域融合步骤为：
a、采用局部能量取大原则进行低频系数LsF融合：
式中，ESA(i,j)为平滑区域sA在点(i,j)处的能量，ESB(i,j)为平滑区域sB在点(i,j)处的能量，LsF(i,j)为融合的平滑区域低频子带系数，LsA(i,j)、LsB(i,j)分别为平滑区域sA和sB的低频子带系数；b、采用绝对值取大原则进行高频系数HsF融合：
式中，HsA为平滑区域sA在点(i,j)处的高频系数，HsB为平滑区域sB在点(i,j)处的高频系数，HsF(i,j)为融合的目标区域高频子带系数。
纹理区域包含了图像大量的边缘、纹理、方向等信息。为了更多的提取纹理信息和边缘信息，低频采取局部EOG(图像梯度能量)进行融合；高频采用点锐度进行融合,点锐度是图像中每个点与其八邻域点的差的绝对加权和，它是对图像中每个点周围的灰度变化程度的一个统计，其值越大，则表示图像越清晰。上述纹理区域融合步骤为：
(a)、计算纹理区域的局部梯度能量EOG能量：
CR1(i,j)＝corr2(E3tA(i,j),E3tB(i,j)) (19)
设h＝0.5,当CR1(i,j)≥h：
当CR1(i,j)<h：
式中，f(i,j)为图像在像素点(i,j)处的灰度值，ETL(i,j)为纹理区域T低频系数的局部EOG能量，E3T(i,j)为在ETL矩阵位于(i,j)的3*3邻域，CR1(i,j)为E3tA(i,j),E3tB(i,j)的相关系数，LtA(i,j)、LtB(i,j)分别为纹理区域tA和纹理区域tB在(i,j)位置处的低频系数，LtF(i,j)为融合的纹理区域低频子带系数。-1≤p≤1，-1≤q≤1，w为3*3大小的窗口，m，n分别表示原图像的行和列。
(b)、高频系数融合：
首先计算每层高频系数的各个点锐度：
CR2(i,j)＝corr2(PS3tA(i,j),PS3tB(i,j)) (24)
设h＝0.5，当CR2(i,j)≥h：
当CR2(i,j)<h：
式中，f(i,j)为图像在像素点(i,j)处的灰度值,psT(i,j)为纹理区域T中像素点位于(i,j)处的点锐度大小，PS3T(i,j)为在psT矩阵位于(i,j)的3*3邻域，CR2(i,j)为ps3tA(i,j),ps3tB(i,j)的相关系数HtA(i,j)为纹理区域tA在点(i,j)处的高频系数，HtB(i,j)为纹理区域tB在点(i,j)处的高频系数，HtF(i,j)为融合的纹理区域高频频子带系数。PStA(i,j)为纹理区域tA在点(i,j)处的点锐度，PStB(i,j)为纹理区域tB在点(i,j)处的点锐度。
为了验证本实施例的融合效果，本实施例采用了两组已配准的可见光图像与红外进行试验并与近年来的一些融合方法进行比较，主观上对实验结果分析，对比试验结果，图45至图48，图52至图55分别为近年来基于NSCT的一些融合方法，可以看出该方法的融合图像目标对比度不高、目标边缘模糊、场景模糊等。图49、图50、图56、图57，为采用本实施例方法对目标区域进行提取、融合，而场景区域的融合规则分别为目标区域和平滑区域的融合规则的实验结果，可以看出目标区域相对较完整，且目标对比度也有所提升，但是场景区域还是模糊，分辨率不高；图51、图58为本实施例方法融合结果，它很好的获得了目标信息及细节信息，清晰度高，目标对比度好，有很好的视觉效果。
下述提供了利用本实施例提供的方法进行第五、第六实示例的实验数据，图45的数据为表1的Ref[20]，图46的数据为表1的Ref[21]，图47的数据为表1的Ref[22]，图48的数据为表1的Ref[23]，图49的数据为表1的pinghua，图50为的数据为表1的Mubiao，图52的数据为表2的Ref[20]，图53的数据为表1Ref[21]，图54的数据为表2的Ref[22]，图55的数据为表2的Ref[23]，图56的数据为表2的pinghua，图57为的数据为表2的Mubiao，客观评价分析，从表1，2中可以看出本实施例提出的方法各项评价指标都优于其它方法，由以上得知本实施例融合效果更符合人类的视觉感知。
表1第五示例的客观参数比较
E SF AVG EI MI
Ref[20] 6.5671 11.7206 4.5264 44.3499 1.7242
Ref[21] 6.7562 11.5389 4.3766 42.6020 2.9312
Ref[22] 6.6044 11.3636 4.1985 40.3014 2.4421
Ref[23] 6.6890 11.6666 4.3933 42.6594 2.5067
proposed 7.1569 13.0710 4.8430 47.5429 3.5698
Pinghua 6.7657 12.1753 4.5546 44.2320 2.8762
Mubiao 6.6168 11.8890 4.3544 41.8059 2.4113
表2第六示例的客观参数比较
E SF AVG EI MI
Ref[20] 7.1697 19.5967 8.2519 85.5053 2.1643
Ref[21] 7.1704 18.0142 7.0986 72.4164 3.4763
Ref[22] 7.0963 17.7145 6.9435 70.6008 3.0336
Ref[23] 7.2555 18.8244 7.6363 78.3044 3.4728
proposed 7.3427 20.5070 8.4244 87.4239 5.4326
Pinghua 7.1727 18.1636 7.1463 72.8732 3.4000
Mubiao 7.1037 17.8749 6.9915 71.0788 3.0317
本实施例提出了一种基于图像区域特性的红外与可见光图像融合方法，同时考虑了红外与可见光的成像特点及其区域特性，在考虑了多目标情况下利用区域生长与引导滤波较好地提取了红外图像的目标，并对滤波半径进行自适应改进，而利用可见光图像对场景成像较清晰的特点，利用sobel算子与k-means将场景划分为不同的区域，然后根据各区域的不同特性采用不同的融合规则，即有效的保留了红外目标，又有效地获取了源图像的空间域信息，得到了较好的融合效果。通过客观主观分析，实验结果表明本方法优于其他几种方法更符合人类的视觉感知。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (6)

1.一种基于区域特性的红外与可见光图像融合方法，其特征在于，包括如下步骤：
步骤1：对红外图像A进行处理得到红外增强图像A1；方法如下：
u＝mean(A)*t
式中，A1(i,j)为增强后的图像像素点位于(i,j)处的灰度值，t为常系数取值范围为1<t<2，A(i,j)为原红外线图像像素点位于(i,j)处的灰度值；
步骤2：对场景进行区域划分得到区域划分图C，并通过区域划分图C分别对红外增强图像A1、可见光图像B和红外图像A进行区域映射；
所述红外增强图像A1结合所述红外图像A利用区域生长和引导滤波得到目标区域，包括如下步骤：
步骤(1)：在红外图像A中根据下述公式(2)选取种子点集合Z：
Z＝{A(i,j)|A(i,j)>M-AV/8} (2)
式中，A(i,j)为图像A位于(i,j)处的灰度值，M为图像A中像素点的灰度最大值，AV为图像A中像素点的灰度平均值；
步骤(2)：把红外增强图像A1中与红外图像A中的种子点对应的点作为A1中的种子点并得到种子点集合Z1，根据如下规则进行生长：
1)选取A1中像素点的灰度最大值T＝max(A1)；
2)将T/4作为阀值应用到生长判决准则公式中，有：
abs(A1(i,j)-z)<T/4 (3)
式中A1(i,j)代表待生长像素点位于(i,j)处的灰度值，z代表位于Z1集合中的种子点的灰度值；若A1(i,j)满足公式(3)，则位于(i,j)处的像素点被纳入生长区域，直到没有满足公式(3)的条件时生长停止；
3)遍历Z1中的每个种子点，重复2)，可得到初始目标图IO；
步骤(3)：剔除初始目标图IO中的干扰区域，得到目标图IO1；
IO1＝{IO(m)<IOM/3}m∈{1,2,...L} (4)
式中，IOM为初始目标图IO中最大的目标区域面积，L为初始目标图IO中目标区域个数，IO(m)为第m个目标区域的面积；
步骤(4)：对目标图IO1中的每个目标进行区域分离，使每个目标区域用单个图像表示，计算每个目标图像的质心On：
式中，L1为目标图IO1目标的区域个数，Nn为第n个图像目标区域像素点，(in,jn)为第n个图像目标区域像素点的坐标；
计算第n个目标图像位于目标区域中的每个像素点到质心的距离RnJ：
RnJ＝[(iJ-Oni)2+(jJ-Onj)2]1/2,J∈{1,2,...Nn} (6)
对所有的RnJ求平均值记做且另
步骤(5)：根据滤波公式(7)对位于IO1中的每个目标分离出的目标图像进行引导滤波；
式中，I为引导图像A1，pn为输入图像即IO1分离出的每个目标图像，qn为输出图像，ωk为窗口个数，窗口ωk的大小为rn*rn，uk和分别是I在窗口ωk中的均值和方差；是pn在窗口ωk中的均值；
步骤(6)：对qn,n∈{1,2,...L1}再进行区域生长，得到每个目标图像的最终目标区域；首先，选择种子点为qn中像素点的灰度最大值Tn＝max(qn)；其次，选择生长准则为：
abs(qn(i,j)-Tn)<Tn/2n∈{1,2,...L1} (9)
式中qn(i,j)为qn图像中像素点位于(i,j)处的灰度值，
最后，再进行整合所有目标图像中的目标区域，得到最终目标图IO2；
所述可见光图像B通过其梯度值对比得到平滑区域、纹理区域；目标区域、平滑区域和纹理区域联合得到区域划分图C；通过区域划分图C对图A1进行区域映射得到目标区域oA1；通过区域划分图C对图B进行区域映射得到目标区域oB、平滑区域sB和纹理区域tB；通过区域划分图C对图A进行区域映射得到平滑区域sA和纹理区域tA；
步骤3：对可见光图像B、红外图像A、红外增强图像A1分别进行NSCT变换，得到各个子区域的高低频系数；
步骤4：对步骤3得到的各个子区域进行高低频系数融合；
步骤5：对步骤4分区域融合后的高低频系数进行NSCT反变换得最终融合图像。
2.如权利要求1所述的一种基于区域特性的红外与可见光图像融合方法，其特征在于：所述梯度值G为：
Gx＝filter(hx,B),Gy＝filter(hy,B)
G＝abs(Gx)+abs(Gy) (10)
式中，Gx为图像B的水平梯度，Gy为图像B的纵向梯度，hx为sobel水平梯度算子，hx＝[-1,0,1；-2,0,2；-1,0,1]，hy为sobel竖直梯度算子，hy＝hx'；
对得到的梯度值图G再利用K-means进行自动聚类，将图像B聚类为平滑区域和纹理区域。
3.如权利要求1所述的一种基于区域特性的红外与可见光图像融合方法，其特征在于：所述步骤4中，各个子区域进行高低频系数融合，包括目标区域融合、平滑区域融合和纹理区域融合。
4.如权利要求3所述的一种基于区域特性的红外与可见光图像融合方法，其特征在于，所述目标区域融合步骤为：
A、采用下述公式分别计算目标区域oA1与目标区域oB以像素点(i,j)为中心，大小为3*3窗口的区域的局部能量，记为EoA1、EoB；
式中，W为窗口，LT(i,j)为目标区域T在点(i,j)的低频子带系数，-1≤x≤1,-1≤y≤1；
B、采用如下公式，进行目标区域低频子带系数的融合；
LoF(i,j)＝aLoA1(i,j)+bLoB(i,j) (12)
式中，a＝EoA1(i,j)/(EoA1(i,j)+EoB(i,j)),b＝1-a，LoF(i,j)为融合的目标区域在点(i,j)处的低频子带系数，LoA1(i,j)、LoB(i,j)分别为目标区域oA1和目标区域oB在点(i,j)处的低频子带系数；
C、采用绝对值取大原则进行高频系数的融合：
式中，HoA1(i,j)、HoB(i,j)分别为目标区域oA1、oB在点(i,j)处的高频子带系数，HoF(i,j)为融合的目标区域在点(i,j)处的高频子带系数。
5.如权利要求3所述的一种基于区域特性的红外与可见光图像融合方法，其特征在于，
所述平滑区域融合步骤为：
a、采用局部能量取大原则进行低频系数融合：
式中，ESA(i,j)为平滑区域sA在点(i,j)处的能量，ESB(i,j)为平滑区域sB在点(i,j)处的能量，LsF(i,j)为融合的平滑区域低频子带系数，LsA(i,j)、LsB(i,j)分别为平滑区域sA和sB的低频子带系数；
b、采用绝对值取大原则进行高频系数融合：
式中，HsA(i,j)为平滑区域sA在点(i,j)处的高频系数，HsB(i,j)为平滑区域sB在点(i,j)处的高频系数，HsF(i,j)为融合的目标区域高频子带系数。
6.如权利要求3所述的一种基于区域特性的红外与可见光图像融合方法，其特征在于，
所述纹理区域融合步骤为：
(a)、计算图像的局部梯度能量EOG能量：
CR1(i,j)＝corr2(E3tA(i,j),E3tB(i,j)) (19)
设h＝0.5,当CR1(i,j)≥h：
当CR1(i,j)<h：
式中，f(i,j)为图像在像素点(i,j)处的灰度值，ETL为纹理区域T低频系数的局部EOG能量，E3T(i,j)为在ETL矩阵位于(i,j)的3*3邻域，CR1(i,j)为E3tA(i,j),E3tB(i,j)的相关系数，LtA(i,j)、LtB(i,j)分别为纹理区域tA和纹理区域tB在(i,j)位置处的低频系数，LtF(i,j)为融合的纹理区域低频子带系数；-1≤p≤1，-1≤q≤1，w为3*3大小的窗口，m，n分别表示原图像的行和列；
(b)、高频系数融合：
首先计算每层高频系数的各个点锐度：
CR2(i,j)＝corr2(PS3tA(i,j),PS3tB(i,j)) (24)
设h＝0.5，当CR2(i,j)≥h：
当CR2(i,j)<h：
式中，f(i,j)为图像在像素点(i,j)处的灰度值,psT(i,j)为纹理区域T中像素点位于(i,j)处的点锐度大小，PS3T(i,j)为在psT矩阵位于(i,j)的3*3邻域，CR2(i,j)为ps3tA(i,j),ps3tB(i,j)的相关系数， HtA(i,j)为纹理区域tA在点(i,j)处的高频系数，HtB(i,j)为纹理区域tB在点(i,j)处的高频系数，HtF(i,j)为融合的纹理区域高频频子带系数；PStA(i,j)为纹理区域tA在点(i,j)处的点锐度，PStB(i,j)为纹理区域tB在点(i,j)处的点锐度。
CN201610532153.XA 2016-07-07 2016-07-07 基于区域特性的红外与可见光图像融合方法 Active CN106204509B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610532153.XA CN106204509B (zh) 2016-07-07 2016-07-07 基于区域特性的红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610532153.XA CN106204509B (zh) 2016-07-07 2016-07-07 基于区域特性的红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN106204509A CN106204509A (zh) 2016-12-07
CN106204509B true CN106204509B (zh) 2019-12-17

Family

ID=57473112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610532153.XA Active CN106204509B (zh) 2016-07-07 2016-07-07 基于区域特性的红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN106204509B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108429887A (zh) * 2017-02-13 2018-08-21 中兴通讯股份有限公司 一种图像处理方法和装置
CN107330866B (zh) * 2017-06-16 2021-03-05 Oppo广东移动通信有限公司 高光区域的消除方法、装置及终端
CN109308691A (zh) * 2017-07-28 2019-02-05 南京理工大学 基于图像增强与nsct的红外和可见光图像融合方法
CN108389158A (zh) * 2018-02-12 2018-08-10 河北大学 一种红外和可见光的图像融合方法
CN110363731B (zh) * 2018-04-10 2021-09-03 杭州海康微影传感科技有限公司 一种图像融合方法、装置及电子设备
CN109618099B (zh) * 2019-01-10 2021-01-08 深圳英飞拓科技股份有限公司 双光谱摄像机图像融合方法及装置
CN110047059B (zh) * 2019-04-10 2021-07-09 北京旷视科技有限公司 图像处理方法、装置、电子设备及可读存储介质
CN110246130B (zh) * 2019-06-21 2023-03-31 中国民航大学 基于红外和可见光图像数据融合的机场道面裂缝检测方法
CN110298807A (zh) * 2019-07-05 2019-10-01 福州大学 基于改进Retinex及量子菌群算法的NSCT域红外图像增强方法
CN114066786A (zh) * 2020-08-03 2022-02-18 四川大学 一种基于稀疏和滤波器的红外和可见光图像融合方法
CN112115979B (zh) * 2020-08-24 2024-03-22 深圳大学 一种红外图像和可见图像的融合方法及设备
CN115578620B (zh) * 2022-10-28 2023-07-18 北京理工大学 一种点线面多维特征-可见光融合slam方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093580A (zh) * 2007-08-29 2007-12-26 华中科技大学 一种基于非子采样轮廓波变换的图像融合方法
CN103366353A (zh) * 2013-05-08 2013-10-23 北京大学深圳研究生院 一种基于显著性区域分割的红外与可见光图像融合方法
CN104574335A (zh) * 2015-01-14 2015-04-29 西安电子科技大学 一种基于显著图和兴趣点凸包的红外与可见光图像融合方法
WO2015157058A1 (en) * 2014-04-07 2015-10-15 Bae Systems Information & Electronic Systems Integration Inc. Contrast based image fusion
CN105719263A (zh) * 2016-01-22 2016-06-29 昆明理工大学 基于nsct域底层视觉特征的可见光和红外图像融合算法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101093580A (zh) * 2007-08-29 2007-12-26 华中科技大学 一种基于非子采样轮廓波变换的图像融合方法
CN103366353A (zh) * 2013-05-08 2013-10-23 北京大学深圳研究生院 一种基于显著性区域分割的红外与可见光图像融合方法
WO2015157058A1 (en) * 2014-04-07 2015-10-15 Bae Systems Information & Electronic Systems Integration Inc. Contrast based image fusion
CN104574335A (zh) * 2015-01-14 2015-04-29 西安电子科技大学 一种基于显著图和兴趣点凸包的红外与可见光图像融合方法
CN105719263A (zh) * 2016-01-22 2016-06-29 昆明理工大学 基于nsct域底层视觉特征的可见光和红外图像融合算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An Improved Visible and Infrared Image Fusion based on Local Energy and Fuzzy Logic;Zhizhong Fua等;《2014 12th International Conference on Signal Processing》;20141023;第863页第3.1节 *
可见光与红外图像区域级反馈融合算法;谷雨等;《中国图象图形学报》;20150406;第20卷(第4期);第507页第1节、图2 *

Also Published As

Publication number Publication date
CN106204509A (zh) 2016-12-07

Similar Documents

Publication Publication Date Title
CN106204509B (zh) 基于区域特性的红外与可见光图像融合方法
CN110490914B (zh) 一种基于亮度自适应和显著性检测的图像融合方法
CN107680054B (zh) 雾霾环境下多源图像融合方法
CN106651872B (zh) 基于Prewitt算子的路面裂缝识别方法及系统
CN108596849B (zh) 一种基于天空区域分割的单幅图像去雾方法
Shin et al. Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing
CN109242888B (zh) 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法
CN105354865B (zh) 多光谱遥感卫星影像自动云检测方法及系统
CN108090888B (zh) 基于视觉注意模型的红外图像和可见光图像的融合检测方法
CN111079556A (zh) 一种多时相无人机视频图像变化区域检测及分类方法
CN111104943B (zh) 基于决策级融合的彩色图像感兴趣区域提取方法
CN108550145B (zh) 一种sar图像质量评估方法和装置
CN109978848B (zh) 基于多光源颜色恒常模型检测眼底图像中硬性渗出的方法
CN114118144A (zh) 抗干扰的航空遥感图像阴影精准检测方法
CN108564092A (zh) 基于sift特征提取算法的向日葵病害识别方法
CN104657980A (zh) 一种改进的基于Meanshift的多通道图像分割算法
Gao et al. A novel UAV sensing image defogging method
CN110766657B (zh) 一种激光干扰图像质量评价方法
CN104637060B (zh) 一种基于邻域主成分分析-拉普拉斯的图像分割方法
CN109635809B (zh) 一种面向视觉退化图像的超像素分割方法
CN112419163A (zh) 一种基于先验知识和深度学习的单张图像弱监督去雾方法
Rekik et al. Review of satellite image segmentation for an optimal fusion system based on the edge and region approaches
Dannemiller et al. A new method for the segmentation of algae images using retinex and support vector machine
Kim et al. Single image dehazing of road scenes using spatially adaptive atmospheric point spread function
Xu et al. A dehazing algorithm based on local adaptive template for transmission estimation and refinement

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant