CN108717689B - 海天背景下舰船检测的中长波红外图像融合方法及装置 - Google Patents

海天背景下舰船检测的中长波红外图像融合方法及装置 Download PDF

Info

Publication number
CN108717689B
CN108717689B CN201810471187.1A CN201810471187A CN108717689B CN 108717689 B CN108717689 B CN 108717689B CN 201810471187 A CN201810471187 A CN 201810471187A CN 108717689 B CN108717689 B CN 108717689B
Authority
CN
China
Prior art keywords
image
fusion
decomposed
groups
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810471187.1A
Other languages
English (en)
Other versions
CN108717689A (zh
Inventor
高昆
赵天择
周颖婕
宋亚军
豆泽阳
王静
王广平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Beijing Institute of Environmental Features
Original Assignee
Beijing Institute of Technology BIT
Beijing Institute of Environmental Features
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Beijing Institute of Environmental Features filed Critical Beijing Institute of Technology BIT
Priority to CN201810471187.1A priority Critical patent/CN108717689B/zh
Publication of CN108717689A publication Critical patent/CN108717689A/zh
Application granted granted Critical
Publication of CN108717689B publication Critical patent/CN108717689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供应用于海天背景下舰船检测领域的中长波红外图像融合方法及装置,涉及舰船检测技术领域,该方法包括:获取第一图像和第二图像,第一图像和第二图像分别是待检测景象的中波红外图像和长波红外图像;将第一图像和第二图像分别采用小波‑Contourlet变换得到两个图像组,图像组中包括第一图像或第二图像的多尺度多方向四层分解图像;在两个图像组中的同一层分解图像上利用PCNN全局耦合性质和同步脉冲发放特性,并结合结构相似度算子进行融合,得到四个融合图像层;重构四个融合图像层得到待检测景象的拍摄图像。中长波红外图像的融合增强捕获待检测景象的实时性和机动性,缓解现有舰船检测技术实时性和机动性较差的技术问题。

Description

海天背景下舰船检测的中长波红外图像融合方法及装置
技术领域
本发明涉及舰船检测技术领域,尤其是涉及一种应用于海天背景下舰船检测领域的中长波红外图像融合方法及装置。
背景技术
海面舰船目标的识别与监测是国家海洋监测任务的重要环节,对于国家经济发展、环境保护、海洋权益维护及军事力量的发展都有十分重要的意义。
现如今,海上舰船检测与动态监测应用对相关监视监控系统的“实时性”与“机动性”提出了更高的要求。现有的舰船检测技术,从硬件技术上来说,低轨道卫星在观测范围、实时性、连续性动态观测方面已难以满足相关应用的需求;而高分辨率地球同步轨道遥感技术尚处于发展阶段,在海上舰船监视监测应用方面,尚未深入开展研究。从检测方法上来说,红外目标检测的方法主要采用了单帧检测和多帧确认相结合的思想,在连续性动态观测方面已难以满足相关应用的需求。
针对现有舰船检测技术实时性和机动性较差的技术问题,目前缺乏有效的解决方案。
发明内容
有鉴于此,本发明的目的在于提供一种应用于海天背景下舰船检测领域的中长波红外图像融合方法及装置,以缓解现有舰船检测技术实时性和机动性较差的技术问题。
第一方面,本发明实施例提供了一种应用于舰船检测的中长波红外图像融合方法,包括:
获取第一图像和第二图像,其中,所述第一图像和所述第二图像分别是待检测景象的中长波红外图像;
将所述第一图像和所述第二图像分别采用小波-Contourlet变换得到两个图像组,所述图像组中包括所述第一图像或所述第二图像的多尺度多方向四层分解图像;
在两个所述图像组中的同一层所述分解图像上利用PCNN全局耦合性质和同步脉冲发放特性,并结合结构相似度算子进行融合,得到四个融合图像层;
将四个所述融合图像层进行重构,得到所述待检测景象的拍摄图像。
结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,将所述第一图像和所述第二图像分别采用小波 -Contourlet变换得到两个图像组,包括:
对所述第一图像和所述第二图像在空间上进行配准,得到第一新图像和第二新图像;
对所述第一新图像进行WBCT运算,得到第一图像组,且所述第一图像组包括所述第一新图像多尺度多方向的三个高频分量的子带及一个低频分量的子带;
对所述第二新图像进行WBCT运算,得到第二图像组,且所述第二图像组包括所述第二新图像多尺度多方向的三个高频分量的子带及一个低频分量的子带,其中,
所述第一图像组和所述第二图像组所属于两个所述图像组。
结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,在两个所述图像组中的同一层所述分解图像上利用 PCNN全局耦合性质和同步脉冲发放特性,并结合结构相似度算子进行融合,得到四个融合图像层,包括:
构造两个结构相同的PCNN,且设定所述PCNN的预设网络参数,其中,一个所述PCNN与一个所述图像组相对应;
在两个所述图像组的同一层所述分解图像上分别运行相应的所述PCNN,得到对应图像的索引图;
采用预设融合策略,得到四个所述融合图像层,其中,所述预设融合策略为基于区域结构相似度和索引图值而进行融合的融合策略。
结合第一方面的第二种可能的实施方式,本发明实施例提供了第一方面的第三种可能的实施方式,其中,在两个所述图像组的同一层所述分解图像上分别运行相应的所述PCNN,得到对应图像的索引图,包括:
通过所述预设网络参数得到所述PCNN的最大运行次数和阈值查找表;
基于所述最大运行次数和所述阈值查找表,在两个所述图像组的同一层所述分解图像上分别运行相应的所述PCNN,得到对应图像的索引图。
结合第一方面,本发明实施例提供了第一方面的第四种可能的实施方式,其中,将四个所述融合图像层进行重构,得到所述待检测景象的拍摄图像,包括:
对四个所述融合图像层进行反WBCT运算,以将四个所述融合图像层重构成一个重构图像;
将所述重构图像确定为所述待检测景象的拍摄图像。
第二方面,本发明实施例还提供一种应用于海天背景下舰船检测领域的中长波红外图像融合装置,包括:
获取模块,用于获取第一图像和第二图像,其中,所述第一图像和所述第二图像分别是待检测景象的中长波红外图像;
变换模块,用于将所述第一图像和所述第二图像分别采用小波-Contourlet变换得到两个图像组,所述图像组中包括所述第一图像或所述第二图像的多尺度多方向四层分解图像;
融合模块,用于在两个所述图像组中的同一层所述分解图像上利用PCNN全局耦合性质和同步脉冲发放特性,并结合结构相似度算子进行融合,得到四个融合图像层;
重构模块,用于将四个所述融合图像层进行重构,得到所述待检测景象的拍摄图像。
本发明实施例带来了以下有益效果:
该应用于海天背景下舰船检测领域的中长波红外图像融合方法包括:获取第一图像和第二图像,其中,第一图像和第二图像分别是待检测景象的中长波红外图像;然后,将第一图像和第二图像分别采用小波-Contourlet变换得到两个图像组,图像组中包括第一图像或第二图像的多尺度多方向四层分解图像,在两个图像组中的同一层分解图像上利用PCNN全局耦合性质和同步脉冲发放特性,并结合结构相似度算子进行融合,得到四个融合图像层,将四个融合图像层进行重构,得到待检测景象的拍摄图像。
该应用于海天背景下舰船检测领域的中长波红外图像融合方法在红外目标检测中的“单帧检测与多帧确认相结合”思想的基础上进行改进,将待检测景象被拍摄到的原始中长波红外图像的有效信息结合到一起,实现将多帧的信息融合在一起的目的,在保证待检测景象的图像信息真实有效的前提下,减缩了“单帧检测与多帧确认相结合”思想中检测和对比的过程,提高了检测过程的效率和准确性,从而实现了检测实时性的提高,有利于应对检测机动性的高要求,将该图像融合方法应用于舰船检测领域,从而缓解了现有舰船检测技术实时性和机动性较差的技术问题。
本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的一种应用于海天背景下舰船检测领域的中长波红外图像融合方法的流程图;
图2为本发明实施例一提供的一种在两个所述图像组的同一层所述分解图像上分别运行相应的所述PCNN,得到对应图像的索引图的方法流程图;
图3为本发明实施例二提供的一种应用于海天背景下舰船检测领域的中长波红外图像融合装置的结构框图;
图4为本发明实施例二提供的一种融合模块的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
现有的舰船检测技术,从硬件技术上来说,低轨道卫星在观测范围、实时性、连续性动态观测方面已难以满足相关应用的需求;而高分辨率地球同步轨道遥感技术尚处于发展阶段,在海上舰船监视监测应用方面,尚未深入开展研究。从检测方法上来说,红外目标检测的方法主要采用了单帧检测和多帧确认相结合的思想,在连续性动态观测方面已难以满足相关应用的需求。基于此,本发明实施例提供的一种应用于舰船检测的中长波红外图像融合方法及装置,可以缓解现有舰船检测技术实时性和机动性较差的技术问题。
实施例一
本发明实施例提供的一种应用于海天背景下舰船检测领域的中长波红外图像融合方法,如图1所示,包括:
步骤S102,获取第一图像和第二图像,其中,第一图像和第二图像分别是待检测景象的中波红外图像和长波红外图像;
步骤S104,将第一图像和第二图像分别采用小波-Contourlet变换得到两个图像组,图像组中包括第一图像或第二图像的多尺度多方向四层分解图像;
步骤S106,在两个图像组中的同一层分解图像上利用PCNN全局耦合性质和同步脉冲发放特性,并结合结构相似度算子进行融合,得到四个融合图像层;
步骤S108,将四个融合图像层进行重构,得到待检测景象的拍摄图像。
需要说明的是,图像组中包括第一图像或第二图像的多尺度多方向四层分解图像,即,两个图像组中的一个图像组包括第一图像的多尺度多方向四层分解图像,而两个图像组中的另一个图像组包括第二图像的多尺度多方向四层分解图像。
此外,四个融合图像层中的每个融合图像层是将两个图像组中的同一层分解图像融合后得到的。
在本发明实施例中,应用于海天背景下舰船检测领域的中长波红外图像融合方法包括:获取第一图像和第二图像,其中,第一图像和第二图像分别是待检测景象的中长波红外图像;然后,将第一图像和第二图像分别采用小波-Contourlet变换得到两个图像组,图像组中包括第一图像或第二图像的多尺度多方向四层分解图像,在两个图像组中的同一层分解图像上利用PCNN全局耦合性质和同步脉冲发放特性,并结合结构相似度算子进行融合,得到四个融合图像层,将四个融合图像层进行重构,得到待检测景象的拍摄图像。该方法将待检测景象被拍摄到的原始中长波红外图像的有效信息结合到一起,在保证待检测景象的图像信息真实有效的前提下,提高了检测过程的效率和准确性,从而实现了检测实时性的提高,有利于应对检测机动性的高要求,将该图像融合方法应用于舰船检测领域,从而缓解了现有舰船检测技术实时性和机动性较差的技术问题。
本发明实施例的一个可选实施方式中,步骤S104,将第一图像和第二图像分别采用小波-Contourlet变换得到两个图像组,包括:
对第一图像和第二图像在空间上进行配准,得到第一新图像和第二新图像;
对第一新图像进行WBCT运算,得到第一图像组,且第一图像组包括第一新图像多尺度多方向的三个高频分量的子带及一个低频分量的子带;
对第二新图像进行WBCT运算,得到第二图像组,且第二图像组包括第二新图像多尺度多方向的三个高频分量的子带及一个低频分量的子带,其中,
第一图像组和第二图像组所属于两个图像组。
具体地,对目标图像(包括第一新图像或第二新图像)进行WBCT (Wavelet-basedContourlet Transform)运算,得到目标图像多尺度多方向的三个高频分量的子带及一个低频分量的子带,即,
先对目标图像进行四层离散小波变换,得到不同空间分辨力上图像序列,详细计算过程如下:
设矩阵Ak是在空间分辨力2k上对目标图像的多分辨分析(1≤k ≤4),根据Mallat算法,有:
Figure BDA0001662582480000081
其中,Ak-1
Figure BDA0001662582480000082
依次是在空间分辨力2k-1上的一个低频分量和三个高频分量的子带信号,Z是整数集,
Figure BDA0001662582480000083
构成正交镜像滤波器对。
此后,在对应尺度空间k上采用方向滤波器组(DFB),分别得到LH、HL和HH三个高频子带的2k个方向子带。
本发明实施例的另一个可选实施方式中,如图2所示,步骤S106,在两个图像组中的同一层分解图像上利用PCNN全局耦合性质和同步脉冲发放特性,并结合结构相似度算子进行融合,得到四个融合图像层,包括:
步骤S201,构造两个结构相同的PCNN,且设定PCNN的预设网络参数,其中,一个PCNN与一个图像组相对应;
步骤S202,在两个图像组的同一层分解图像上分别运行相应的 PCNN,得到对应图像的索引图;
步骤S203,采用预设融合策略,得到四个融合图像层,其中,预设融合策略为基于区域结构相似度和索引图值而进行融合的融合策略。
具体地,设第一图像和第二图像的图像大小为M×N,则构造的每个PCNN可以为M×N的单层网络。
进一步,本发明实施例中所构造的PCNN(Pulse Coupled Neural Network的缩写,也即脉冲耦合神经网络)可以采用改进模型的 PCNN,改进内容如下:
1)PCNN中各神经元的反馈输入Fij[n]只接收外部刺激输入Sij,即:Fij[n]=Sij[n];
2)链接域中,W、VL和αL等各参数的取值对所有神经元都相同,其中,αL为Lij[n]的衰减时间常数,
Figure BDA0001662582480000091
3)变阈值函数中Vθ和αθ等各参数的取值对所有神经元都相同;
4)引入阈值查找表LT(k)和索引图Iij
需要说明的是,阈值查找表记录了与网络运行次数对应的阈值。索引图记录了全部像素的点火时间,是输入图像中空间相邻的相似像素的整合结果,体现的是输入图像的整体视觉特征。
最终得到的PCNN模型可用下面的公式表示:
Fij[n]=Sij
Lij[n]=VL∑wijklYkl[n-1],
Uij[n]=Fij[n](1+βLij[n]),
Figure BDA0001662582480000101
Figure BDA0001662582480000102
Figure BDA0001662582480000103
Iij[n]=Q-n,
Figure BDA0001662582480000104
Figure BDA0001662582480000105
Figure BDA0001662582480000106
其中,Fij[n]为树突的反馈输入,Lij[n]为线性连接输入,Sij为外部输入刺激信号,Uij[n]为内部活动项,LT(k)为阈值查找表,Iij[n]为索引图,θij[n]为动态门限值,Yij[n]为PCNN脉冲输出;内部连接矩阵W的wijkl对应Lij[n]中Ykl[n-1]的加权系数,β为突触之间连接强度常数,VL和Vθ分别为Lij[n]和θij[n]中的固有电势(放大系数),αθ为θij[n]的衰减时间常数;t1和t2分别为图像中灰度值最大像素和最小像素的自然点火时间;n为网络的运行次数,n=1,2,…,Q-1,Q,Q为最大运行次数;Δt为时间采样间隔。
本发明实施例的另一个可选实施方式中,步骤S202,在两个图像组的同一层分解图像上分别运行相应的PCNN,得到对应图像的索引图,包括:
通过预设网络参数得到PCNN的最大运行次数和阈值查找表;
基于最大运行次数和阈值查找表,在两个图像组的同一层分解图像上分别运行相应的PCNN,得到对应图像的索引图。
具体地,通过预设网络参数得到PCNN的最大运行次数和阈值查找表,是基于上述PCNN模型,在Vθ和αθ取值确定的情况下,通过图像最大像素Sij_max和最小像素Sij_min的自然点火时间,自动得到了网络的最大运行次数Q,详细过程如下:
首先,结合图像源和融合方法,给预设网络参数Vθ、αθ和Δt选取值,而Lij[n],Uij[n],θij[n]和Yij[n]的初始值设为零。
接下来,当n=1时,因为Lij[1]=0,则Uij[1]=Fij[1]=Sij,θij[1]=LT(Q-1)=Sij_max,即此时所有神经元的阈值为Sij_max,对应的反馈输入中值为Sij_max的神经元将自然点火。神经元点火后,输出Yij[1]=1,其对应的阈值迅速变为Vθ(一般Vθ>Sij_max),使得点火神经元将不会再被点火。与此同时,点火神经元的索引值将标记为Iij=N-1,不再改变。
随着网络的运行次数n的增加,阈值θij[n]逐渐减小,点火的神经元将通过连接域激励相邻的神经元。如果相邻神经元的内部行为 Uij[n]大于等于阈值θij[n],则该神经元将被捕获点火;如果神经元没有相邻神经元的激励作用而其内部行为Uij[n]大于等于阈值θij[n],则该神经元将会自然点火。
当网络运行到n=Q时,阈值θij[N]=LT(0)=Sij_min,对于反馈输入为 Sij_min的神经元,即使在没有相邻神经元激励的情况下,也将会自然点火。
由上述过程还可以看出:(a)通过最多Q次的网络运行,所有的神经元将会被点火而且仅一次。(b)如果神经元Sij在第n次运行时发生点火,则其索引图Iij[n]固定为Q-n,不再随着网络的运行发生改变,因而,索引图Iij记录了所有神经元的点火时间,是输入图像时空整合的结果。
本发明实施例中,由于PCNN网络运行中的变阈值是通过查找表方式获得,不需要复杂的指数运算,缩短了网络运行的时间。同时,网络运行最大次数的自动获取,不但保证了网络运行的确定性,而且使得每个神经元点火仅一次,增加了网络运行的效率。
具体地,步骤S203,采用预设融合策略,得到四个融合图像层的实施过程中:
(1)对于两个图像组中低频分量子带融合的系数选择
如果两幅分解图像A和B对应像素的索引值比较接近,则融合图像层的像素值取两幅分解图像相应像素的加权平均值;
如果两幅分解图像A和B对应索引值差别比较大,则融合图像层的像素值取索引值较大的像素值。具体的计算过程可用下式表示:
Figure BDA0001662582480000121
其中,i=1,2,…,M,j=1,2,…,N,A(i,j)为分解图像A第i行第j列的像素值,IA(i,j)为分解图像A第i行第j列的索引值;B(i,j)为分解图像B第i行第j列的像素值,IB(i,j)为分解图像B第i行第j列的索引值;ε为预设参数。对图像中的全部像素依次进行处理,就得到了最终的融合图像层F。
(2)对于两个图像组中高频分量子带融合的系数选择
采用区域结构相似度LSSIMA,B和索引图值I相结合的融合规则,得到如下所示的加权融合规则:
Figure BDA0001662582480000131
其中,
Figure BDA0001662582480000132
Figure BDA0001662582480000133
分别为融合图像层F和分解图像 A、B的第l层第k个方向子带,T为与LSSIMA,B有关的阈值(一般取值0.5~1),α(i,j)为加权系数,且α(i,j)的取值如下:
Figure BDA0001662582480000134
本发明实施例的另一个可选实施方式中,步骤S108,将四个融合图像层进行重构,得到待检测景象的拍摄图像,包括:
对四个融合图像层进行反WBCT运算,以将四个融合图像层重构成一个重构图像;
将重构图像确定为待检测景象的拍摄图像。
需要说明的是,在舰船检测过程中,将重构图像确定为待检测景象的拍摄图像后,则进一步利用不同舰船类型的长宽比等几何特性对待检测景象的拍摄图像进行测评,就可实现舰船识别与检测的目的。
实施例二
本发明实施例提供的一种应用于海天背景下舰船检测领域的中长波红外图像融合装置,如图3所示,包括:
获取模块,用于获取第一图像和第二图像,其中,第一图像和第二图像分别是待检测景象的中波红外图像和长波红外图像;
变换模块,用于将第一图像和第二图像分别采用小波-Contourlet 变换得到两个图像组,图像组中包括第一图像或第二图像的多尺度多方向四层分解图像;
融合模块,用于在两个图像组中的同一层分解图像上利用PCNN 全局耦合性质和同步脉冲发放特性,并结合结构相似度算子进行融合,得到四个融合图像层;
重构模块,用于将四个融合图像层进行重构,得到待检测景象的拍摄图像。
在本发明实施例中,应用于海天背景下舰船检测领域的中长波红外图像融合装置包括:获取模块、变换模块、融合模块和重构模块,获取模块获取到的第一图像和第二图像分别是待检测景象的中波红外图像和长波红外图像,使得在保证待检测景象的图像信息真实有效的前提下,丰富了图像的信息量;然后变换模块、融合模块和重构模块得到待检测景象的拍摄图像。该装置将待检测景象被拍摄到的原始中长波红外图像的有效信息结合到一起,在保证待检测景象的图像信息真实有效的前提下,提高了检测过程的效率和准确性,从而实现了检测实时性的提高,有利于应对检测机动性的高要求,将该图像融合方法应用于舰船检测领域,从而缓解了现有舰船检测技术实时性和机动性较差的技术问题。
本发明实施例的一个可选实施方式中,变换模块用于:
对第一图像和第二图像在空间上进行配准,得到第一新图像和第二新图像;
对第一新图像进行WBCT运算,得到第一图像组,且第一图像组包括第一新图像多尺度多方向的三个高频分量的子带及一个低频分量的子带;
对第二新图像进行WBCT运算,得到第二图像组,且第二图像组包括第二新图像多尺度多方向的三个高频分量的子带及一个低频分量的子带,其中,
第一图像组和第二图像组所属于两个图像组。
本发明实施例的另一个可选实施方式中,如图4所示,融合模块包括:
构造单元,用于构造两个结构相同的PCNN,且设定PCNN的预设网络参数,其中,一个PCNN与一个图像组相对应;
运行单元,用于在两个图像组的同一层分解图像上分别运行相应的PCNN,得到对应图像的索引图;
融合单元,用于采用预设融合策略,得到四个融合图像层,其中,预设融合策略为基于区域结构相似度和索引图值而进行融合的融合策略。
本发明实施例的另一个可选实施方式中,运行单元用于:
通过预设网络参数得到PCNN的最大运行次数和阈值查找表;
基于最大运行次数和阈值查找表,在两个图像组的同一层分解图像上分别运行相应的PCNN,得到对应图像的索引图。
本发明实施例的另一个可选实施方式中,重构模块用于:
对四个融合图像层进行反WBCT运算,以将四个融合图像层重构成一个重构图像;
将重构图像确定为待检测景象的拍摄图像。
本发明实施例所提供的应用于海天背景下舰船检测领域的中长波红外图像融合方法及装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
另外,在本发明实施例的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备 (可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器 (RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种应用于海天背景下舰船检测领域的中长波红外图像融合方法,其特征在于,包括:
获取第一图像和第二图像,其中,所述第一图像和所述第二图像分别是待检测景象的中波红外图像和长波红外图像;
将所述第一图像和所述第二图像分别采用小波-Contourlet变换得到两个图像组,所述图像组中包括所述第一图像或所述第二图像的多尺度多方向四层分解图像;
在两个所述图像组中的同一层所述分解图像上利用PCNN全局耦合性质和同步脉冲发放特性,并结合结构相似度算子进行融合,得到四个融合图像层;
将四个所述融合图像层进行重构,得到所述待检测景象的拍摄图像;其中,
在两个所述图像组中的同一层所述分解图像上利用PCNN全局耦合性质和同步脉冲发放特性,并结合结构相似度算子进行融合,得到四个融合图像层,包括:
构造两个结构相同的PCNN,且设定所述PCNN的预设网络参数,其中,一个所述PCNN与一个所述图像组相对应;
在两个所述图像组的同一层所述分解图像上分别运行相应的所述PCNN,得到对应图像的索引图;
采用预设融合策略,得到四个所述融合图像层,其中,所述预设融合策略为基于区域结构相似度和索引图值而进行融合的融合策略;
其中,所述预设融合策略为:
Figure FDA0002787671520000011
Figure FDA0002787671520000012
为融合图像层的第l层第k个方向子带,
Figure FDA0002787671520000013
为所述第一图像的分解图像的第l层第k个方向子带,
Figure FDA0002787671520000014
为所述第二图像的分解图像的第l层第k个方向子带,α(i,j)为加权系数,且α(i,j)的取值如下:
Figure FDA0002787671520000021
融合图像层F(i,j)的取值如下:
Figure FDA0002787671520000022
i=1,2,……,M,j=1,2,……,N,A(i,j)为第一图像的分解图像第i行第j列的像素值,IA(i,j)为第一图像的分解图像第i行第j列的索引值;B(i,j)为第二图像的分解图像第i行第j列的像素值,IB(i,j)为第二图像的分解图像第i行第j列的索引值;ε为预设参数,LSSIMA,B(i,j)为第一图像的分解图像与第二图像的分解图像的结构相似度,T为预设的结构相似度阈值。
2.根据权利要求1所述的方法,其特征在于,将所述第一图像和所述第二图像分别采用小波-Contourlet变换得到两个图像组,包括:
对所述第一图像和所述第二图像在空间上进行配准,得到第一新图像和第二新图像;
对所述第一新图像进行WBCT运算,得到第一图像组,且所述第一图像组包括所述第一新图像多尺度多方向的三个高频分量的子带及一个低频分量的子带;
对所述第二新图像进行WBCT运算,得到第二图像组,且所述第二图像组包括所述第二新图像多尺度多方向的三个高频分量的子带及一个低频分量的子带,其中,
所述第一图像组和所述第二图像组所属于两个所述图像组。
3.根据权利要求1所述的方法,其特征在于,在两个所述图像组的同一层所述分解图像上分别运行相应的所述PCNN,得到对应图像的索引图,包括:
通过所述预设网络参数得到所述PCNN的最大运行次数和阈值查找表;
基于所述最大运行次数和所述阈值查找表,在两个所述图像组的同一层所述分解图像上分别运行相应的所述PCNN,得到对应图像的索引图。
4.根据权利要求1所述的方法,其特征在于,将四个所述融合图像层进行重构,得到所述待检测景象的拍摄图像,包括:
对四个所述融合图像层进行反WBCT运算,以将四个所述融合图像层重构成一个重构图像;
将所述重构图像确定为所述待检测景象的拍摄图像。
5.一种应用于海天背景下舰船检测领域的中长波红外图像融合装置,其特征在于,包括:
获取模块,用于获取第一图像和第二图像,其中,所述第一图像和所述第二图像分别是待检测景象的中长波红外图像;
变换模块,用于将所述第一图像和所述第二图像分别采用小波-Contourlet变换得到两个图像组,所述图像组中包括所述第一图像或所述第二图像的多尺度多方向四层分解图像;
融合模块,用于在两个所述图像组中的同一层所述分解图像上利用PCNN全局耦合性质和同步脉冲发放特性,并结合结构相似度算子进行融合,得到四个融合图像层;
重构模块,用于将四个所述融合图像层进行重构,得到所述待检测景象的拍摄图像;其中,所述融合模块包括:
构造单元,用于构造两个结构相同的PCNN,且设定所述PCNN的预设网络参数,其中,一个所述PCNN与一个所述图像组相对应;
运行单元,用于在两个所述图像组的同一层所述分解图像上分别运行相应的所述PCNN,得到对应图像的索引图;
融合单元,用于采用预设融合策略,得到四个所述融合图像层,其中,所述预设融合策略为基于区域结构相似度和索引图值而进行融合的融合策略;
其中,所述预设融合策略为:
Figure FDA0002787671520000041
Figure FDA0002787671520000042
为融合图像层的第l层第k个方向子带,
Figure FDA0002787671520000043
为所述第一图像的分解图像的第l层第k个方向子带,
Figure FDA0002787671520000044
为所述第二图像的分解图像的第l层第k个方向子带,α(i,j)为加权系数,且α(i,j)的取值如下:
Figure FDA0002787671520000045
融合图像层F(i,j)的取值如下:
Figure FDA0002787671520000046
i=1,2,……,M,j=1,2,……,N,A(i,j)为第一图像的分解图像第i行第j列的像素值,IA(i,j)为第一图像的分解图像第i行第j列的索引值;B(i,j)为第二图像的分解图像第i行第j列的像素值,IB(i,j)为第二图像的分解图像第i行第j列的索引值;ε为预设参数,LSSIMA,B(i,j)为第一图像的分解图像与第二图像的分解图像的结构相似度,T为预设的结构相似度阈值。
6.根据权利要求5所述的装置,其特征在于,所述变换模块用于:
对所述第一图像和所述第二图像在空间上进行配准,得到第一新图像和第二新图像;
对所述第一新图像进行WBCT运算,得到第一图像组,且所述第一图像组包括所述第一新图像多尺度多方向的三个高频分量的子带及一个低频分量的子带;
对所述第二新图像进行WBCT运算,得到第二图像组,且所述第二图像组包括所述第二新图像多尺度多方向的三个高频分量的子带及一个低频分量的子带,其中,
所述第一图像组和所述第二图像组所属于两个所述图像组。
7.根据权利要求5所述的装置,其特征在于,所述运行单元用于:
通过所述预设网络参数得到所述PCNN的最大运行次数和阈值查找表;
基于所述最大运行次数和所述阈值查找表,在两个所述图像组的同一层所述分解图像上分别运行相应的所述PCNN,得到对应图像的索引图。
8.根据权利要求5所述的装置,其特征在于,所述重构模块用于:
对四个所述融合图像层进行反WBCT运算,以将四个所述融合图像层重构成一个重构图像;
将所述重构图像确定为所述待检测景象的拍摄图像。
CN201810471187.1A 2018-05-16 2018-05-16 海天背景下舰船检测的中长波红外图像融合方法及装置 Active CN108717689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810471187.1A CN108717689B (zh) 2018-05-16 2018-05-16 海天背景下舰船检测的中长波红外图像融合方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810471187.1A CN108717689B (zh) 2018-05-16 2018-05-16 海天背景下舰船检测的中长波红外图像融合方法及装置

Publications (2)

Publication Number Publication Date
CN108717689A CN108717689A (zh) 2018-10-30
CN108717689B true CN108717689B (zh) 2021-03-16

Family

ID=63899775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810471187.1A Active CN108717689B (zh) 2018-05-16 2018-05-16 海天背景下舰船检测的中长波红外图像融合方法及装置

Country Status (1)

Country Link
CN (1) CN108717689B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738166B (zh) * 2019-10-14 2023-04-18 西南大学 基于PCNN和PCANet的渔政监控系统红外目标识别方法及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5325449A (en) * 1992-05-15 1994-06-28 David Sarnoff Research Center, Inc. Method for fusing images and apparatus therefor
JP4510237B2 (ja) * 2000-06-16 2010-07-21 キヤノン株式会社 パターン検出装置及び方法、画像処理装置及び方法
CN1897035A (zh) * 2006-05-26 2007-01-17 上海大学 基于Contourlet变换的可见光与红外线图像融合方法
CN1873693B (zh) * 2006-06-27 2010-05-12 上海大学 基于Contourlet变换和改进型脉冲耦合神经网络的图像融合方法
CN102231205A (zh) * 2011-06-24 2011-11-02 北京戎大时代科技有限公司 一种多模监控装置及方法
CN104751432B (zh) * 2015-03-09 2017-06-16 电子科技大学 一种基于图像重构的可见光与红外图像融合方法
CN106327459B (zh) * 2016-09-06 2019-03-12 四川大学 基于udct和pcnn的可见光与红外图像融合方法
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法

Also Published As

Publication number Publication date
CN108717689A (zh) 2018-10-30

Similar Documents

Publication Publication Date Title
Zhang et al. One-two-one networks for compression artifacts reduction in remote sensing
Xiao et al. Removing stripe noise from infrared cloud images via deep convolutional networks
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN110516728B (zh) 基于去噪卷积神经网络的极化sar地物分类方法
CN113837974B (zh) 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法
CN110097617B (zh) 基于卷积神经网络与显著性权重的图像融合方法
Sharma et al. From pyramids to state‐of‐the‐art: a study and comprehensive comparison of visible–infrared image fusion techniques
Li et al. Research on wavelet-based contourlet transform algorithm for adaptive optics image denoising
CN112669249A (zh) 结合改进nsct变换和深度学习的红外与可见光图像融合方法
Ponmani et al. Image denoising and despeckling methods for SAR images to improve image enhancement performance: a survey
CN116310634A (zh) 面向多源遥感数据的融合图像模型训练方法、生成方法及装置
CN109978802B (zh) 基于nsct和pcnn的压缩感知域内的高动态范围图像融合方法
CN108717689B (zh) 海天背景下舰船检测的中长波红外图像融合方法及装置
Petrovic et al. Cross-band pixel selection in multiresolution image fusion
Selvaraj et al. Infrared and visible image fusion using multi‐scale NSCT and rolling‐guidance filter
CN114067217A (zh) 基于非下采样分解转换器的sar图像目标识别方法
CN111461999B (zh) 一种基于超像素相似性测量的sar图像相干斑抑制方法
Chen et al. Attentive generative adversarial network for removing thin cloud from a single remote sensing image
CN109584192B (zh) 基于多光谱融合的目标特征增强方法、装置与电子设备
CN116051444A (zh) 一种有效的红外与可见光图像自适应融合方法
An et al. A Nsst-Based Fusion Method For Airborne Dual-Frequency, High-Spatial-Resolution Sar Images
Karaca et al. MultiTempGAN: multitemporal multispectral image compression framework using generative adversarial networks
Srivastava et al. Image fusion based on nonsubsampled contourlet transform
Sun et al. A novel multi-focus image fusion algorithm based on NSST-FRFT
Jin et al. HyA-GAN: remote sensing image cloud removal based on hybrid attention generation adversarial network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant