CN103295201A - 一种基于nsst域iicm的多传感器图像融合方法 - Google Patents
一种基于nsst域iicm的多传感器图像融合方法 Download PDFInfo
- Publication number
- CN103295201A CN103295201A CN2013102145301A CN201310214530A CN103295201A CN 103295201 A CN103295201 A CN 103295201A CN 2013102145301 A CN2013102145301 A CN 2013102145301A CN 201310214530 A CN201310214530 A CN 201310214530A CN 103295201 A CN103295201 A CN 103295201A
- Authority
- CN
- China
- Prior art keywords
- frequency sub
- images
- band
- image
- cloth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于NSST域IICM的多传感器图像融合方法,步骤1:构建IICM模型;步骤2,输入所有待融合的多传感器源图像进行NSST变换,每幅待融合多传感器源图像分别得到一幅低频子带图像和多幅高频子带图像;步骤3,将所有高频子带图像和低频子带图像导入IICM模型,完成低频子带图像的融合和高频子带图像的融合;步骤4,将最终融合图像的高频子带图像和低频子带图像进行NSST逆变换,得到最终融合图像。该方法针对经典ICM模型提出其改进模型—IICM,利用NSST完成多传感器源图像的多分辨率分析和最终融合图像的重构工作,采用IICM进行高、低频子带图像融合,使多传感器图像融合问题得到合理解决。
Description
技术领域
本发明属于图像信息融合技术领域,具体涉及一种基于NSST域IICM的多传感器图像融合方法。
背景技术
图像融合是指针对不同传感器或同一传感器在不同工作模式下获取的关于同一场景的图像目标信息进行整合,充分利用各幅源图像中所包含的互补信息,以获取一幅内容更全面、信息更可靠的融合图像。图像传感器技术的飞速发展为人们提供了日益丰富的多传感器图像数据。然而,作为对立面,这些大量多角度、多层次的图像数据既存在互补性,又充斥着极大的冗余性和复杂性。因此,如何从这些兼有互补性和冗余性的多源海量数据中高效率地提取更可靠、更精炼、更准确的信息,已经成为图像融合领域迫切需要解决的热点问题。
近年来,国内外专家学者针对图像融合问题提出了诸多解决办法和研究途径,其中较为主流的方法主要有以下两类:一类是以非下采样轮廓波变换(NSCT)为代表的多尺度多分辨率分析方法;另一类是以第三代神经网络—脉冲耦合神经网络(PCNN)为代表的神经网络方法。针对前一类方法,虽然NSCT具有良好的图像处理性能,但其计算复杂度较高,难以适用于实时性要求较高的场合。为解决这一问题,Easley等人在研究图像特征最优逼近和图像稀疏表示的基础上提出了非下采样剪切波变换(NSST),与NSCT相比,NSST更能有效地捕捉图像的细节和特征信息,同时计算复杂度指标大幅降低,能够很好地应用于军事、医疗等实时性要求较高的实际场合。此外,交叉视觉皮层模型(ICM)作为经典PCNN的改进模型,具有良好的生物学背景和图像处理能力,然而,经典ICM模型中仍然存在待定系数较多,脉冲发放机制不明确的缺陷。
发明内容
针对上述现有技术中存在的缺陷或不足,本发明的目的在于,提供一种基于NSST域IICM的多传感器图像融合方法,该方法针对经典ICM模型提出其改进模型—IICM,一方面利用NSST完成多传感器源图像的多分辨率分析和最终融合图像的重构工作,另一方面采用IICM进行高、低频子带图像融合,从而使多传感器图像融合问题的合理解决。
为了达到上述目的,本发明采用如下的技术方案予以解决:
一种基于NSST域IICM的多传感器图像融合方法,该方法具体包括以下步骤:
步骤1,构建IICM模型,IICM模型的离散数学表达式如式1~式4所示:
Fij[n]=Sij(1)
θij[n]=θij[n-1]-Δ+hYij[n](3)
其中,下标ij为交叉视觉皮层神经元的定位标号;n为迭代次数,n的取值为非负整数;Fij,Sij,Yij,θij分别是定位标号为ij的神经元的树突输入、神经元的外部输入、神经元的二值输出和动态阈值;Sij采用图像中像素点对应的像素值;Δ为调整步长,取15;h为阈值幅度常数,取500;T为时间矩阵,其与神经元输出矩阵Y大小相等,其元素Tij与Yij相联系,Tij等于Yij为1时即神经元ij点火时所对应的迭代次数n的值;
步骤2,输入所有待融合的多传感器源图像,并对它们分别进行NSST变换,尺度分解级数为K,lk为k尺度下的方向分解级数,其中1≤k≤K,每幅待融合多传感器源图像分别得到一幅低频子带图像和多幅高频子带图像;
步骤3,将所有高频子带图像和低频子带图像导入步骤1构建的IICM模型,根据预先设定的调整步长Δ,执行步骤3.1完成低频子带图像的融合,执行步骤3.2完成高频子带图像的融合;
步骤4,将步骤3获得的最终融合图像的高频子带图像和最终融合图像的低频子带图像进行NSST逆变换,得到最终融合图像。
进一步的,所述步骤3中步骤3.1的具体步骤如下:
根据待融合多传感器源图像的低频子带图像,利用式5确定调整步长Δn_low,并利用式1~式4将各幅待融合多传感器源图像对应的低频子带图像分别导入IICM模型,从最左上角的神经元开始运行,遍历所有低频子带图像,记录每幅低频子带图像的时间矩阵T中的对应元素值Tij,并利用式6确定最终融合图像的低频子带图像fuse_low:
其中,N代表待融合多传感器源图像的数目,为大于1的整数;Δn_low为第n幅待融合多传感器源图像所对应的低频子带图像的调整步长;下标ij为交叉视觉皮层神经元的定位标号;为第n幅低频子带图像中像素点的最大灰度值;“”为“向上取整”操作;fuse_lowij为最终融合图像的低频子带图像中的像素点,为在相同像素点空间坐标ij处,每幅低频子带图像中对应时间矩阵T中的最小元素值;arg为“求逆”操作,即将N幅低频子带图像中相同像素点位置对应时间矩阵T中最小元素值的灰度值赋予最终融合图像的低频子带图像中的像素点。
进一步的,所述步骤3中步骤3.2的具体步骤如下:
根据待融合多传感器源图像的高频子带图像,利用式7确定调整步长Δn_high,并利用式1~式4将各幅待融合多传感器源图像对应的高频子带图像分别导入IICM模型,从最左上角的神经元开始运行,遍历所有高频子带图像,记录每幅高频子带图像的时间矩阵T中的对应元素值Tij,并利用式8确定最终融合图像的高频子带图像fuse_high:
其中,N代表待融合多传感器源图像的数目,为大于1的整数;Δn_high为第n幅待融合多传感器源图像所对应的高频子带图像的调整步长;下标ij为像素点的空间坐标;lk为k尺度分解下的方向分解级数,为第n幅源图像中lk方向分解级数下的高频子带图像中像素点的最大灰度值;为最终lk方向分解级数下的最终融合图像的高频子带图像中的像素点,为在相同像素点空间坐标ij处,各幅源图像中lk方向分解级数下的高频子带图像中对应时间矩阵T中的最小元素值;arg为“求逆”操作,即将N幅lk方向分解级数下的高频子带图像中,相同像素点位置对应时间矩阵T中最小元素值的灰度值赋予最终lk方向分解级数下高频融合图像中的像素点。
以下结合附图和具体实施方式对发明进一步解释说明。
附图说明
图1为本发明方法的流程图。
图2为仿真实验的源图像图;其中,图2(a)为8-band SAR图像;图2(b)为3-band SAR图像。
图3为仿真实验的效果仿真图;其中,图3(a)为A1仿真结果;图3(b)为A2仿真结果;图3(c)为A3仿真结果;图3(d)为A4仿真结果;图3(e)为本发明的方法仿真结果。
具体实施方式
将多分辨率分析方法应用于图像融合领域时,融合方法和融合规则的选取对于最终融合图像的视觉效果和客观评价结果有着至关重要的作用和影响。人工神经网络模型模拟了人脑神经元的运行机制,在图像处理领域有着较为广泛的应用。PCNN是一种不同于传统人工神经网络的新型神经网络,有着重要的生物学背景,是由Eckhorn等人为解释在猫的大脑视觉皮层中实验所观察到的与特征有关的神经元同步行为现象而提出的第三代神经网络模型。ICM在其基础上进行了一定程度的简化与改进,并在图像处理领域中表现出良好的性能。本发明对经典ICM模型进一步改进,提出了IICM模型,并在NSST域内得到的一系列高、低频子带图像对应为IICM神经元结构图,利用IICM模型中的神经元脉冲发放机制、调整步长Δ和时间矩阵T对高、低频子带图像进行融合,考虑到所有子带图像的像素点均可以对应为相应的神经元,因此采用神经网络模型进行子带图像系数的选择工作是合理和可行的。
本发明的基于NSST域IICM的多传感器图像融合方法,具体包括以下步骤:
步骤1,构建IICM模型,确定IICM中各待定参数的确定方法;
IICM模型的离散数学表达式如式1~式4所示:
Fij[n]=Sij(1)
θij[n]=θij[n-1]-Δ+hYij[n](3)
其中,下标ij为交叉视觉皮层神经元的定位标号;n为迭代次数,n的取值为非负整数;Fij,Sij,Yij,θij分别是定位标号为ij的神经元的树突输入、神经元的外部输入、神经元的二值输出和动态阈值;Sij在本发明中采用图像中像素点对应的像素值,因此无需对其进行人工设定;Δ为调整步长,其用来确保各神经元阈值呈线性衰减趋势运行,本发明中取15;h为阈值幅度常数,用来限制每个神经元至多只点火1次,因而只需将其赋予一个较大的数值即可满足要求,本发明中将其设为500;T为时间矩阵,其与神经元输出矩阵Y大小相等,其元素Tij与Yij相联系,Tij等于Yij为1时即神经元ij点火时所对应的迭代次数n的值;Yij[n]决定了该神经元第n次迭代时的二值输出,若树突输入Fij大于动态阈值θij,则Yij为1,为自然点火,同时由于阈值幅度常数h的作用,其动态阈值θij将急剧增大。当动态阈值θij衰减到再次小于相应的树突输入值Fij时,对应的神经元将再次点火,同时其动态阈值θij也随之再次增大。随着这一过程的延续,神经元的二值输出Yij将生成一组脉冲序列信号。
步骤2,输入所有待融合的多传感器源图像,并对它们分别进行NSST变换(即非下采样剪切波变换,由于NSST变换为现有技术,因此在此不予赘述),尺度分解级数为K,lk为k尺度下的方向分解级数,其中1≤k≤K,每幅待融合多传感器源图像分别得到一幅低频子带图像和多幅高频子带图像;
需要说明的是,NSST的离散化过程分为多尺度分解过程和多方向分解过程两部分,多尺度分解采用非下采样金字塔(Non-Subsampled Pyramid,NSP)分解方式,源图像每经一级NSP分解可产生1个低频子带图像和1个高频子带图像,以后每一级NSP分解都在低频分量上迭代进行以获取源图像中的奇异点。因而,源图像经k级NSP分解后,可得到k+1幅与源图像具有相同尺寸大小的子带图像,其中包括1幅低频子带图像和k幅大小相同但尺度不同的高频子带图像。NSST的多方向分解是针对多尺度分解过程得到的高频子带图像而进行的,整个过程可直接通过二维卷积完成,摒弃了下采样环节从而实现了NSST的平移不变性。当NSST对某尺度高频子带图像进行l级非下采样剪切波方向分解时,可得到2l+2个与源图像具有相同尺寸大小的方向子带图像,从而实现频域中更为精确的方向分解。不同于二维离散小波的正方形支撑区间,NSST的支撑基是一对尺寸近似为22j×2j的梯形支撑区间。
步骤3,将所有高频子带图像和低频子带图像导入步骤1构建的IICM模型,根据预先设定的调整步长Δ,执行步骤3.1完成低频子带图像的融合,执行步骤3.2完成高频子带图像的融合,具体操作如下:
步骤3.1,根据待融合多传感器源图像的低频子带图像,利用式5确定调整步长Δn_low,并利用式1~式4将各幅待融合多传感器源图像对应的低频子带图像分别导入IICM模型,从最左上角的神经元开始运行,遍历所有低频子带图像,记录每幅低频子带图像的时间矩阵T中的对应元素值Tij(即每个神经元的点火序列),并利用式6确定最终融合图像的低频子带图像fuse_low:
其中,N代表待融合多传感器源图像的数目,为大于1的整数;Δn_low为第n幅待融合多传感器源图像所对应的低频子带图像的调整步长;下标ij为交叉视觉皮层神经元的定位标号;为第n幅低频子带图像中像素点的最大灰度值;“”为“向上取整”操作;fuse_lowij为最终融合图像的低频子带图像中的像素点,为在相同像素点空间坐标ij处,每幅低频子带图像中对应时间矩阵T中的最小元素值;arg为“求逆”操作,即将N幅低频子带图像中相同像素点位置对应时间矩阵T中最小元素值的灰度值赋予最终融合图像的低频子带图像中的像素点。
步骤3.2,根据待融合多传感器源图像的高频子带图像,利用式7确定调整步长Δn_high,并利用式1~式4将各幅待融合多传感器源图像对应的高频子带图像分别导入IICM模型,从最左上角的神经元开始运行,遍历所有高频子带图像,记录每幅高频子带图像的时间矩阵T中的对应元素值Tij(即每个神经元的点火序列),并利用式8确定最终融合图像的高频子带图像fuse_high:
其中,N代表待融合多传感器源图像的数目,为大于1的整数;Δn_high为第n幅待融合多传感器源图像所对应的高频子带图像的调整步长;下标ij为像素点的空间坐标;lk为k尺度分解下的方向分解级数,为第n幅源图像中lk方向分解级数下的高频子带图像中像素点的最大灰度值;为最终lk方向分解级数下的高频融合图像(即由待融合多传感器源图像所对应的多幅高频子带图像融合后的图像,也即最终融合图像的高频子带图像)中的像素点,为在相同像素点空间坐标ij处,各幅源图像中lk方向分解级数下的高频子带图像中对应时间矩阵T中的最小元素值;arg为“求逆”操作,即将N幅lk方向分解级数下的高频子带图像中,相同像素点位置对应时间矩阵T中最小元素值的灰度值赋予最终lk方向分解级数下高频融合图像中的像素点。
步骤4,将步骤3获得的最终融合图像的高频子带图像和最终融合图像的低频子带图像进行NSST逆变换(NSST逆变换为现有技术,在此不予赘述),得到最终融合图像。
实施例:
本发明的方法在实际应用时,采用计算机MATLAB软件技术实现自动运行。为了更好地对本发明的技术方案加以理解,本实施例选用两幅SAR图像进行融合。参见图1,图中将8-band SAR图像记为“8-band”,3-band SAR图像记为“3-band”,最终融合图像记为“F”;遵循本发明的技术方案,本实施例的基于NSST域IICM的多传感器融合方法,具体包括如下步骤:
步骤1,输入8-band SAR图像和3-band SAR图像,运用NSST变换(由于NSST变换为现有技术,在此不予赘述)对8-band SAR图像和3-band SAR图像进行多尺度多方向分解,其中多尺度分解级数定为3级,按照由“粗”至“细”的分辨率层,多方向分解级数依次为2,3,4,对应的剪切波窗口尺寸分别为3,5,9。分别得到该两幅源图像的子带图像,包括2幅低频子带图像:low8-band和low3-band,68幅高频子带图像:其中多尺度分解I级下各6幅高频子带图像、多尺度分解II级下各10幅高频子带图像、多尺度分解III级下各18幅高频子带图像。方便起见,这里将两幅源图像的高频子带图像记为high8-band和high3-band;
步骤2,根据所述的IICM模型,运用其中的神经元脉冲发放机制、调整步长Δ和时间矩阵T对高、低频子带图像进行融合,其中,执行步骤2.1得到最终融合图像的低频子带图像,执行步骤2.2得到最终融合图像的高频子带图像。
经历了NSST变换后的低频子带图像侧重于反映图像的主体特征和背景信息,是对整幅图像强度的综合度量。以图1中的两幅SAR源图像为例,经NSST变换后,该两幅SAR源图像分别得到一幅对应的低频子带图像,低频子带图像将反映出其对应的SAR源图像的主体特征和背景信息。另一方面,经过NSST变换后的高频子带图像主要侧重于反映图像目标的细节信息,是对整幅图像边缘和轮廓的细致度量。
此外,由于两幅源图像分别为8-band图像和3-band图像,因此,其对应的低频子带图像也分别具有8-band、3-band的SAR图像特征,对应的高频子带图像也由于源图像的固有差异、不同尺度不同方向分解下所描述的信息差异分别具有8-band、3-band的SAR图像特征,因此,某些可能在其中一幅图像中可以观测到的地面特征在另一幅图像中可能无法得到充分显示或不可见,因此,对高、低频系数采取常用的平均加权或是取最值法的融合规则进行融合无法充分考虑图像传感器的物理特性,势必在融合过程中造成信息特征的畸变。本发明的方法采用具备生物学背景的新型神经网络模型IICM进行融合规则的设计,运用其中的神经元脉冲发放机制、调整步长Δ和时间矩阵T对高、低频子带图像进行融合。
步骤2.1:采用IICM模型得出最终融合图像的低频子带图像,如图1中的F_low,具体操作如下:
根据待融合多传感器源图像的低频子带图像,利用式9确定调整步长Δn_low,并利用式1~式4将两幅SAR源图像对应的低频子带图像low8-band和low3-band分别导入IICM模型,从最左上角的神经元开始运行,遍历所有低频子带图像,记录每幅低频子带图像的时间矩阵T中的对应元素值(即每个神经元的点火序列),并利用式10确定最终融合图像的低频子带图像fuse_low:
其中,Δn_low为第n幅待融合多传感器源图像所对应的低频子带图像的相应调整步长,1≤n≤2;下标ij为像素点的空间坐标;为第n幅低频子带图像中像素点的最大灰度值;“”为“向上取整”操作;fuse_lowij为最终融合图像的低频子带图像中的像素点,为在相同像素点空间坐标ij处,每幅低频子带图像中对应时间矩阵T中的最小元素值;arg为“求逆”操作,即将2幅低频子带图像中相同像素点位置对应时间矩阵T中最小元素值的灰度值赋予最终融合图像的低频子带图像中的像素点。
执行步骤2.2采用IICM模型得出最终融合图像的高频子带图像,如图1中的F_high,具体方式如下:
根据待融合多传感器源图像的高频子带图像,利用式11确定调整步长Δn_high,并利用式1~式4将各幅待融合多传感器源图像对应的高频子带图像分别导入IICM模型,从最左上角的神经元开始运行,遍历所有高频子带图像,记录每幅高频子带图像的时间矩阵T中的对应元素值(即每个神经元的点火序列),并利用式12确定最终融合图像的高频子带图像fuse_high:
其中,Δn_high为第n幅待融合多传感器源图像所对应的高频子带图像的相应调整步长;下标ij为像素点的空间坐标;lk为k尺度分解下的方向分解级数,为第n幅源图像中lk方向分解级数下的高频子带图像中像素点的最大灰度值;为最终lk方向分解级数下的高频融合图像(即由原先待融合多传感器源图像所对应的多幅高频子带图像融合后的图像,为最终融合图像的高频子带图像)中的像素点,为在相同像素点空间坐标ij处,各幅源图像中lk方向分解级数下的高频子带图像中对应时间矩阵T中的最小元素值;arg为“求逆”操作,即将2幅lk方向分解级数下对应的高频子带图像中、相同像素点位置对应时间矩阵T中最小元素值的灰度值赋予最终lk方向分解级数下高频融合图像中的像素点。
步骤3,将步骤2得到的最终融合图像的低频子带图像F_low和高频子带图像F_high进行NSST逆变换(即图中的INSST,NSST逆变换为现有技术,在此不予赘述),得到最终融合图像F。
仿真对比试验:
为了验证本发明的方法的有效性,以下通过一组仿真实验来验证同现行的多种常规图像融合方法相比,采用本发明方法具有更好的合理有效性:
遵循本发明的技术方案,融合一组SAR源图像,该组源图像包括一幅8-band SAR图像(见图2(a))和一幅3-band SAR图像(见图2(b)),并将融合效果与现行的几种常规算法进行比较。首先,对两幅待融合源图像进行NSST变换;然后,采用本发明提出的IICM模型对NSST变换后产生的一系列高、低频子带图像进行融合处理;最后,对一系列融合子带图像进行NSST逆变换。同时,选取现行的几种常规算法包括shearlet变换(A1)、静态小波-NSCT-PCNN算法(A2)、NSST-PCNN算法(A3)以及NSCT-ICM算法(A4)与本发明对应算法进行比较。
图3给出了五种算法的仿真实验结果。不难看出,在融合图像中,各种算法均能较好地提取和保留源图像中的主体信息,然而,经过仔细观察可以发现,A1对应的融合图像由于shearlet变换不具备“平移不变性”而存在一定的“Gibbs”振铃效应,即虚假轮廓信息;A2和A3对应的融合图像由于PCNN迭代规则的局限性导致图像整体亮度较差,与其它几种算法的仿真结果存在明显差异;A4和本发明算法的仿真结果较为接近,这是由于A4采用了经典ICM模型,而在仔细比较后不难发现,本发明算法对应的融合图像相比A4具有更高的清晰度和更为理想的整体效果。
除了直观视觉效果比较以外,还选取了包括信息熵(IE)、标准差(SD)、平均梯度(AG)、互信息量(MI)以及结构相似度指标(SSIM)等作为五种算法的客观质量评价指标。其中,IE数值的大小表示图像所包含平均信息量的多少,IE越大表明图像的信息量越大;SD的数值反映了图像中细节反差的变化特征,SD越大,图像内容的反差就越大;AG数值的大小反映了图像的清晰程度,AG越大,图像越清晰;MI的数值反映了最终融合图像与待融合源图像的相似程度,MI越大,表明最终融合图像从待融合源图像中提取的信息越多;SSIM是一种用来衡量两幅图像相似度的新指标,其数值越大,代表最终融合图像与待融合源图像拥有更多的相似特征。表1给出了仿真实验中五种图像融合算法对应的最终融合图像的客观评价结果。
表1五种图像融合算法的客观评价结果
从表1的客观评价结果可以看出,本发明在IE、AG、MI、SSIM指标上均优于其它4种算法,即使在表现次优的SD评价指标上与A4对应的指标值也基本相当,这与直观视觉效果评价结果是吻合的,表明本发明算法能够从两幅待融合源图像中提取出更多、更细致的主体信息和边缘细节信息并注入到最终的融合图像中,从而得到直观视觉效果和客观评价结果均优的高质量融合图像。
此外,除了针对最终图像融合效果进行评价,表2还给出了五种图像融合算法平均计算复杂度对比结果。
表2五种图像融合算法的平均计算复杂度对比结果(单位:s)
由表2可知,A2与A4的平均计算复杂度远高于其它三种算法,这是因为A2、A4中都采用了NSCT作为源图像多尺度、多方向分解的分析工具,而NSCT模型本身具有较高的计算复杂度,因而致使两种算法的运行时间远超过其它算法。在A1、A3和本发明算法三种算法中,A3运行时间最长,本发明算法次之,A1算法运行时间最短,这是由于A1的运行机制最为简单,仅采用了shearlet变换模型;而A3采用了将NSST与PCNN相结合的机制用于解决图像融合问题,算法自身的复杂性要高于A1,而本发明算法采用了NSST与IICM相结合的机制,IICM是PCNN的改进型和简化型模型,因此运行时间少于A3,但高于A1。然而,即便如此,本发明算法在五种算法中仍然处于次优的地位,尤其考虑到其优越的图像融合性能,可以认为其在平均计算复杂度方面的瑕疵仍然是可以接受的。
综上所述,由本发明的方法与现行的几种常规算法比较可知,本发明无论在直观视觉效果还是客观评价指标均具有十分明显的优势,能够很好的对源图像进行融合处理,是一种可行的多传感器图像融合方法。
以上内容是结合最佳实施方案对本发明所做的进一步详细说明,不能认定本发明的具体实施只限于这些说明。本领域的技术人员应该理解,在不脱离由所附权利要求书限定的情况下,可以在细节上进行各种修改,都应当视为属于本发明的保护范围。
Claims (3)
1.一种基于NSST域IICM的多传感器图像融合方法,其特征在于,该方法具体包括以下步骤:
步骤1,构建IICM模型,IICM模型的离散数学表达式如式1~式4所示:
Fij[n]=Sij(1)
θij[n]=θij[n-1]-Δ+hYij[n](3)
其中,下标ij为交叉视觉皮层神经元的定位标号;n为迭代次数,n的取值为非负整数;Fij,Sij,Yij,θij分别是定位标号为ij的神经元的树突输入、神经元的外部输入、神经元的二值输出和动态阈值;Sij采用图像中像素点对应的像素值;Δ为调整步长,取15;h为阈值幅度常数,取500;T为时间矩阵,其与神经元输出矩阵Y大小相等,其元素Tij与Yij相联系,Tij等于Yij为1时即神经元ij点火时所对应的迭代次数n的值;
步骤2,输入所有待融合的多传感器源图像,并对它们分别进行NSST变换,尺度分解级数为K,lk为k尺度下的方向分解级数,其中1≤k≤K,每幅待融合多传感器源图像分别得到一幅低频子带图像和多幅高频子带图像;
步骤3,将所有高频子带图像和低频子带图像导入步骤1构建的IICM模型,根据预先设定的调整步长Δ,执行步骤3.1完成低频子带图像的融合,执行步骤3.2完成高频子带图像的融合;
步骤4,将步骤3获得的最终融合图像的高频子带图像和最终融合图像的低频子带图像进行NSST逆变换,得到最终融合图像。
2.如权利要求1所述的基于NSST域IICM的多传感器图像融合方法,其特征在于,所述步骤3中步骤3.1的具体步骤如下:
根据待融合多传感器源图像的低频子带图像,利用式5确定调整步长Δn_low,并利用式1~式4将各幅待融合多传感器源图像对应的低频子带图像分别导入IICM模型,从最左上角的神经元开始运行,遍历所有低频子带图像,记录每幅低频子带图像的时间矩阵T中的对应元素值Tij,并利用式6确定最终融合图像的低频子带图像fuse_low:
3.如权利要求1所述的基于NSST域IICM的多传感器图像融合方法,其特征在于,所述步骤3中步骤3.2的具体步骤如下:
根据待融合多传感器源图像的高频子带图像,利用式7确定调整步长Δn_high,并利用式1~式4将各幅待融合多传感器源图像对应的高频子带图像分别导入IICM模型,从最左上角的神经元开始运行,遍历所有高频子带图像,记录每幅高频子带图像的时间矩阵T中的对应元素值Tij,并利用式8确定最终融合图像的高频子带图像fuse_high:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310214530.1A CN103295201B (zh) | 2013-05-31 | 2013-05-31 | 一种基于nsst域iicm的多传感器图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310214530.1A CN103295201B (zh) | 2013-05-31 | 2013-05-31 | 一种基于nsst域iicm的多传感器图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103295201A true CN103295201A (zh) | 2013-09-11 |
CN103295201B CN103295201B (zh) | 2016-05-25 |
Family
ID=49096008
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310214530.1A Expired - Fee Related CN103295201B (zh) | 2013-05-31 | 2013-05-31 | 一种基于nsst域iicm的多传感器图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103295201B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104616252A (zh) * | 2015-01-09 | 2015-05-13 | 安徽师范大学 | 基于nsct和pcnn的数字图像增强方法 |
CN105139367A (zh) * | 2015-07-27 | 2015-12-09 | 中国科学院光电技术研究所 | 一种基于非下采样剪切波的可见光偏振图像融合方法 |
CN106127719A (zh) * | 2016-06-20 | 2016-11-16 | 中国矿业大学 | 一种新型的神经网络医学图像融合方法 |
CN104036495B (zh) * | 2014-05-22 | 2017-01-18 | 南京航空航天大学 | 一种焊接缺陷提取方法及焊接缺陷检测方法 |
CN106846287A (zh) * | 2017-01-13 | 2017-06-13 | 西京学院 | 一种基于生化离子交换模型的多聚焦图像融合方法 |
CN107330447A (zh) * | 2017-06-05 | 2017-11-07 | 三峡大学 | 一种反馈式icm神经网络和fpf相结合的剪影识别系统 |
CN109272477A (zh) * | 2018-09-11 | 2019-01-25 | 中国科学院长春光学精密机械与物理研究所 | 一种基于nsst与自适应双通道pcnn的融合方法以及融合处理器 |
CN109966694A (zh) * | 2019-04-09 | 2019-07-05 | 深圳市云康创新网络科技有限公司 | 一种健身器械及其运动采集方法 |
CN110570369A (zh) * | 2019-08-23 | 2019-12-13 | 温州医科大学 | 一种甲状腺结节超声图像去噪方法 |
CN110796635A (zh) * | 2019-09-12 | 2020-02-14 | 宁波大学 | 一种基于剪切波变换的光场图像质量评价方法 |
CN111402180A (zh) * | 2020-03-12 | 2020-07-10 | 西安邮电大学 | 一种nsct域的基于fbiem与iscm的图像融合方法 |
CN111507454A (zh) * | 2019-01-30 | 2020-08-07 | 兰州交通大学 | 一种用于遥感影像融合的改进交叉皮质神经网络模型 |
CN111598822A (zh) * | 2020-05-18 | 2020-08-28 | 西安邮电大学 | 一种基于gfrw与iscm的图像融合方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102867187A (zh) * | 2012-07-04 | 2013-01-09 | 西安电子科技大学 | Nsst域mrf与自适应阈值融合的遥感图像变化检测方法 |
CN102915039A (zh) * | 2012-11-09 | 2013-02-06 | 河海大学常州校区 | 一种仿动物空间认知的多机器人联合目标搜寻方法 |
-
2013
- 2013-05-31 CN CN201310214530.1A patent/CN103295201B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102867187A (zh) * | 2012-07-04 | 2013-01-09 | 西安电子科技大学 | Nsst域mrf与自适应阈值融合的遥感图像变化检测方法 |
CN102915039A (zh) * | 2012-11-09 | 2013-02-06 | 河海大学常州校区 | 一种仿动物空间认知的多机器人联合目标搜寻方法 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104036495B (zh) * | 2014-05-22 | 2017-01-18 | 南京航空航天大学 | 一种焊接缺陷提取方法及焊接缺陷检测方法 |
CN104616252B (zh) * | 2015-01-09 | 2018-01-19 | 安徽师范大学 | 基于nsct和pcnn的数字图像增强方法 |
CN104616252A (zh) * | 2015-01-09 | 2015-05-13 | 安徽师范大学 | 基于nsct和pcnn的数字图像增强方法 |
CN105139367A (zh) * | 2015-07-27 | 2015-12-09 | 中国科学院光电技术研究所 | 一种基于非下采样剪切波的可见光偏振图像融合方法 |
CN106127719A (zh) * | 2016-06-20 | 2016-11-16 | 中国矿业大学 | 一种新型的神经网络医学图像融合方法 |
CN106846287A (zh) * | 2017-01-13 | 2017-06-13 | 西京学院 | 一种基于生化离子交换模型的多聚焦图像融合方法 |
CN107330447B (zh) * | 2017-06-05 | 2020-04-24 | 三峡大学 | 一种反馈式icm神经网络和fpf相结合的剪影识别系统 |
CN107330447A (zh) * | 2017-06-05 | 2017-11-07 | 三峡大学 | 一种反馈式icm神经网络和fpf相结合的剪影识别系统 |
CN109272477A (zh) * | 2018-09-11 | 2019-01-25 | 中国科学院长春光学精密机械与物理研究所 | 一种基于nsst与自适应双通道pcnn的融合方法以及融合处理器 |
CN111507454B (zh) * | 2019-01-30 | 2022-09-06 | 兰州交通大学 | 一种用于遥感影像融合的改进交叉皮质神经网络模型 |
CN111507454A (zh) * | 2019-01-30 | 2020-08-07 | 兰州交通大学 | 一种用于遥感影像融合的改进交叉皮质神经网络模型 |
CN109966694A (zh) * | 2019-04-09 | 2019-07-05 | 深圳市云康创新网络科技有限公司 | 一种健身器械及其运动采集方法 |
CN109966694B (zh) * | 2019-04-09 | 2024-01-23 | 深圳市天玖隆科技有限公司 | 一种健身器械及其运动采集方法 |
CN110570369A (zh) * | 2019-08-23 | 2019-12-13 | 温州医科大学 | 一种甲状腺结节超声图像去噪方法 |
CN110796635A (zh) * | 2019-09-12 | 2020-02-14 | 宁波大学 | 一种基于剪切波变换的光场图像质量评价方法 |
CN110796635B (zh) * | 2019-09-12 | 2023-04-14 | 宁波大学 | 一种基于剪切波变换的光场图像质量评价方法 |
CN111402180A (zh) * | 2020-03-12 | 2020-07-10 | 西安邮电大学 | 一种nsct域的基于fbiem与iscm的图像融合方法 |
CN111402180B (zh) * | 2020-03-12 | 2023-05-09 | 西安邮电大学 | 一种nsct域的基于fbiem与iscm的图像融合方法 |
CN111598822A (zh) * | 2020-05-18 | 2020-08-28 | 西安邮电大学 | 一种基于gfrw与iscm的图像融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103295201B (zh) | 2016-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103295201A (zh) | 一种基于nsst域iicm的多传感器图像融合方法 | |
CN108830818B (zh) | 一种快速多聚焦图像融合方法 | |
CN108399611B (zh) | 基于梯度正则化的多聚焦图像融合方法 | |
CN109345494B (zh) | 基于潜在低秩表示和结构张量的图像融合方法及装置 | |
Kong et al. | Technique for image fusion based on nonsubsampled shearlet transform and improved pulse-coupled neural network | |
CN101980290B (zh) | 抗噪声环境多聚焦图像融合方法 | |
CN104835130A (zh) | 一种多曝光图像融合方法 | |
CN106897987A (zh) | 基于平移不变剪切波和栈式自编码的图像融合方法 | |
CN101303764A (zh) | 基于非下采样轮廓波的多传感器图像自适应融合方法 | |
CN103578091A (zh) | 一种基于拉普拉斯金字塔的红外偏振图像融合方法 | |
CN105139371A (zh) | 一种基于pcnn与lp变换的多聚焦图像融合方法 | |
CN102521818A (zh) | 一种基于nsct的sar图像和可见光图像的融合方法 | |
CN104021537A (zh) | 一种基于稀疏表示的红外与可见光图像融合方法 | |
CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
CN103985099A (zh) | 一种弥散张量磁共振图像张量域非局部均值去噪方法 | |
Kavitha et al. | Medical image fusion using combined discrete wavelet and ripplet transforms | |
CN103745453B (zh) | 基于Google Earth遥感影像的城镇信息提取方法 | |
CN106910179A (zh) | 基于小波变换的多模态医学图像融合方法 | |
CN104252704A (zh) | 基于总广义变分的红外图像多传感器超分辨率重建方法 | |
He et al. | Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks | |
CN111598822B (zh) | 一种基于gfrw与iscm的图像融合方法 | |
DE102021203021A1 (de) | Semantisch konsistente erweiterte trainingsdaten zur ampelerkennung | |
Liu et al. | An effective wavelet-based scheme for multi-focus image fusion | |
CN114298950A (zh) | 一种基于改进的GoDec算法的红外与可见光图像融合方法 | |
CN104156930A (zh) | 基于双尺度空间的图像融合方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160525 Termination date: 20170531 |
|
CF01 | Termination of patent right due to non-payment of annual fee |