CN106339998B - 基于对比度金字塔变换的多聚焦图像融合方法 - Google Patents
基于对比度金字塔变换的多聚焦图像融合方法 Download PDFInfo
- Publication number
- CN106339998B CN106339998B CN201610688928.2A CN201610688928A CN106339998B CN 106339998 B CN106339998 B CN 106339998B CN 201610688928 A CN201610688928 A CN 201610688928A CN 106339998 B CN106339998 B CN 106339998B
- Authority
- CN
- China
- Prior art keywords
- image
- fusion
- focusing
- sharpening
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于对比度金字塔变换的多聚焦图像融合方法,首先对输入的左聚焦源图像与右聚焦源图像进行预处理和图像增强;其次对所得增强图像分别求取信息熵并据此确定加权融合系数得到一次融合图像;然后对两幅增强图像与一次融合图像分别进行对比度塔形分解,得到分解层序列图像;对所得顶层图像根据图像间像素信息差异确定加权融合系数,其他层图像采用像素绝对值取大的融合规则;对所得的融合图像序列进行图像重构,得到融合图像;最后将该融合图像与两幅增强图像进行形态学梯度处理所得图像进行二次融合,得到最终的融合结果图像。本发明能够对多聚焦图像进行融合,其融合结果图像具有对比度强、信息全面丰富、边缘突出、细节清晰的特点。
Description
技术领域
本发明属于数字图像处理技术领域,特别是一种基于对比度金字塔变换的多聚焦图像融合方法。
背景技术
光学传感器由于光学成像系统本身的限制在对某一场景成像时会出现聚焦范围内的物体清晰可辨,而聚焦范围外的物体模糊化的现象,将同一场景下、聚焦在不同目标上的两幅或多幅图像进行融合处理,进而得到一幅信息全面、所有目标均清晰成像、便于人眼观察分析的图像的过程称为多聚焦图像融合。多聚焦融合图像具有信息量大、准确度高、各目标清晰可辨的特点,可以有效提升人们对目标场景的理解,利于人眼观察识别目标及计算机的后续分析处理。多聚焦图像融合技术能够极大地改善图像质量,提高图像信息的利用率,增加系统对目标探测识别的可靠性,该技术正日益广泛地应用于机器视觉、遥感探测、医疗诊断、目标识别等相关领域。
评判一幅多聚焦融合结果图像的好坏需要注意以下几点,一是融合图像是否包含了各源图像中所有的重要信息,同时不人为引进错误信息;二是融合图像中各目标是否清晰可辨,便于人眼观察及识别场景目标;三是融合图像不能失真,即不能与实际图像产生过大偏差,应准确客观地反映场景信息。
从图像融合处理域来看,图像融合方法可大致分为基于空间域的图像融合和基于变换域的图像融合两大类。基于空间域的图像融合是直接对图像的像素灰度空间进行融合,如线性加权图像融合方法、主成分分析(PCA)融合方法,这些方法的优点在于算法简单,融合速度快,但缺点也是显而易见的,即图像的重要信息易被削弱,图像的细节容易丢失;基于变换域的图像融合则是先对待融合的几幅源图像进行图像变换处理,然后计算获取融合图像的变换系数,最后通过逆变换得到融合结果图像,如基于DCT变换的图像融合方法、基于FFT变换的图像融合方法、基于多尺度分解的图像融合方法等。基于变换域的融合方法是目前图像融合领域的研究热点,而基于变换域的图像融合研究中,大多数是基于多尺度分解的图像融合方法。基于多尺度变换的图像融合方法的一般步骤为:(1)将两幅或多幅输入源图像进行多尺度分解,得到具有不同分辨率和空间频率信息的序列分解层图像;(2)在所得到的各分解层上分别采用适当的融合规则,进行融合处理;(3)对各层次图像进行重构处理,得到最终的融合图像。传统方法中,顶层图像即低频域图像采用加权系数直接取平均的融合方法,其他层图像即高频域图像采用对应像素值取大的融合规则。但由于图像的绝大部分能量保存在低频域中,这种通过直接取平均进行低频图像融合及简单地利用高频图像对应像素值取大的方法易使源图像的重要信息丢失或削弱,导致图像对比度下降,会极大地影响融合图像的质量。
发明内容
本发明的目的在于提供一种基于对比度金字塔变换的多聚焦图像融合方法。
实现本发明目的的技术方案为:一种基于对比度金字塔变换的多聚焦图像融合方法,包括以下步骤:
步骤1,图像预处理:对同一场景下聚焦在不同物体上的已经经过像素级配准的左聚焦源图像与右聚焦源图像分别进行灰度化处理,得到左聚焦灰度图像与右聚焦灰度图像;
步骤2,图像增强:对左聚焦灰度图像与右聚焦灰度图像分别进行拉普拉斯锐化处理,得到左聚焦锐化图像和右聚焦锐化图像;
步骤3,获取一次融合图像:对步骤2中得到的左聚焦锐化图像、右聚焦锐化图像分别求取信息熵,根据信息熵确定加权融合系数,得到一次融合图像;
步骤4,对比度塔形分解:对步骤2得到的两幅锐化图像及步骤3得到的一次融合图像分别进行对比度塔形分解,将图像分解成具有不同分辨率、不同空间频率信息的多层子图像;
步骤5,顶层图像融合:对两幅锐化图像分解得到的顶层图像分别与一次融合图像分解得到的顶层图像进行交叉熵求取,确定顶层图像的加权融合系数,得到顶层的融合图像;
步骤6,其他层图像融合:比较两幅锐化图像及一次融合图像分解所得其他层图像对应像素点的像素值,将像素绝对值较大者作为对应融合层图像在对应点处的像素值;
步骤7,图像重构:对步骤5和步骤6所组成的融合图像序列进行对比度塔形逆变换,得到重构融合图像;
步骤8,二次融合:对步骤2所得两幅锐化图像分别进行形态学梯度处理,将处理得到的两幅图像与步骤7所得融合图像进行二次融合,得到最终的融合结果图像。
与现有技术相比,本发明的显著优点为:
(1)本发明对输入图像进行拉普拉斯锐化增强处理,可使图像的对比度大大提高,图像信息得到增强,可以从锐化增强后的图像中看出原图像中很多模糊的细节,有效克服了多聚焦图像部分景物模糊化的现象,同时对聚焦部分的图像也起到很大的信息增强作用,因此可使融合结果图像中目标特征更明显,景物细节更清晰;
(2)相对于拉普拉斯金字塔、比率金字塔等其他几种金字塔方法来说,图像的对比度塔形分解不仅是图像的多尺度、多分辨率塔形分解,更重要的是其每一分解层图像均反映了图像在相应尺度、相应分辨率上的对比度信息,而人眼的视觉系统对于图像的对比度变化十分敏感,本发明基于对比度塔形分解的融合方法可以获得与人的视觉特性更为接近的融合效果;
(3)本发明引进一次融合图像,并与锐化后图像同时进行塔形分解,通过顶层像素信息相关度、其他各层像素绝对值的比对,使得图像的各显著信息得到最大程度的保留利用,大大降低了使用直接平均等方法融合所造成的图像模糊及图像重要信息被削弱的缺点,融合像素的选取更公正,融合结果更为客观准确;
(4)本发明利用形态学梯度处理锐化后的图像并与重构得到的融合图像进行二次融合,可以更为有效地突出图像中景物的边缘,增加细节信息,提高对比度,使融合结果图像信息更准确、更全面,景物更清晰,获得具有更佳融合效果的结果图像。
下面结合附图对本发明作进一步详细描述。
附图说明
图1是本发明基于对比度金字塔变换的多聚焦图像融合方法的总体操作流程图。
图2是本发明顶层图像融合操作的流程图。
图3(a)是本发明方法仿真使用的左聚焦源图像。
图3(b)是本发明方法仿真使用的右聚焦源图像。
图4(a)是本发明方法经拉普拉斯锐化增强后得到的左聚焦锐化图像。
图4(b)是本发明方法经拉普拉斯锐化增强后得到的右聚焦锐化图像。
图5是本发明的一次融合结果图像。
图6是本发明的最终融合结果图像。
图7(a)是简单平均融合结果图像。
图7(b)是传统的拉普拉斯金字塔变换融合结果图像。
图7(c)是传统的对比度金字塔变换融合结果图像。
图7(d)是传统的梯度金字塔变换融合结果图像。
图7(e)是传统的形态金字塔变换融合结果图像。
图7(f)是传统的小波变换融合结果图像。
图7(g)是本发明方法最终融合结果图像。
具体实施方式
结合图1,本发明的一种基于对比度金字塔变换的多聚焦图像融合方法,包括以下步骤:
步骤1,图像预处理:对同一场景下聚焦在不同物体上的已经经过像素级配准的左聚焦源图像与右聚焦源图像分别进行灰度化处理,得到左聚焦灰度图像与右聚焦灰度图像;
步骤2,图像增强:对左聚焦灰度图像与右聚焦灰度图像分别进行拉普拉斯锐化处理,得到左聚焦锐化图像和右聚焦锐化图像;使得图像的边缘部分得到放大,细节部分更加的锐利,从而增强图像的对比度;
拉普拉斯算子是线性二次微分算子,具有各向同性和位移不变性,一个二元图像函数f(x,y)的拉普拉斯算子定义为:
其差分形式为:
表示成模板形式为:
为得到边缘放大的锐化图像,需将上述变化表示叠加到原像素,即将原图像与经过拉普拉斯滤波后的图像做差值处理,模板算子为:
步骤3,获取一次融合图像:对步骤2中得到的左聚焦锐化图像、右聚焦锐化图像分别求取信息熵,根据信息熵确定加权融合系数,得到一次融合图像;具体为:
步骤3-1,求取左聚焦锐化图像、右聚焦锐化图像的信息熵
在图像处理领域中,信息熵是用来表征图像信息丰富程度的一个重要指标,其值越大,代表图像所包含的信息越丰富、信息量越大;信息熵的计算方法为:
式中,i代表图像的灰度值,pi为灰度值等于i的像素数与图像总像素数之比,L代表所取的最大灰度级别;
根据上式对步骤2中得到的左聚焦锐化图像、右聚焦锐化图像分别求取信息熵数值;
步骤3-2,确定一次融合图像的加权融合系数
左聚焦锐化图像和右聚焦锐化图像的融合系数分别设为α、β,则有
式中,E′left、E′right分别为左聚焦锐化图像、右聚焦锐化图像的信息熵值;
步骤3-3,获取一次融合图像
对左聚焦锐化图像和右聚焦锐化图像进行加权融合,得到一次融合图像为
firstfusion=F′left*α+F′right*β (7)
式中,F′left、F′right分别为左聚焦锐化图像、右聚焦锐化图像。
步骤4,对比度塔形分解:对步骤2得到的两幅锐化图像及步骤3得到的一次融合图像分别进行对比度塔形分解,将图像分解成具有不同分辨率、不同空间频率信息的多层子图像;具体为:
步骤4-1,建立图像的高斯塔形分解
设原图像为G0,以G0作为高斯金字塔的第零层图像,将高斯金字塔的第l-1层图像Gl-1和一个具有低通特性的窗口函数ω(m,n)进行卷积,再把卷积结果做隔行隔列的降采样得到高斯金字塔的第l层图像,即
式中,N为高斯金字塔顶层的层号;Cl、Rl分别表示高斯金字塔第l层图像的列数、行数;ω(m,n)为二维可分离的、大小为5×5的窗口函数,表示为:
由G0、G1、…、GN即构成高斯金字塔,金字塔总层数为N+1;
步骤4-2,建立图像的对比度塔形分解
将高斯金字塔图像Gl内插放大,得到与Gl-1具有相同尺寸的放大图像即
式中
则对比度金字塔的第l层图像CPl可表示为
式中,I为单位矩阵;
由CP0、CP1、…、CPN即构成对比度金字塔。
步骤5,顶层图像融合:对两幅锐化图像分解得到的顶层图像分别与一次融合图像分解得到的顶层图像进行交叉熵求取,确定顶层图像的加权融合系数,得到顶层的融合图像;具体包括:
步骤5-1,求取交叉熵
交叉熵反映了两幅图像对应像素之间的差异,是对两幅图像所含信息的相对衡量。若对融合图像和源图像求交叉熵,就可得到融合图像与原始图像之间信息的差异,交叉熵值越小,表示两幅图像之间的差异越小,即融合方法从原始图像得到的信息量越多。
设源图像和融合图像的灰度分布分别为p1={p10,p11,...,p1i,...,p1L-1}和q1={q10,q11,...,q1i,...,q1L-1},则交叉熵定义为
式中,i代表图像的灰度值,p1i为源图像中灰度值等于i的像素数与图像总像素数之比,q1i为融合图像中灰度值等于i的像素数与图像总像素数之比,L代表所取的最大灰度级别;
由上式分别对两幅锐化图像分解得到的顶层图像与一次融合图像分解得到的顶层图像进行交叉熵求取;
步骤5-2,确定顶层图像加权融合系数
设左聚焦锐化图像和右聚焦锐化图像分解得到的顶层图像的融合系数分别设为α2、β2,则有
式中,CE′left、CE′right分别代表左、右聚焦锐化图像分解得到的顶层图像与一次融合图像分解得到的顶层图像之间求取的交叉熵值;
步骤5-3,获取顶层融合图像
对左聚焦锐化图像、右聚焦锐化图像分解得到的顶层图像进行加权融合,得到顶层融合图像为
toplevel=F′lefttop*α2+F′righttop*β2 (15)
式中,F′lefttop、F′righttop分别代表左、右聚焦锐化图像分解得到的顶层图像。
步骤6,其他层图像融合:比较两幅锐化图像及一次融合图像分解所得其他层图像对应像素点的像素值,将像素绝对值较大者作为对应融合层图像在对应点处的像素值;其像素值选取规则表示为:
F′others(x,y)=max(|F′leftothers(x,y)|,|F′rightothers(x,y)|,|F′firstfusionothers(x,y)|) (16)
式中,F′others代表除顶层外某一分解层融合结果图像,F′leftothers、F′rightothers、F′firstfusionothers分别代表左聚焦锐化图像分解得到的对应层图像、右聚焦锐化图像分解得到的对应层图像、一次融合图像分解得到的对应层图像,(x,y)为图像像素点的坐标位置。
步骤7,图像重构:对步骤5和步骤6所组成的融合图像序列进行对比度塔形逆变换,得到重构融合图像;
由对比度金字塔重构原图像:
由公式(12)可得:
按照公式(17)逐层递推,即可精确重构被分解的原始图像G0。
步骤8,二次融合:对步骤2所得两幅锐化图像分别进行形态学梯度处理,将处理得到的两幅图像与步骤7所得融合图像进行二次融合,得到最终的融合结果图像,具体为:
步骤8-1,形态学梯度处理
基本的形态学转换是膨胀与腐蚀,它们可用于消除噪声、分割独立图像元素、连接相邻图像元素等。膨胀是求局部像素最大值的过程,它会使目标物边界向外部扩张;腐蚀则是计算核区域像素的最小值,它可去除连通域中包含的边缘点,使边缘向内部收缩。设原始输入图像为F(x,y),选取的结构元素为S(u,v),其中(x,y)为图像像素点的坐标位置,(u,v)为结构点的坐标位置;设DF和DS分别是F和S的定义域,则有膨胀运算,记为
腐蚀运算,记为Θ:
Erode(F)=(FΘS)(u,v)=min[F(u+x,v+y)-S(x,y)|(u+x),(v+y)∈DF;(x,y)∈DS] (19)
形态学梯度可以使图像景物边缘以高亮区域突出,它定义为
Gradient(F)=Dilate(F)-Erode(F) (20)
式中,F为原始输入图像,Dilate(F)为膨胀运算函数,Erode(F)为腐蚀运算函数;
步骤8-2,二次融合
设步骤7重构后所得融合图像为FR1,则最终的融合图像结果为
FResult=FR1+Gradient(F′left)+Gradient(F′right) (21)
下面结合附图和具体实施例对本发明作进一步详细的说明。
实施例
本实施例以两幅已经过像素级配准的左聚焦图像和右聚焦图像作为源图像,MATLAB R2013a为软件平台,提出了一种基于对比度金字塔变换的多聚焦图像融合方法,并利用此方法对实际的左聚焦源图像与右聚焦源图像进行了融合处理。方法总体流程如图1所示。
本发明总体思路为基于对比度金字塔变换的融合方法,主要通过对对比度金字塔变换得到的各分解层图像采用不同的融合规则进行融合处理,并进行图像重构,得到融合图像,再与经锐化处理和形态学梯度处理的源图像之间进行二次融合得到最终融合结果图像。本发明中对比度金字塔分解层数为3层,对于顶层图像采用基于左、右聚焦锐化图像分解得到的顶层图像与一次融合图像分解得到的顶层图像之间信息量的差异来确定加权系数的融合规则,具体操作流程见图2;其他层图像采用比较左、右聚焦锐化图像分解得到的其他层图像与一次融合图像分解得到的其他层图像对应分解层对应像素点的像素绝对值取大的融合规则。
本实施例所使用的左聚焦与右聚焦源图像大小均为512×512像素,所用左聚焦源图像和右聚焦源图像分别如图3(a)、3(b)所示。首先对左聚焦源图像和右聚焦源图像分别依次进行灰度化预处理与拉普拉斯锐化增强处理,锐化结果如图4(a)、4(b);并根据两幅锐化图像得到一次融合图像,结果如图5;然后将两幅锐化图像与得到的一次融合图像进行对比度金字塔分解,得到序列层图像;对各分解层采用不同的融合规则,得到各层融合图像;重构序列图像得到融合结果;最后与左、右聚焦源图像经锐化和形态学梯度处理后的图像进行二次融合得到最终的融合结果图像,本发明方法最终融合效果图如图6所示。
为了验证本发明所提方法的有效性,分别与简单平均融合法、几种传统的金字塔变换融合方法和小波变换融合方法所得结果进行了对比分析。其中几种传统的金字塔变换融合方法均采用顶层图像直接平均融合,其他层图像取对应点像素值较大者的融合策略;小波变换融合采用低频系数取平均、高频系数取大的融合规则,且以上多尺度变换融合方法分解层数均为3层。各融合结果分别如图7(a)~(f)所示:图7(a)为简单平均融合结果图像;图7(b)为传统的拉普拉斯金字塔变换融合结果图像;图7(c)为传统的对比度金字塔变换融合结果图像;图7(d)为传统的梯度金字塔变换融合结果图像;图7(e)为传统的形态金字塔变换融合结果图像;图7(f)为小波变换融合结果图像;图7(g)为本发明的最终融合效果图。
从视觉角度观察分析各种方法所得融合结果可知,无论是从图像的内容全面丰富程度,还是从图像景物的对比度强弱,亦或目标物体的边缘、纹理等细节信息来说,均是本发明方法效果最佳。简单平均融合、几种传统方法下的金字塔变换方法以及小波变换方法所得的多聚焦融合图像均表现出不同程度的图像景物纹理等细节信息损失、目标边缘、轮廓模糊、对比度差的现象,均不能将每一处聚焦清晰的图像完好显示,甚至部分景物信息出现了失真的现象,其中图像中左、右两个钟表上的英文字母均难以识别,数字、纹路线、指针及钟表的外部轮廓均不够清晰,对比度较差,十分不利于人眼的观察识别。而本发明所得图像则具有景物清晰、边缘轮廓突出、细节信息鲜明、对比度强、信息准确全面的特点,尤其是图像中钟表上的字母、数字等细节信息清晰可辨,形成了良好的视觉观察效果,有效提升了人们对目标场景的理解。
利用图像质量评价因子对几种方法所得融合结果进行客观角度分析,首先从图像清晰度、图像所含信息量、图像的统计特性三个方面对融合结果图像进行了评价因子数值求取,其中平均梯度、空间频率表征了图像的清晰程度,信息熵代表了图像所含信息量的多少,标准差反映了灰度相对于灰度均值的离散程度,且这几种评价参数均为数值越大,融合效果越好。其计算数值结果如表1所示。
表1几种融合方法的客观评价指标结果
通过观察分析表1中的数据计算结果可知,本发明方法所得融合结果图像对应的平均梯度、空间频率、信息熵、标准差数值均为最大,且明显大于其他几种对比融合方法,因而具有最清晰、信息量最大、像素分布特性最好的特点。
综上可知,本发明方法获得的多聚焦图像融合效果无论是从主观的视觉角度上看,还是从基于图像清晰度、信息量、统计特性几个方面的客观评价角度来看均明显优于其他几种作为对比使用的融合方法。本发明方法最终所得多聚焦融合图像具有信息全面丰富、对比度强、景物清晰、边缘及纹理等细节保留完好、视觉效果自然的特点,形成了对目标场景清晰、完整、准确的信息描述。同时,本发明方法算法复杂度较低,因而可为多聚焦图像融合的实际应用提供参考。
Claims (7)
1.一种基于对比度金字塔变换的多聚焦图像融合方法,其特征在于,包括以下步骤:
步骤1,图像预处理:对同一场景下聚焦在不同物体上的已经经过像素级配准的左聚焦源图像与右聚焦源图像分别进行灰度化处理,得到左聚焦灰度图像与右聚焦灰度图像;
步骤2,图像增强:对左聚焦灰度图像与右聚焦灰度图像分别进行拉普拉斯锐化处理,得到左聚焦锐化图像和右聚焦锐化图像;
步骤3,获取一次融合图像:对步骤2中得到的左聚焦锐化图像、右聚焦锐化图像分别求取信息熵,根据信息熵确定加权融合系数,得到一次融合图像;
步骤4,对比度塔形分解:对步骤2得到的两幅锐化图像及步骤3得到的一次融合图像分别进行对比度塔形分解,将图像分解成具有不同分辨率、不同空间频率信息的多层子图像;
步骤5,顶层图像融合:对两幅锐化图像分解得到的顶层图像分别与一次融合图像分解得到的顶层图像进行交叉熵求取,确定顶层图像的加权融合系数,得到顶层的融合图像;具体步骤为:
步骤5-1,求取交叉熵
设源图像和融合图像的灰度分布分别为p1={p10,p11,...,p1i,...,p1L-1}和q1={q10,q11,...,q1i,...,q1L-1},则交叉熵定义为
式中,i代表图像的灰度值,p1i为源图像中灰度值等于i的像素数与图像总像素数之比,q1i为融合图像中灰度值等于i的像素数与图像总像素数之比,L代表所取的最大灰度级别;
由上式分别对两幅锐化图像分解得到的顶层图像与一次融合图像分解得到的顶层图像进行交叉熵求取;
步骤5-2,确定顶层图像加权融合系数
设左聚焦锐化图像和右聚焦锐化图像分解得到的顶层图像的融合系数分别设为α2、β2,则有
式中,CE′left、CE′right分别代表左、右聚焦锐化图像分解得到的顶层图像与一次融合图像分解得到的顶层图像之间求取的交叉熵值;
步骤5-3,获取顶层融合图像
对左聚焦锐化图像、右聚焦锐化图像分解得到的顶层图像进行加权融合,得到顶层融合图像为
toplevel=F′lefttop*α2+F′righttop*β2
式中,F′lefttop、F′righttop分别代表左、右聚焦锐化图像分解得到的顶层图像;
步骤6,其他层图像融合:比较两幅锐化图像及一次融合图像分解所得其他层图像对应像素点的像素值,将像素绝对值较大者作为对应融合层图像在对应点处的像素值;
步骤7,图像重构:对步骤5和步骤6所组成的融合图像序列进行对比度塔形逆变换,得到重构融合图像;
步骤8,二次融合:对步骤2所得两幅锐化图像分别进行形态学梯度处理,将处理得到的两幅图像与步骤7所得融合图像进行二次融合,得到最终的融合结果图像。
2.根据权利要求1所述的基于对比度金字塔变换的多聚焦图像融合方法,其特征在于,步骤2中对左聚焦灰度图像与右聚焦灰度图像分别进行拉普拉斯锐化处理的步骤为:
将二元图像拉普拉斯算子变化表示叠加到原像素,即将原图像与经过拉普拉斯滤波后的图像做差值处理,其模板算子为:
。
3.根据权利要求1所述的基于对比度金字塔变换的多聚焦图像融合方法,其特征在于,步骤3中获取一次融合图像的具体过程为:
步骤3-1,求取左聚焦锐化图像、右聚焦锐化图像的信息熵
信息熵E的计算方法为:
式中,i代表图像的灰度值,pi为灰度值等于i的像素数与图像总像素数之比,L代表所取的最大灰度级别;
根据上式对步骤2中得到的左聚焦锐化图像、右聚焦锐化图像分别求取信息熵数值;
步骤3-2,确定一次融合图像的加权融合系数
左聚焦锐化图像和右聚焦锐化图像的融合系数分别设为α、β,则有
式中,E′left、E′right分别为左聚焦锐化图像、右聚焦锐化图像的信息熵值;
步骤3-3,获取一次融合图像
对左聚焦锐化图像和右聚焦锐化图像进行加权融合,得到一次融合图像为
firstfusion=F′left*α+F′right*β
式中,F′left、F′right分别为左聚焦锐化图像、右聚焦锐化图像。
4.根据权利要求1所述的基于对比度金字塔变换的多聚焦图像融合方法,其特征在于,步骤4中对两幅锐化图像和一次融合图像进行对比度塔形分解的步骤为:
步骤4-1,建立图像的高斯塔形分解
设原图像为G0,以G0作为高斯金字塔的第零层图像,将高斯金字塔的第l-1层图像Gl-1和一个具有低通特性的窗口函数ω(m,n)进行卷积,再把卷积结果做隔行隔列的降采样得到高斯金字塔的第l层图像,即
式中,N为高斯金字塔顶层的层号;Cl、Rl分别表示高斯金字塔第l层图像的列数、行数;ω(m,n)为二维可分离的、大小为5×5的窗口函数,表示为:
由G0、G1、…、GN即构成高斯金字塔,金字塔总层数为N+1;
步骤4-2,建立图像的对比度塔形分解
将高斯金字塔图像Gl内插放大,得到与Gl-1具有相同尺寸的放大图像即
式中
则对比度金字塔的第l层图像CPl可表示为
I为单位矩阵;
由CP0、CP1、…、CPN即构成对比度金字塔。
5.根据权利要求1所述的基于对比度金字塔变换的多聚焦图像融合方法,其特征在于,步骤6中其他层图像融合步骤为:
比较两幅锐化图像及一次融合图像分解所得其他层图像对应像素点的像素值,将像素绝对值最大者作为对应融合层图像在对应点处的像素值,其像素值选取规则表示为:
F′others(x,y)=max(|F′leftothers(x,y)|,|F′rightothers(x,y)|,|F′firstfusionothers(x,y)|)
式中,F′others代表除顶层外某一分解层融合结果图像,F′leftothers、F′rightothers、F′firstfusionothers分别代表左聚焦锐化图像分解得到的对应层图像、右聚焦锐化图像分解得到的对应层图像、一次融合图像分解得到的对应层图像,(x,y)为图像像素点的坐标位置。
6.根据权利要求4所述的基于对比度金字塔变换的多聚焦图像融合方法,其特征在于,步骤7中图像重构的具体过程为:
由各层对比度金字塔公式可得:
按照上式逐层递推,重构被分解的原始图像G0。
7.根据权利要求3所述的基于对比度金字塔变换的多聚焦图像融合方法,其特征在于,步骤8中通过二次融合获得最终融合结果图像的步骤为:
步骤8-1,利用下式分别对左、右聚焦锐化图像进行形态学梯度处理:
Gradient(F)=Dilate(F)-Erode(F)
式中,F为原始输入图像,Dilate(F)为膨胀运算函数,Erode(F)为腐蚀运算函数;
步骤8-2,二次融合
设步骤7重构后所得融合图像为FR1,则最终的融合结果图像FResult为:
FResult=FR1+Gradient(F′left)+Gradient(F′right)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610688928.2A CN106339998B (zh) | 2016-08-18 | 2016-08-18 | 基于对比度金字塔变换的多聚焦图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610688928.2A CN106339998B (zh) | 2016-08-18 | 2016-08-18 | 基于对比度金字塔变换的多聚焦图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106339998A CN106339998A (zh) | 2017-01-18 |
CN106339998B true CN106339998B (zh) | 2019-11-15 |
Family
ID=57825720
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610688928.2A Active CN106339998B (zh) | 2016-08-18 | 2016-08-18 | 基于对比度金字塔变换的多聚焦图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106339998B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112184606A (zh) * | 2020-09-24 | 2021-01-05 | 南京晓庄学院 | 一种基于拉普拉斯金字塔的可见光图像与红外图像融合方法 |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018168228A1 (ja) * | 2017-03-15 | 2018-09-20 | ソニー株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
CN107025641B (zh) * | 2017-04-28 | 2019-05-21 | 卡本(深圳)医疗科技有限公司 | 基于对比度分析的图像融合方法 |
CN107274372B (zh) * | 2017-06-26 | 2020-04-17 | 安健科技(重庆)有限公司 | 基于金字塔局部对比度的动态图像增强方法及装置 |
CN108364273B (zh) * | 2018-01-30 | 2022-02-25 | 中南大学 | 一种空间域下的多聚焦图像融合的方法 |
CN108814635A (zh) * | 2018-04-19 | 2018-11-16 | 云南电网有限责任公司电力科学研究院 | 一种x射线数字成像方法 |
CN109001248B (zh) * | 2018-06-26 | 2020-10-02 | 哈尔滨工业大学 | 一种基于图像信息熵的沥青混合料冻融损伤评价方法 |
CN109671044B (zh) * | 2018-12-04 | 2019-10-08 | 重庆邮电大学 | 一种基于可变图像分解的多曝光图像融合方法 |
CN109544585A (zh) * | 2018-12-19 | 2019-03-29 | 中国石油大学(华东) | 一种基于轻量化卷积神经网络的胆石病ct医疗图像数据增强方法 |
CN109886903A (zh) * | 2019-01-23 | 2019-06-14 | 湖北工业大学 | 一种基于灰度中列数参照的多聚焦图像融合方法和系统 |
CN109934772B (zh) * | 2019-03-11 | 2023-10-27 | 影石创新科技股份有限公司 | 一种图像融合方法、装置及便携式终端 |
CN110012197B (zh) * | 2019-03-19 | 2020-08-11 | 昆明物理研究所 | 一种基于调焦位置补偿的空域图像配准融合方法 |
CN110517213B (zh) * | 2019-08-22 | 2021-11-09 | 杭州图谱光电科技有限公司 | 一种显微镜用的基于拉普拉斯金字塔的实时景深延拓方法 |
CN110648302B (zh) * | 2019-10-08 | 2022-04-12 | 太原科技大学 | 基于边缘增强引导滤波的光场全聚焦图像融合方法 |
CN111242880B (zh) * | 2019-12-30 | 2023-05-02 | 广州市明美光电技术有限公司 | 一种用于显微镜的多景深图像叠加方法、设备及介质 |
CN111402183B (zh) * | 2020-01-10 | 2023-08-11 | 北京理工大学 | 基于八度金字塔框架的多聚焦图像融合方法 |
CN111968068A (zh) * | 2020-08-18 | 2020-11-20 | 杭州海康微影传感科技有限公司 | 一种热成像图像的处理方法及装置 |
CN112580711B (zh) * | 2020-12-14 | 2024-03-12 | 北京华能新锐控制技术有限公司 | 一种基于风电机组故障识别的视频图像融合方法 |
CN112819736B (zh) * | 2021-01-13 | 2023-08-29 | 浙江理工大学 | 一种基于多曝光的工件字符图像局部细节增强融合方法 |
CN114841903B (zh) * | 2022-07-05 | 2022-09-09 | 黄海造船有限公司 | 基于图像处理的船体表面腐蚀程度评估方法 |
CN115358963B (zh) * | 2022-10-19 | 2022-12-27 | 季华实验室 | 基于扩展高斯差分和引导滤波的图像融合方法 |
CN115984104B (zh) * | 2022-12-05 | 2023-09-22 | 南京大学 | 一种基于自监督学习的多聚焦图像融合方法及装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101673396A (zh) * | 2009-09-07 | 2010-03-17 | 南京理工大学 | 基于动态目标检测的图像融合方法 |
-
2016
- 2016-08-18 CN CN201610688928.2A patent/CN106339998B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101673396A (zh) * | 2009-09-07 | 2010-03-17 | 南京理工大学 | 基于动态目标检测的图像融合方法 |
Non-Patent Citations (2)
Title |
---|
Infrared and multi-type images fusion algorithm based on contrast pyramid transform;Hua Xu等;《www.sciencedirect.com/science/article/pii/S1350449516301931》;20160720;133-146 * |
基于拉普拉斯金字塔变换的电力图像融合;李智勇等;《计算机系统应用》;20141231;第23卷(第9期);89-93 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112184606A (zh) * | 2020-09-24 | 2021-01-05 | 南京晓庄学院 | 一种基于拉普拉斯金字塔的可见光图像与红外图像融合方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106339998A (zh) | 2017-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106339998B (zh) | 基于对比度金字塔变换的多聚焦图像融合方法 | |
Yang et al. | Multifocus image fusion based on NSCT and focused area detection | |
Yang et al. | Infrared and visible image fusion via texture conditional generative adversarial network | |
CN109242888B (zh) | 一种结合图像显著性和非下采样轮廓波变换的红外与可见光图像融合方法 | |
CN106228528B (zh) | 一种基于决策图与稀疏表示的多聚焦图像融合方法 | |
CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
Zheng et al. | An advanced image fusion algorithm based on wavelet transform: incorporation with PCA and morphological processing | |
CN104408700A (zh) | 基于形态学和pca的轮廓波红外与可见光图像融合方法 | |
Li et al. | Multifocus image fusion using wavelet-domain-based deep CNN | |
CN105894483B (zh) | 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法 | |
CN103020933B (zh) | 一种基于仿生视觉机理的多源图像融合方法 | |
Qiu et al. | Efficient medical image enhancement based on CNN‐FBB model | |
CN107909560A (zh) | 一种基于SiR的多聚焦图像融合方法及系统 | |
CN113837974B (zh) | 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法 | |
CN109214989A (zh) | 基于多方向特征预测先验的单幅图像超分辨率重建方法 | |
CN106709967A (zh) | 一种内窥成像算法及控制系统 | |
CN106169174A (zh) | 一种图像放大方法 | |
Huang et al. | Super-resolution reconstruction method of remote sensing image based on multi-feature fusion | |
Xing et al. | Infrared and visible image fusion based on nonlinear enhancement and NSST decomposition | |
Li et al. | Speckle noise removal based on structural convolutional neural networks with feature fusion for medical image | |
CN109064402A (zh) | 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法 | |
Zhang et al. | Dense haze removal based on dynamic collaborative inference learning for remote sensing images | |
Zhang et al. | Feature decomposition and enhancement for unsupervised medical ultrasound image denoising and instance segmentation | |
Zhang et al. | Medical image fusion based on low-level features | |
CN113034371A (zh) | 一种基于特征嵌入的红外与可见光图像融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |