CN107909560A - 一种基于SiR的多聚焦图像融合方法及系统 - Google Patents

一种基于SiR的多聚焦图像融合方法及系统 Download PDF

Info

Publication number
CN107909560A
CN107909560A CN201710914851.0A CN201710914851A CN107909560A CN 107909560 A CN107909560 A CN 107909560A CN 201710914851 A CN201710914851 A CN 201710914851A CN 107909560 A CN107909560 A CN 107909560A
Authority
CN
China
Prior art keywords
source images
image
levels
detail
basal layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710914851.0A
Other languages
English (en)
Inventor
张永新
王莉
张瑞玲
赵鹏
段雯晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luoyang Normal University
Original Assignee
Luoyang Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luoyang Normal University filed Critical Luoyang Normal University
Priority to CN201710914851.0A priority Critical patent/CN107909560A/zh
Publication of CN107909560A publication Critical patent/CN107909560A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于光学图像处理技术领域,公开了一种基于SiR的多聚焦图像融合方法及系统,其包括以下步骤:(1)用二维高斯滤波对输入图像进行平滑,移除源图像中的小结构;(2)将源图像作为引导图像,通过迭代引导边缘感知滤波恢复源图像的强边缘得到源图像的基础层和细节层;(3)分别计算源图像基础层和细节层各像素邻域窗口的梯度能量;(4)根据基础层和细节层各像素邻域窗口梯度能量大小构建决策矩阵,并利用形态学滤波方法对其进行膨胀腐蚀操作;(5)基于决策矩阵,根据一定的融合规则分别将基础层和细节层对应像素融合;(6)将融合后的基础层和细节层合并,得到融合图像。本发明不但能够有效提高源图像中的聚焦区域检测准确性,且能极大提高融合图像的主客观品质。

Description

一种基于SiR的多聚焦图像融合方法及系统
技术领域
本发明属于光学图像处理技术领域,设计一种多聚焦图像融合方法,尤其 涉及一种基于SiR的多聚焦图像融合方法及系统。
背景技术
由于聚焦范围有限,光学传感器成像系统无法对场景中的所有物体都清晰 成像。当物体位于成像系统的焦点上时,它在像平面上的成像是清晰的,而同 一场景内,其它位置上的物体在像平面上的成像是模糊的。虽然光学镜头成像 技术的快速发展提高了成像系统的分辨率,却无法消除聚焦范围局限性对整体 成像效果的影响,使得同一场景内的所有物体难以同时在像平面上清晰成像, 不利于图像的准确分析和理解。另外,分析相当数量的相似图像既浪费时间又 浪费精力,也会造成存储空间上的浪费。如何得到一幅同一场景中所有物体都 清晰的图像,使其更加全面、真实的反映场景信息对于图像的准确分析和理解 具有重要意义,而多聚焦图像融合是实现这一目标的有效技术途径之一。
多聚焦图像融合就是对经过配准的相同成像条件下获得的关于某一场景中 的多幅聚焦图像,采用某种融合算法提取每幅聚焦图像的清晰区域,并根据一 定的融合规则将这些区域合并生成一幅该场景中所有目标物都清晰的图像。多 聚焦图像融合技术可以使处在不同成像距离上的场景目标能够清晰的呈现在一 幅图像中,为特征提取,目标识别与追踪等奠定了良好的基础,从而有效地提 高了图像信息的利用率和系统对目标表探测识别的可靠性,扩展了时空范围, 降低了不确定性。该技术在智慧城市、医疗成像、军事作战以及安全监控等领 域有广泛应用。
多聚焦图像融合算法的关键是对聚焦区域特性做出准确评判,准确定位并 提取出聚焦范围内的区域或像素,这也是多聚焦图像融合技术中至今尚未得到 很好解决的问题之一。目前,多聚焦图像融合算法主要分为两类:空间域多聚 焦图像融合算法和变换域多聚焦图像融合算法。其中,空间域图像融合算法根 据源图像中像素点的灰度值大小,利用不同的聚焦区域特性评价方法将聚焦区 域的像素点或区域提取出来,根据融合规则得到融合图像。该算法的优点是方 法简单,容易执行,计算复杂度低,融合图像包含源图像的原始信息。缺点是 易受到噪声干扰,易产生“块效应”。变换域图像融合算法对源图像进行变换, 根据融合规则对变换系数进行处理,将处理后的变换系数进行逆变换得到融合 图像。其不足之处主要表现在分解过程复杂、耗时,高频系数空间占用大,融 合过程中易造成信息丢失。如果改变融合图像的一个变换系数,则整个图像的 空域灰度值都将会发生变化,结果在增强一些图像区域属性的过程中,引入了 不必要的人为痕迹。
随着计算机和成像技术的不断发展,国内外研究者针对多聚焦图像融合技 术中存在的聚焦区域判定和提取问题,提出了很多性能优异的融合算法,空间 域和变换域较为常用的像素级多聚焦图像融合算法有以下几种:
(1)基于拉普拉斯金字塔(Laplacian Pyramid,LAP)的多聚焦图像融合方 法。其主要过程是对源图像进行拉普拉斯金字塔分解,然后采用合适的融合规 则,将高频和低频系数进行融合,将融合后的金字塔系数进行逆变换得到融合 图像。该方法具有良好的时频局部特性,取得了不错的效果,但各分解层间数 据有冗余,无法确定各分解层上的数据相关性。提取细节信息能力差,分解过 程中高频信息丢失严重,直接影响了融合图像质量。
(2)基于小波变换(Discrete Wavelet Transform,DWT)的多聚焦图像融合 方法。其主要过程是对源图像进行小波分解,然后采用合适的融合规则,将高 频和低频系数进行融合,将融合后的小波系数进行小波逆变换得到融合图像。 该方法具有良好的时频局部特性,取得了不错的效果,但二维小波基是由一维 小波基通过张量积的方式构成,对于图像中的奇异点的表示是最优的,但对于 图像奇异的线和面却无法进行稀疏表示。另外DWT属于下采样变换,缺乏平移 不变性,在融合过程中易造成信息的丢失,导致融合图像失真。
(3)基于非下采样的轮廓波变换(Non-sub-sampled Contourlet Transform,NSCT)的多聚焦图像融合方法。其主要过程是对源图像进行NSCT分解,然后 采用合适的融合规则,将高频和低频系数进行融合,将融合后的小波系数进行 NSCT逆变换得到融合图像。该方法可取得不错的融合效果,但运行速度较慢, 分解系数需要占用大量的存储空间。
(4)基于主成分分析(Principal Component Analysis,PCA)的多聚焦图像融 合方法。其主要过程是将源图像按照行优先或者列优先转换成列向量,并计算 协方差,根据协方差矩阵求取特征向量,确定第一主成分对应的特征向量并据 此确定各源图像融合的权重,根据权重进行加权融合。该方法在源图像之间具 有某些共有特征时,能够得到较好的融合效果;而在源图像之间的特征差异较 大时,则容易在融合图像中引入虚假的信息,导致融合结果失真。该方法计算 简单,速度快,但由于单个像素点的灰度值无法表示所在图像区域的聚焦特性, 导致融合图像出现轮廓模糊,对比度低的问题。
(5)基于空间频率(Spatial Frequency,SF)的多聚焦图像融合方法。其主 要过程是将源图像进行块分割,然后计算各块SF,对比源图像对应块的SF,将 SF值大的对应图像块合并得到融合图像。该方法简单易于实施,但分块大小难 以自适应确定,分块太大,易将焦点外的像素都包含进来,降低融合质量,使 融合图像对比度下降,易产生块效应,分块太小对区域清晰程度表征能力受限, 易出现块的错误选择,使得相邻子块间一致性差,在交界处出现明显细节差异, 产生“块效应”。另外,图像子块的聚焦特性难以准确描述,如何利用图像子块局 部特征准确描述该子块的聚焦特性,将直接影响聚焦子块选择的准确性和融合 图像的质量。
(6)基于鲁棒主成分分析(robust principal component analysis,RPCA)的 多聚焦图像融合方法。其主要过程是对源图像进行RPCA分解,然后计算稀疏 成分像素邻域内梯度能量(energy of the gradient,EOG),对比源图像对邻域的EOG, 将EOG值大的对应像素合并到融合图像。该方法不直接依赖于源图像的聚焦特 性,而是通过稀疏成分的显著性特征来判定源图像的聚焦区域,对噪声具有鲁 棒性。
(7)基于卡通-纹理图像分解(cartoon-texture decomposition,CTD)的多聚 焦图像融合方法。其主要过程是对多聚焦源图像分别进行卡通-纹理图像分解, 得到多聚焦源图像的卡通成分和纹理成分,并对多聚焦源图像的卡通成分和纹 理成分分别进行融合,合并融合后的卡通成分和纹理成分得到融合图像。其融 合规则是基于图像的卡通成分和纹理成分的聚焦特性设计的,不直接依赖于源 图像的聚焦特性,从而对噪声和划痕破损具有鲁棒性。
(8)基于导向滤波的多聚焦图像融合方法(Guided Filter Fusion,GFF)。其 主要过程是使用导向图像滤波器将图像分解为包含大尺度强度变化的基础层和 包含小尺度细节的细节层,然后利用基础层和细节层的显著性和空间一致性构 建融合权值图,并以此为基础将源图像的基础层和细节层分别融合,最后把融 合的基础层和细节层合并得到最终融合图像,该方法可取得不错的融合效果, 但对噪声缺乏鲁棒性。
上述八种方法是较为常用的多聚焦图像融合方法,但这些方法中,小波变换(DWT)不能充分利用图像数据本身所具有的几何特征,不能最优或最“稀疏” 的表示图像,易造成融合图像出现偏移和信息丢失现象;基于非下采样的轮廓 波变换(NSCT)方法由于分解过程复杂,运行速度较慢,另外分解系数需要占 用大量的存储空间。主成分分析(PCA)方法容易降低融合图像对比度,影响 融合图像质量。鲁棒主成分分析(RPCA)、卡通纹理图像分解(CTD)、导向滤 波(GFF)都是近几年提出的新方法,都取得了不错的融合效果,其中导向滤波 (GFF)是基于局部非线性模型进行边缘保持和平移不变操作,计算效率高;可 以利用迭代框架恢复大尺度边缘的同时,消除边缘附近的小细节;前四种常用 融合方法都存在着不同的缺点,速度和融合质量间难以调和,限制了这些方法 的应用和推广,第八种方法是目前融合性能比较优异的融合算法,但也存在一 定缺陷。
综上所述,现有技术存在的问题是:
现有技术中,(1)传统的空间域方法主要采用区域划分方法进行,区域划 分尺寸过大将导致焦点内外区域位于同一区域,导致融合图像质量下降;区域 划分尺寸过小,子区域特征不能充分反映该区域特征,容易导致聚焦区域像素 的判定不准确并产生误选,使得相邻区域间一致性差,在交界处出现明显细节 差异,产生“块效应”。(2)传统的基于多尺度分解的多聚焦融合方法中,总 是将整幅多聚焦源图像作为单个整体进行处理,细节信息提取不完整,不能在 融合图像中较好表示源图像边缘纹理等细节信息,影响了融合图像对源图像潜 在信息描述的完整性,进而影响融合图像质量。
发明内容
针对现有技术存在的问题,本发明提供了一种不但能够有效消除“块效应”, 扩展光学成像系统景深且能极大提升融合图像主客观品质的基于SiR的多聚焦 图像融合方法及系统。克服了多聚焦图像融合中存在的聚焦区域判定不准确, 不能有效提取源图像边缘纹理信息,融合图像细节特征表征不完整,部分细节 丢失,“块效应”,对比度下降等诸多问题。
本发明是这样实现的,首先用二维高斯滤波对输入图像进行平滑,移除源 图像中的小结构;然后通过迭代引导边缘感知滤波恢复源图像的强边缘得到源 图像的基础层和细节层;利用滑动窗口技术分别计算源图像基础层和细节层各 像素邻域窗口的梯度能量;并根据基础层和细节层各像素邻域窗口梯度能量大 小构建决策矩阵,并利用形态学滤波方法对其进行膨胀腐蚀操作;然后基于决 策矩阵,根据一定的融合规则分别将基础层和细节层对应像素融合;最后将融 合后的基础层和细节层合并,得到融合图像。
进一步,所述基于SiR的多聚焦图像融合方法,对配准后的多聚焦图像IA和 IB进行融合,IA和IB均为灰度图像,且IA是大小为M×N的 空间,M和N均为正整数,具体包括以下步骤:
(1)利用平滑滤波器S分别对多聚焦图像I1和I2进行平滑操作,移除源图 像I1和I2中的小结构,得到I′1和I′2,其中:(I′1,I′2)=S(I1,I2);
(2)分别将源图像I1和I2作为引导图像,使用导向边缘恢复滤波器RIG对I′1和I′2进行迭代边缘感知滤波操作,恢复源图像中的强势边缘,得到源图像I1和I2的基础层I1B、I2B和细节层I1D、I2D,其中:(I1B,I1D)=RIG(I1,I′1),(I2B,I2D)=RIG(I2,I′2);
(3)分别计算源图像I1、I2的基础层I1B、I2B和细节层I1D、I2D每个像素邻 域内的梯度能量,邻域大小为5×5或7×7;
(4)分别构建基础层特征矩阵HB和细节层特征矩阵 HD
(式1)中:
EOG1B(i,j)为基础层I1B像素(i,j)邻域内的梯度能量;
EOG2B(i,j)为基础层I2B像素(i,j)邻域内的梯度能量;
i=1,2,3,…,M;j=1,2,3,…,N;
HB(i,j)为矩阵HB第i行、第j列的元素;
(式2)中:
EOG1D(i,j)为细节层I1D像素(i,j)邻域内的梯度能量;
EOG2D(i,j)为细节层I2D像素(i,j)邻域内的梯度能量;
i=1,2,3,…,M;j=1,2,3,…,N;
HD(i,j)为矩阵HD第i行、第j列的元素;
(5)根据特征矩阵HB和HD构建融合图像基础层FB和细节层FD得到融合后的基础层FB和细节层FD
(式3)中:
FB(i,j)为融合后的源图像基础层FB像素点(i,j)处的灰度值;
I1B(i,j)为融合前源图像基础层I1B的像素点(i,j)处的灰度值;
I2B(i,j)为融合前源图像基础层I2B的像素点(i,j)处的灰度值。
(式4)中:
FD(i,j)为融合后的源图像细节层FD像素点(i,j)处的灰度值;
I1D(i,j)为融合前源图像细节层I1D的像素点(i,j)处的灰度值;
I2D(i,j)为融合前源图像细节层I2D的像素点(i,j)处的灰度值。
(6)构建融合图像F,得到融合后的灰度图像,其中: F=FB+FD
进一步,对步骤(4)中构建的特征矩阵进行腐蚀膨胀操作处理,并利用处 理后的特征矩阵构建融合图像。
本发明的另一目的在于提供一种基于SiR的多聚焦图像融合系统。
本发明的另一目的在于提供一种利用上述基于SiR的多聚焦图像融合方法 的智慧城市多聚焦图像融合系统。
本发明的另一目的在于提供一种利用上述基于SiR的多聚焦图像融合方法 的医疗成像多聚焦图像融合系统。
本发明的另一目的在于提供一种利用上述基于SiR的多聚焦图像融合方法 的安全监控多聚焦图像融合系统。
本发明的优点及积极效果为:
(1)本发明首先对源图像进行平滑迭代恢复滤波处理,得到源图像基础层 和细节层,通过分别比较基础层和细节层像素邻域内的能量梯度来对基础层、 细节层的聚焦区域特性进行判定,进而分别构建基础层和细节层融合决策矩阵, 分别将源图像基础层和细节层融合,然后将融合后的基础层和细节层进行融合 得到源图像的融合图像。对源图像进行二次融合,提高了对源图像聚焦区域特 性判定的准确率,有利于清晰区域目标的提取,可以更好的从源图像转移边缘 纹理等细节信息,有效提高融合图像主客观品质。
(2)本发明中,图像融合框架灵活,易于实施,可用于其他类型的图像融 合任务。在融合过程中,可以根据任务需要采用最合适的滤波器进行滤波操作, 以保证最好的融合效果。
(3)本融合算法用平滑滤波器对源图像进行平滑操作时,可以有效抑制源 图像中的噪声对融合图像质量的影响。
(4)本融合算法采用滑动窗口技术计算像素邻域内像素的聚焦区域特性, 可以有效消除“块效应”。
本发明图像融合方法框架灵活,对源图像聚焦区域特性判定具有较高的准 确率,可较为准确的提取聚焦区域目标细节,清晰表示图像细节特征,同时有 效消除“块效应”,有效提高融合图像主客观品质。
附图说明
图1是本发明实施案例提供的基于SiR的多聚焦图像融合方法流程图。
图2是本发明实施案例1提供的待融合源图像‘Disk’效果图。
图3是本发明实施案例提供的为拉普拉斯(LAP)、小波变换(DWT)、基于 非下采样的轮廓波变换(NSCT)、主成分分析(PCA)方法、空间频率(SF)、 鲁棒主成分分析(RPCA)、卡通纹理图像分解(CTD)、导向滤波(GFF)以及 本发明(Proposed)共九种图像融合方法对多聚焦图像‘Disk’图1的融合效果图。
图4是本发明实施案例2提供2的待融合图像‘Book’效果图;
图5为拉普拉斯(LAP)、小波变换(DWT)、基于非下采样的轮廓波变换 (NSCT)、主成分分析(PCA)方法、空间频率(SF)、鲁棒主成分分析(RPCA)、 卡通纹理图像分解(CTD)、导向滤波(GFF)以及本发明(Proposed)图像九 种融合方法对多聚焦图像‘Book’图4(a)与(b)的融合效果图像。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施案例, 对本发明进行进一步详细说明。应当理解,此处所描述的具体实施案例仅仅用 以解释本发明,并不用于限定本发明。
现有技术中,多聚焦图像融合领域中融合算法对源图像聚焦区域判定不准 确,细节信息提取不完整,不能在融合图像中较好表示源图像边缘纹理等细节 信息,融合效果差。
下面结合附图对本发明的应用原理作详细描述。
如图1所示,本发明实施案例提供的基于SiR的多聚焦图像融合方法,包 括:
S101:首先用二维高斯滤波对输入图像进行平滑,移除源图像中的小结构, 在此基础上将源图像作为引导图像,通过迭代引导边缘感知滤波恢复源图像的 强边缘,进而得到源图像的基础层和细节层。
S102:然后分别计算源图像基础层和细节层各像素邻域窗口的梯度能量, 根据基础层和细节层各像素邻域窗口梯度能量大小构建决策矩阵,并根据一定 的融合规则分别将基础层和细节层对应像素融合。
S103:最后将融合后的基础层和细节层合并,得到融合图像。
下面结合具体流程对本发明作进一步描述。
本发明实施案例提供的基于SiR的多聚焦图像融合方法,具体流程包括:
对IA两幅多聚焦图像进行融合,两幅多聚焦图像大小均为 M×N:利用平滑滤波器S分别对多聚焦图像I1和I2进行平滑操作,移除源图像I1和I2中的小结构,得到I′1和I′2,其中:(I′1,I′2)=S(I1,I2);
分别将源图像I1和I2作为引导图像,使用导向边缘恢复滤波器RIG对I′1和I′2进 行迭代边缘感知滤波操作,恢复源图像中的强势边缘,得到源图像I1和I2的基础 层I1B、I2B和细节层I1D、I2D,其中:(I1B,I1D)=RIG(I1,I′1),(I2B,I2D)=RIG(I2,I′2);
计算源图像I1、I2的基础层I1B、I2B和细节层I1D、I2D每个像素邻域内的梯度 能量,邻域大小为5×5或7×7。梯度能量(EOG)计算方法如下式所示:
fα+k=[f0(α+k+1,β)-f(α+k+1,β)]-[f0(α+k,β)-f(α+k,β)]
fβ+l=[f0(α,β+l+1)-f(α,β+l+1)]-[f0(α,β+l)-f(α,β+l)];
其中:
K×L为像素点(α,β)邻域的大小,取值为5×5或7×7;
-(K-1)/2≤k≤(K-1)/2,且k取整数;
-(L-1)/2≤l≤-(L-1)/2,且l取整数;
f(α,β)和f0(α,β)为基础层和细节层中像素点(α,β)的灰度值;
分别构建基础层特征矩阵HB和细节层特征矩阵 HD
根据特征矩阵HB和HD构建融合图像基础层FB和细节层 FD得到融合后的基础层FB和细节层FD
(式3)中:
FB(i,j)为融合后的源图像基础层FB像素点(i,j)处的灰度值;
I1B(i,j)为融合前源图像基础层I1B的像素点(i,j)处的灰度值;
I2B(i,j)为融合前源图像基础层I2B的像素点(i,j)处的灰度值。
(式4)中:
FD(i,j)为融合后的源图像细节层FD像素点(i,j)处的灰度值;
I1D(i,j)为融合前源图像细节层I1D的像素点(i,j)处的灰度值;
I2D(i,j)为融合前源图像细节层I2D的像素点(i,j)处的灰度值。
构建融合图像F,得到融合后的灰度图像,其中:F=FB+FD
由于单独依靠梯度能量作为图像清晰度的评价标准,可能不能完全提取出 所有清晰子块,在决策矩阵中区域间存在着毛刺,截断和狭窄的粘连,需要对 决策矩阵进行形态学的腐蚀膨胀操作。
下面结合具体实施案例对本发明作进一步描述。
图2是本发明实施案例1提供的待融合源图像‘Disk’效果图。
实施案例1
遵循本发明的方案,该实施案例1对图2(a)与(b)所示两幅源图像进行 融合处理,处理结果如图3中的Propose所示。同时利用拉普拉斯(LAP)、小 波变换(DWT)、基于非下采样的轮廓波变换(NSCT)、主成分分析(PCA)方 法、空间频率(SF)、鲁棒主成分分析(RPCA)、卡通纹理图像分解(CTD)、 导向滤波(GFF)八种图像融合方法对图2(a)与(b)所示两幅源图像进行融 合处理,对不同融合方法的融合图像进行质量评价,处理计算得表1所示结果。
表1 多聚焦图像‘Disk’融合图像质量评价.
实施案例2:
遵循本发明的方案,该实施案例对图4(a)与(b)所示两幅源图像进行融 合处理,处理结果如图5中的Proposed所示。
同时拉普拉斯(LAP)、小波变换(DWT)、基于非下采样的轮廓波变换 (NSCT)、主成分分析(PCA)方法、空间频率(SF)、鲁棒主成分分析(RPCA)、 卡通纹理图像分解(CTD)、导向滤波(GFF)八种图像融合方法对图4所示两 幅源图像(a)与(b)进行融合处理,对图5不同融合方法的融合图像进行质 量评价,处理计算得表2所示结果。
表2 多聚焦图像‘Book’融合图像质量评价.
表1和表2中:Method代表方法;融合方法包括八种分别是:拉普拉斯 (LAP)、小波变换(DWT)、基于非下采样的轮廓波变换(NSCT)、主成分分 析(PCA)方法、空间频率(SF)、鲁棒主成分分析(RPCA)、卡通纹理图像分 解(CTD)、导向滤波(GFF);Running Time代表运行时间,单位为秒。MI代 表互信息,是基于互信息的融合图像质量客观评价指标。QAB/F代表从源图像中 转移的边缘信息总量。
从图3、图5可以看出,其它方法中频域方法包括拉普拉斯(LAP)、小波 变换(DWT)、基于非下采样的轮廓波变换(NSCT),其融合图像都存再伪影, 模糊以及对比度差的问题;空域方法中主成分分析(PCA)方法其融合图像对 比度最差,、空间频率(SF)方法的融合图像存在“块效应”现象,而鲁棒主成 分分析(RPCA)、卡通纹理图像分解(CTD)、导向滤波(GFF)融合质量相对 较好,但也存在少量部分模糊。本发明的方法对多聚焦图像图3‘Disk’和多聚焦 图像图5‘Book’的融合图像主观视觉效果明显优于其他融合方法的融合效果。
从融合图像可看出,本发明方法对源图像焦点区域目标边缘和纹理的提取 能力明显优于其他方法,能够很好的将源图像中焦点区域的目标信息转移到融 合图像中去。可以有效捕捉聚焦区域的目标细节信息,提高图像融合质量。本 发明方法具有良好的主观品质。
从表1和表2可以看出,本发明方法融合图像的图像质量客观评价指标MI 比其他方法的融合图像对应指标平均高出0.75,融合图像的图像质量客观评价 指标QAB/F比其他方法的融合图像对应指标0.04。说明本方法获得融合图像具有 良好的客观品质。
以上所述仅为本发明的较佳实施案例而已,并不用以限制本发明,凡在本 发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发 明的保护范围之内。

Claims (7)

1.一种基于SiR的多聚焦图像融合方法,其特征在于,所述基于SiR的多聚焦图像融合方法及系统包括以下步骤:
(1)用二维高斯滤波对输入图像进行平滑,移除源图像中的小结构;
(2)在此基础上将源图像作为引导图像,通过迭代引导边缘感知滤波恢复源图像的强边缘,进而得到源图像的基础层和细节层;
(3)利用滑动窗口技术分别扫描原图像基础层和细节层,并计算源图像基础层和细节层各像素邻域窗口的梯度能量;
(4)根据基础层和细节层各像素邻域窗口梯度能量大小构建决策矩阵,并利用形态学滤波方法对其进行膨胀腐蚀操作处理;
(5)基于决策矩阵,根据一定的融合规则分别将基础层和细节层对应像素融合;
(6)将融合后的基础层和细节层合并,得到融合图像。
2.如权利要求1所述的基于SiR的多聚焦图像融合方法,其特征在于,所述基于SiR的多聚焦图像融合方法,对配准后的多聚焦图像IA和IB进行融合,IA和IB均为灰度图像,且是大小为M×N的空间,M和N均为正整数,具体包括:
(1)利用平滑滤波器S分别对多聚焦图像I1和I2进行平滑操作,移除源图像I1和I2中的小结构,得到I′1和I′2,其中:(I′1,I′2)=S(I1,I2);
(2)分别将源图像I1和I2作为引导图像,使用导向边缘恢复滤波器RIG对I′1和I′2进行迭代边缘感知滤波操作,恢复源图像中的强势边缘,得到源图像I1和I2的基础层I1B、I2B和细节层I1D、I2D,其中:(I1B,I1D)=RIG(I1,I′1),(I2B,I2D)=RIG(I2,I′2);
(3)分别计算源图像I1、I2的基础层I1B、I2B和细节层I1D、I2D每个像素邻域内的梯度能量,邻域大小为5×5或7×7;
(4)分别构建基础层特征矩阵HB和细节层特征矩阵HD
(式1)中:
EOG1B(i,j)为基础层I1B像素(i,j)邻域内的梯度能量;
EOG2B(i,j)为基础层I2B像素(i,j)邻域内的梯度能量;
i=1,2,3,…,M;j=1,2,3,…,N;
HB(i,j)为矩阵HB第i行、第j列的元素;
(式2)中:
EOG1D(i,j)为细节层I1D像素(i,j)邻域内的梯度能量;
EOG2D(i,j)为细节层I2D像素(i,j)邻域内的梯度能量;
i=1,2,3,…,M;j=1,2,3,…,N;
HD(i,j)为矩阵HD第i行、第j列的元素;
(5)根据特征矩阵HB和HD构建融合图像基础层FB和细节层FD得到融合后的基础层FB和细节层FD
(式3)中:
FB(i,j)为融合后的源图像基础层FB像素点(i,j)处的灰度值;
I1B(i,j)为融合前源图像基础层I1B的像素点(i,j)处的灰度值;
I2B(i,j)为融合前源图像基础层I2B的像素点(i,j)处的灰度值。
(式4)中:
FD(i,j)为融合后的源图像细节层FD像素点(i,j)处的灰度值;
I1D(i,j)为融合前源图像细节层I1D的像素点(i,j)处的灰度值;
I2D(i,j)为融合前源图像细节层I2D的像素点(i,j)处的灰度值。
(6)构建融合图像F,得到融合后的灰度图像,其中:F=FB+FD
3.如权利要求2所述的基于SiR的多聚焦图像融合方法,其特征在于,对步骤(4)中构建的特征矩阵进行腐蚀膨胀操作处理,并利用处理后的特征矩阵构建融合图像。
4.一种如权利要求1所述基于SiR的多聚焦图像融合方法的基于SiR的多聚焦图像融合系统。
5.一种利用权利要求1所述基于SiR的多聚焦图像融合方法的智慧城市多聚焦图像融合系统。
6.一种利用权利要求1所述基于SiR的多聚焦图像融合方法的医疗成像多聚焦图像融合系统。
7.一种利用权利要求1所述基于SiR的多聚焦图像融合方法的安全监控多聚焦图像融合系统。
CN201710914851.0A 2017-09-22 2017-09-22 一种基于SiR的多聚焦图像融合方法及系统 Pending CN107909560A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710914851.0A CN107909560A (zh) 2017-09-22 2017-09-22 一种基于SiR的多聚焦图像融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710914851.0A CN107909560A (zh) 2017-09-22 2017-09-22 一种基于SiR的多聚焦图像融合方法及系统

Publications (1)

Publication Number Publication Date
CN107909560A true CN107909560A (zh) 2018-04-13

Family

ID=61841182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710914851.0A Pending CN107909560A (zh) 2017-09-22 2017-09-22 一种基于SiR的多聚焦图像融合方法及系统

Country Status (1)

Country Link
CN (1) CN107909560A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509164A (zh) * 2018-09-28 2019-03-22 洛阳师范学院 一种基于gdgf的多传感器图像融合方法及系统
CN109509163A (zh) * 2018-09-28 2019-03-22 洛阳师范学院 一种基于fgf的多聚焦图像融合方法及系统
CN109614976A (zh) * 2018-11-02 2019-04-12 中国航空工业集团公司洛阳电光设备研究所 一种基于Gabor特征的异源图像融合方法
CN110648302A (zh) * 2019-10-08 2020-01-03 太原科技大学 基于边缘增强引导滤波的光场全聚焦图像融合方法
CN110738628A (zh) * 2019-10-15 2020-01-31 湖北工业大学 一种基于wiml比较图的自适应焦点检测多聚焦图像融合方法
CN110956590A (zh) * 2019-11-04 2020-04-03 中山市奥珀金属制品有限公司 一种虹膜图像的去噪装置、方法及存储介质
CN111507913A (zh) * 2020-04-08 2020-08-07 四川轻化工大学 一种基于纹理特征的图像融合算法
CN111861915A (zh) * 2020-07-08 2020-10-30 北京科技大学 一种显微成像场景下失焦扩散效应消除方法及装置
CN111968068A (zh) * 2020-08-18 2020-11-20 杭州海康微影传感科技有限公司 一种热成像图像的处理方法及装置
CN113763368A (zh) * 2021-09-13 2021-12-07 中国空气动力研究与发展中心超高速空气动力研究所 一种大尺寸试件多类型损伤检测特征分析方法
CN113763367A (zh) * 2021-09-13 2021-12-07 中国空气动力研究与发展中心超高速空气动力研究所 一种大尺寸试件红外检测特征综合判读方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286517A1 (en) * 2006-06-13 2007-12-13 Chung-Ang University Industry Academic Cooperation Foundation Method and apparatus for multifocus digital image restoration using image integration technology
CN101853500A (zh) * 2010-05-13 2010-10-06 西北工业大学 一种彩色多聚焦图像融合方法
CN103455991A (zh) * 2013-08-22 2013-12-18 西北大学 一种多聚焦图像融合方法
CN103700067A (zh) * 2013-12-06 2014-04-02 浙江宇视科技有限公司 一种提升图像细节的方法和装置
CN104504740A (zh) * 2015-01-23 2015-04-08 天津大学 压缩感知框架下的图像融合方法
CN105279746A (zh) * 2014-05-30 2016-01-27 西安电子科技大学 一种基于双边滤波的多曝光图像融合方法
CN105654448A (zh) * 2016-03-29 2016-06-08 微梦创科网络科技(中国)有限公司 一种基于双边滤波及权值重建的图像融合方法及系统
CN105825472A (zh) * 2016-05-26 2016-08-03 重庆邮电大学 一种快速的基于多尺度高斯滤波器的色调映射系统及方法
CN107016654A (zh) * 2017-03-29 2017-08-04 华中科技大学鄂州工业技术研究院 一种基于引导图像滤波的自适应红外图像细节增强方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070286517A1 (en) * 2006-06-13 2007-12-13 Chung-Ang University Industry Academic Cooperation Foundation Method and apparatus for multifocus digital image restoration using image integration technology
CN101853500A (zh) * 2010-05-13 2010-10-06 西北工业大学 一种彩色多聚焦图像融合方法
CN103455991A (zh) * 2013-08-22 2013-12-18 西北大学 一种多聚焦图像融合方法
CN103700067A (zh) * 2013-12-06 2014-04-02 浙江宇视科技有限公司 一种提升图像细节的方法和装置
CN105279746A (zh) * 2014-05-30 2016-01-27 西安电子科技大学 一种基于双边滤波的多曝光图像融合方法
CN104504740A (zh) * 2015-01-23 2015-04-08 天津大学 压缩感知框架下的图像融合方法
CN105654448A (zh) * 2016-03-29 2016-06-08 微梦创科网络科技(中国)有限公司 一种基于双边滤波及权值重建的图像融合方法及系统
CN105825472A (zh) * 2016-05-26 2016-08-03 重庆邮电大学 一种快速的基于多尺度高斯滤波器的色调映射系统及方法
CN107016654A (zh) * 2017-03-29 2017-08-04 华中科技大学鄂州工业技术研究院 一种基于引导图像滤波的自适应红外图像细节增强方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
PHILIPP KNIEFACZ 等: "Smooth and iteratively Restore: A simple and fast edge-preserving smoothing model", 《ARXIV》 *
SHUTAO LI 等: "Image Fusion with Guided Filtering", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
姚权 等: "基于能量、梯度与方差的多聚焦图像融合", 《信息与电子工程》 *
张永新: "多聚焦图像像素级融合算法研究", 《中国博士学位论文全文数据库 信息科技辑》 *
郭洪 等: "提高边缘细节清晰度的图像融合改进算法", 《木工机床》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109509163A (zh) * 2018-09-28 2019-03-22 洛阳师范学院 一种基于fgf的多聚焦图像融合方法及系统
CN109509164A (zh) * 2018-09-28 2019-03-22 洛阳师范学院 一种基于gdgf的多传感器图像融合方法及系统
CN109509164B (zh) * 2018-09-28 2023-03-28 洛阳师范学院 一种基于gdgf的多传感器图像融合方法及系统
CN109509163B (zh) * 2018-09-28 2022-11-11 洛阳师范学院 一种基于fgf的多聚焦图像融合方法及系统
CN109614976A (zh) * 2018-11-02 2019-04-12 中国航空工业集团公司洛阳电光设备研究所 一种基于Gabor特征的异源图像融合方法
CN110648302B (zh) * 2019-10-08 2022-04-12 太原科技大学 基于边缘增强引导滤波的光场全聚焦图像融合方法
CN110648302A (zh) * 2019-10-08 2020-01-03 太原科技大学 基于边缘增强引导滤波的光场全聚焦图像融合方法
CN110738628A (zh) * 2019-10-15 2020-01-31 湖北工业大学 一种基于wiml比较图的自适应焦点检测多聚焦图像融合方法
CN110738628B (zh) * 2019-10-15 2023-09-05 湖北工业大学 一种基于wiml比较图的自适应焦点检测多聚焦图像融合方法
CN110956590A (zh) * 2019-11-04 2020-04-03 中山市奥珀金属制品有限公司 一种虹膜图像的去噪装置、方法及存储介质
CN110956590B (zh) * 2019-11-04 2023-11-17 张杰辉 一种虹膜图像的去噪装置、方法及存储介质
CN111507913A (zh) * 2020-04-08 2020-08-07 四川轻化工大学 一种基于纹理特征的图像融合算法
CN111507913B (zh) * 2020-04-08 2023-05-05 四川轻化工大学 一种基于纹理特征的图像融合算法
CN111861915A (zh) * 2020-07-08 2020-10-30 北京科技大学 一种显微成像场景下失焦扩散效应消除方法及装置
CN111968068A (zh) * 2020-08-18 2020-11-20 杭州海康微影传感科技有限公司 一种热成像图像的处理方法及装置
CN113763368A (zh) * 2021-09-13 2021-12-07 中国空气动力研究与发展中心超高速空气动力研究所 一种大尺寸试件多类型损伤检测特征分析方法
CN113763367A (zh) * 2021-09-13 2021-12-07 中国空气动力研究与发展中心超高速空气动力研究所 一种大尺寸试件红外检测特征综合判读方法

Similar Documents

Publication Publication Date Title
CN107909560A (zh) 一种基于SiR的多聚焦图像融合方法及系统
Bhalla et al. A fuzzy convolutional neural network for enhancing multi-focus image fusion
Du et al. Image segmentation-based multi-focus image fusion through multi-scale convolutional neural network
CN106339998B (zh) 基于对比度金字塔变换的多聚焦图像融合方法
CN109509164B (zh) 一种基于gdgf的多传感器图像融合方法及系统
Bhat et al. Multi-focus image fusion techniques: a survey
Yang et al. Multi-focus image fusion using an effective discrete wavelet transform based algorithm
CN106228528B (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN109509163B (zh) 一种基于fgf的多聚焦图像融合方法及系统
Liu et al. Multi-focus image fusion based on adaptive dual-channel spiking cortical model in non-subsampled shearlet domain
CN105894483B (zh) 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法
Yan et al. 3D shape reconstruction from multifocus image fusion using a multidirectional modified Laplacian operator
CN108230282A (zh) 一种基于agf的多聚焦图像融合方法及系统
Du et al. Multi-focus image fusion using deep support value convolutional neural network
CN106447640B (zh) 基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置
Liu et al. A multi-focus color image fusion algorithm based on low vision image reconstruction and focused feature extraction
Ding et al. U 2 D 2 Net: Unsupervised unified image dehazing and denoising network for single hazy image enhancement
Wang et al. Multi-focus image fusion based on quad-tree decomposition and edge-weighted focus measure
Liu et al. Multi-focus color image fusion algorithm based on super-resolution reconstruction and focused area detection
CN109934102B (zh) 一种基于图像超分辨率的指静脉识别方法
CN113763300A (zh) 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法
Choudhary et al. Mathematical modeling and simulation of multi-focus image fusion techniques using the effect of image enhancement criteria: A systematic review and performance evaluation
Zhang et al. Medical image fusion based on low-level features
CN112508828A (zh) 一种基于稀疏表示和引导滤波的多聚焦图像融合方法
CN109242797B (zh) 基于均质和异质区域融合的图像去噪方法、系统及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180413

RJ01 Rejection of invention patent application after publication