CN108230282A - 一种基于agf的多聚焦图像融合方法及系统 - Google Patents
一种基于agf的多聚焦图像融合方法及系统 Download PDFInfo
- Publication number
- CN108230282A CN108230282A CN201711224507.5A CN201711224507A CN108230282A CN 108230282 A CN108230282 A CN 108230282A CN 201711224507 A CN201711224507 A CN 201711224507A CN 108230282 A CN108230282 A CN 108230282A
- Authority
- CN
- China
- Prior art keywords
- image
- levels
- detail
- basal layer
- source images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 109
- 230000004927 fusion Effects 0.000 claims abstract description 70
- 238000002156 mixing Methods 0.000 claims abstract description 58
- 238000001914 filtration Methods 0.000 claims abstract description 56
- 230000002146 bilateral effect Effects 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 17
- 238000007500 overflow downdraw method Methods 0.000 claims description 10
- 238000003384 imaging method Methods 0.000 claims description 6
- 239000000155 melt Substances 0.000 claims description 5
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000010339 dilation Effects 0.000 claims description 3
- 230000003628 erosive effect Effects 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000000574 ganglionic effect Effects 0.000 claims 1
- 230000003287 optical effect Effects 0.000 abstract description 3
- 239000010410 layer Substances 0.000 description 54
- 238000000513 principal component analysis Methods 0.000 description 25
- 230000009466 transformation Effects 0.000 description 17
- 230000000694 effects Effects 0.000 description 15
- 230000000903 blocking effect Effects 0.000 description 11
- 239000004615 ingredient Substances 0.000 description 9
- 238000005070 sampling Methods 0.000 description 9
- 238000000354 decomposition reaction Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明属于光学图像处理技术领域，公开了一种基于AGF的多聚焦图像融合方法及系统，首先用联合双边滤波对输入图像进行平滑，交替使用源图像和滤波图像作为双边滤波的输入图像和引导图像；并使用中值滤波对双边滤波处理的图像进行滤波处理，得到源图像的基础层和细节层；然后分别计算源图像基础层和细节层各像素邻域窗口的梯度能量，根据基础层和细节层各像素邻域窗口梯度能量大小构建决策矩阵，并根据一定的融合规则分别将基础层和细节层对应像素融合。本发明不但能够有效提高对源图像中的聚焦区域判定的准确性，且能极大提高融合图像的质量。
Description
技术领域
本发明属于光学图像处理技术领域，尤其涉及一种基于AGF的多聚焦图像融合方法及系统。
背景技术
由于景深限制，光学传感器成像系统只能将聚焦范围内的部分场景清晰成像，只有在聚焦范围内的场景目标是清晰的。这种部分目标清晰的聚焦图像并不能准确完整的描述场景，进而限制了人们对场景的准确分析和理解。分析相当数量的相似图像既浪费时间又浪费精力，也会造成存储空间上的浪费。这样必将限制目标检测和识别等相关任务的效率和质量。多聚焦图像融合是一种通过整合同一场景下多幅图像显著清晰特征来解决上述问题的有效技术途径之一。
多聚焦图像融合就是对经过配准的相同成像条件下获得的关于某一场景中的多幅聚焦图像，采用某种融合算法提取每幅聚焦图像的清晰区域，并根据一定的融合规则将这些区域合并生成一幅该场景中所有目标物都清晰的图像。多聚焦图像融合技术可以使处在不同成像距离上的场景目标能够清晰的呈现在一幅图像中，为特征提取，目标识别与追踪等奠定了良好的基础，从而有效地提高了图像信息的利用率和系统对目标表探测识别的可靠性，扩展了时空范围，降低了不确定性。该技术在智慧城市、医疗成像、军事作战以及安全监控等领域有广泛应用。
多聚焦图像融合算法的关键是对聚焦区域显著特征进行识别，准确定位并提取出聚焦范围内的区域或像素，这也是多聚焦图像融合技术中至今尚未得到很好解决的问题之一。近年来，研究者提出了大量不同的多聚焦图像融合算法，这些可简单分为两类：空间域多聚焦图像融合算法和变换域多聚焦图像融合算法。其中，空间域图像融合算法根据源图像中像素点的灰度值大小或区域内像素聚焦特征的显著程度，利用不同的聚焦区域特性评价方法将聚焦区域的像素点或区域提取出来，根据融合规则得到融合图像。该算法的优点是方法简单，容易执行，计算复杂度低，融合图像包含源图像的原始信息。缺点是易受到噪声干扰，同时由于块大小的自身局限性，易使融合图像产生“块效应”。变换域图像融合算法对源图像进行变换，将源图像从空间域转换到变换域，将图像像素转换成不同空间尺度上的变换系数，然后根据融合规则对变换系数进行处理，将处理后的变换系数进行逆变换得到融合图像。其不足之处主要表现在分解过程复杂、耗时，高频系数空间占用大，融合过程中易造成信息丢失。如果改变融合图像的一个变换系数，则整个图像的空域灰度值都将会发生变化，结果在增强一些图像区域属性的过程中，引入了不必要的人为痕迹。
随着计算机和成像技术的不断发展，国内外研究者针对多聚焦图像融合技术中存在的聚焦区域判定和提取问题，提出了很多性能优异的融合算法，空间域和变换域较为常用的多聚焦图像融合算法主要包括以下几种：
(1)基于拉普拉斯金字塔(Laplacian Pyramid，LAP)的多聚焦图像融合方法。其主要过程是对源图像进行拉普拉斯金字塔分解，然后采用合适的融合规则，将高频和低频系数进行融合，将融合后的金字塔系数进行逆变换得到融合图像。该方法具有良好的时频局部特性，取得了不错的效果，但各分解层间数据有冗余，无法确定各分解层上的数据相关性。提取细节信息能力差，分解过程中高频信息丢失严重，直接影响了融合图像质量。
(2)基于小波变换(Discrete Wavelet Transform，DWT)的多聚焦图像融合方法。其主要过程是对源图像进行小波分解，然后采用合适的融合规则，将高频和低频系数进行融合，将融合后的小波系数进行小波逆变换得到融合图像。该方法具有良好的时频局部特性，取得了不错的效果，但二维小波基是由一维小波基通过张量积的方式构成，对于图像中的奇异点的表示是最优的，但对于图像奇异的线和面却无法进行稀疏表示。另外DWT属于下采样变换，缺乏平移不变性，在融合过程中易造成信息的丢失，导致融合图像失真。
(3)基于非下采样的轮廓波变换(Non-sub-sampled Contourlet Transform，NSCT)的多聚焦图像融合方法。其主要过程是对源图像进行NSCT分解，然后采用合适的融合规则，将高频和低频系数进行融合，将融合后的小波系数进行 NSCT逆变换得到融合图像。该方法可取得不错的融合效果，但运行速度较慢，分解系数需要占用大量的存储空间。
(4)基于主成分分析(Principal Component Analysis，PCA)的多聚焦图像融合方法。其主要过程是将源图像按照行优先或者列优先转换成列向量，并计算协方差，根据协方差矩阵求取特征向量，确定第一主成分对应的特征向量并据此确定各源图像融合的权重，根据权重进行加权融合。该方法在源图像之间具有某些共有特征时，能够得到较好的融合效果；而在源图像之间的特征差异较大时，则容易在融合图像中引入虚假的信息，导致融合结果失真。该方法计算简单，速度快，但由于单个像素点的灰度值无法表示所在图像区域的聚焦特性，导致融合图像出现轮廓模糊，对比度低的问题。
(5)基于空间频率(Spatial Frequency，SF)的多聚焦图像融合方法。其主要过程是将源图像进行块分割，然后计算各块SF，对比源图像对应块的SF，将 SF值大的对应图像块合并得到融合图像。该方法简单易于实施，但分块大小难以自适应确定，分块太大，易将焦点外的像素都包含进来，降低融合质量，使融合图像对比度下降，易产生“块效应”，分块太小对区域清晰程度表征能力受限，易出现块的错误选择，使得相邻子块间一致性差，在交界处出现明显细节差异，产生“块效应”。另外，图像子块的聚焦特性难以准确描述，如何利用图像子块局部特征准确描述该子块的聚焦特性，将直接影响聚焦子块选择的准确性和融合图像的质量。
(6)基于鲁棒主成分分析(Robust Principal Component Analysis，RPCA) 的多聚焦图像融合方法。其主要过程是对源图像进行RPCA分解，然后计算稀疏成分像素邻域内梯度能量(Energy of the Gradient，EOG)，对比源图像对邻域的EOG，将EOG值大的对应像素合并到融合图像。该方法不直接依赖于源图像的聚焦特性，而是通过稀疏成分的显著性特征来判定源图像的聚焦区域，对噪声具有鲁棒性。
(7)基于卡通-纹理图像分解(Cartoon-texture Decomposition，CTD)的多聚焦图像融合方法。其主要过程是对多聚焦源图像分别进行卡通-纹理图像分解，得到多聚焦源图像的卡通成分和纹理成分，并对多聚焦源图像的卡通成分和纹理成分分别进行融合，合并融合后的卡通成分和纹理成分得到融合图像。其融合规则是基于图像的卡通成分和纹理成分的聚焦特性设计的，不直接依赖于源图像的聚焦特性，从而对噪声和划痕破损具有鲁棒性。
(8)基于导向滤波的多聚焦图像融合方法(Guided Filter Fusion，GFF)。其主要过程是使用导向图像滤波器将图像分解为包含大尺度强度变化的基础层和包含小尺度细节的细节层，然后利用基础层和细节层的显著性和空间一致性构建融合权值图，并以此为基础将源图像的基础层和细节层分别融合，最后把融合的基础层和细节层合并得到最终融合图像，该方法可取得不错的融合效果，但对噪声缺乏鲁棒性。
上述八种方法是较为常用的多聚焦图像融合方法，但这些方法中，小波变换(DWT)不能充分利用图像数据本身所具有的几何特征，不能最优或最“稀疏”的表示图像，易造成融合图像出现偏移和信息丢失现象；基于非下采样的轮廓波变换(NSCT)方法由于分解过程复杂，运行速度较慢，另外分解系数需要占用大量的存储空间。主成分分析(PCA)方法容易降低融合图像对比度，影响融合图像质量。空间频率(SF)方法简单，计算效率高，但分块大小难以自适应确定，导致相邻子块间一致性差，易产生“块效应”，降低融合图像质量。鲁棒主成分分析(RPCA)、卡通纹理图像分解(CTD)、导向滤波(GFF)都是近几年提出的新方法，都取得了不错的融合效果，其中导向滤波(GFF)是基于局部非线性模型进行边缘保持和平移不变操作，计算效率高；可以利用滤波图像和源图像交替作为引导图像，在保持大尺度边缘曲度和整体图像强度的同时，消除边缘附近的小细节；前四种常用融合方法都存在着不同的缺点，速度和融合质量间难以调和，限制了这些方法的应用和推广，第八种方法是目前融合性能比较优异的融合算法，但在显著边缘附近会易产生光晕。
综上所述，现有技术存在的问题是：
现有技术中，(1)传统的空间域方法主要采用区域划分方法进行，区域划分尺寸过大将导致焦点内外区域位于同一区域，导致融合图像质量下降；区域划分尺寸过小，子区域特征不能充分反映该区域特征，容易导致聚焦区域像素的判定不准确并产生误选，使得相邻区域间一致性差，在交界处出现明显细节差异，产生“块效应”，降低了融合图像质量。(2)传统的基于多尺度分解的多聚焦融合方法中，总是将整幅多聚焦源图像作为单个整体进行处理，细节信息提取不完整，不能在融合图像中较好表示源图像边缘纹理等细节信息，影响了融合图像对源图像潜在信息描述的完整性，进而影响融合图像质量。同时，大量变换系数影响融合算法的时空性能较差。
发明内容
针对现有技术存在的问题，本发明提供了一种基于AGF的多聚焦图像融合方法及系统。本发明不但能够有效消除“块效应”，扩展光学成像系统景深且能极大提升融合图像主客观品质。本发明克服了多聚焦图像融合中存在的聚焦区域判定不准确，不能有效提取源图像边缘纹理信息，融合图像细节特征表征不完整，部分细节丢失，“块效应”，对比度下降等诸多问题。
本发明是这样实现的，一种基于AGF的多聚焦图像融合方法，包括：
首先用联合双边滤波对输入图像进行平滑，交替使用源图像和滤波图像作为双边滤波的输入图像和引导图像；并使用中值滤波对双边滤波处理的图像进行滤波处理，得到源图像的基础层和细节层；
然后分别计算源图像基础层和细节层各像素邻域窗口的梯度能量，根据基础层和细节层各像素邻域窗口梯度能量大小构建决策矩阵，并根据一定的融合规则分别将基础层和细节层对应像素融合；
最后将融合后的基础层和细节层合并，得到融合图像。
进一步，所述基于AGF的多聚焦图像融合方法具体包括：
步骤一，用联合双边滤波对输入图像进行交替滤波处理，并用当前滤波处理结果作为下次双边滤波处理的引导图像；
步骤二，用联合双边滤波对步骤一的处理结果进行交替滤波处理，并用源图像作为下次双边滤波处理的引导图像；
步骤三，对步骤二的处理结果进行中值滤波处理得到源图像的基础层和细节层；
步骤四，利用滑动窗口技术分别扫描原图像基础层和细节层，并计算源图像基础层和细节层各像素邻域窗口的梯度能量；
步骤五，根据像素邻域窗口梯度能量大小构建基础层和细节层的融合决策矩阵，并利用形态学滤波方法对融合决策矩阵进行膨胀腐蚀操作处理；
步骤六，根据一定的融合规则，利用融合决策矩阵，分别将基础层和细节层对应像素融合；
步骤七，将融合后的基础层和细节层合并，得到融合图像。
进一步，所述基于AGF的多聚焦图像融合方法中，对配准后的多聚焦图像 I1和I2进行融合，I1和I2均为灰度图像，且I1， 是大小为M×N的空间，M和N均为正整数，具体包括：
第一步，利用联合双边滤波器JBLF分别对多聚焦图像I1和I2进行交替滤波操作，滤波过程中使用上一次双边滤波处理结果Gt-1作为当前滤波处理的引导图像，得到和其中：(Gt)＝JBLF(I，Gt-1)；
第二步，利用联合双边滤波器JBLF分别对第一步的处理结果图像和进行交替滤波处理操作，滤波过程中使用源输入图像作为当前滤波处理的引导图像，得到和其中：(Gt)＝JBLF(Gt，I)；
第三步，利用中值滤波器MF对第二步的处理结果进行处理，得到源图像I1和I2的基础层I1B、I2B和细节层I1D、I2D，其中：(Gt)＝MF(Gt)；
第四步，分别计算源图像I1、I2的基础层I1B、I2B和细节层I1D、I2D每个像素邻域内的梯度能量，邻域大小为5×5或7×7；
第五步，分别构建基础层特征矩阵HB，和细节层特征矩阵 HD，
式(1)中：
EOG1B(i，j)为基础层I1B像素(i，j)邻域内的梯度能量；
EOG2B(i，j)为基础层I2B像素(i，j)邻域内的梯度能量；
i＝1，2，3，L，M；j＝1，2，3，L，N；
HB(i，j)为矩阵HB第i行、第j列的元素；
式(2)中：
EOG1D(i，j)为细节层I1D像素(i，j)邻域内的梯度能量；
EOG2D(i，j)为细节层I2D像素(i，j)邻域内的梯度能量；
i＝1，2，3，L，M；j＝1，2，3，L，N；
HD(i，j)为矩阵HD第i行、第j列的元素；
第六步，根据特征矩阵HB和HD构建融合图像基础层FB，FB∈iM×N和细节层 FD，得到融合后的基础层FB和细节层FD：
式(3)中：
FB(i，j)为融合后的源图像基础层FB像素点(i，j)处的灰度值；
I1B(i，j)为融合前源图像基础层I1B的像素点(i，j)处的灰度值；
I2B(i，j)为融合前源图像基础层I2B的像素点(i，j)处的灰度值；
式(4)中：
FD(i，j)为融合后的源图像细节层FD像素点(i，j)处的灰度值；
I1D(i，j)为融合前源图像细节层I1D的像素点(i，j)处的灰度值；
I2D(i，j)为融合前源图像细节层I2D的像素点(i，j)处的灰度值；
第七步，构建融合图像F，得到融合后的灰度图像，其中：F＝FB+FD。
进一步，对第五步中构建的基础层特征矩阵HB，和细节层特征矩阵 HD，进行腐蚀膨胀操作处理，并利用处理后的基础层特征矩阵和细节层特征矩建融合图像。
本发明的另一目的在于提供一种上述基于AGF的多聚焦图像融合方法的基于AGF的多聚焦图像融合系统。
本发明的另一目的在于提供一种上述基于AGF的多聚焦图像融合方法的智慧城市多聚焦图像融合系统。
本发明的另一目的在于提供一种上述基于AGF的多聚焦图像融合方法的医疗成像多聚焦图像融合系统。
本发明的另一目的在于提供一种上述基于AGF的多聚焦图像融合方法的安全监控多聚焦图像融合系统。
本发明的优点及积极效果为：
本发明首先对源图像进行交替引导滤波处理，得到源图像基础层和细节层，通过分别比较基础层和细节层像素邻域内的梯度能量来对基础层、细节层的聚焦区域特性进行判定，进而分别构建基础层和细节层融合决策矩阵，分别将源图像基础层和细节层融合，然后将融合后的基础层和细节层进行融合得到源图像的融合图像。对源图像不同成分进行融合，提高了对源图像聚焦区域特性判定的准确率，有利于清晰区域目标的提取，可以更好的从源图像转移边缘纹理等细节信息。同时，交替使用源图像和滤波图像作为双边滤波的输入图像和引导图像，使得整体图像强度和大尺度边缘曲度得以很好保持，可以有效提高融合图像主客观品质。
本发明中，图像融合框架灵活，易于实施，可用于其他类型的图像融合任务。在融合过程中，可以根据任务需要采用最合适的滤波器进行滤波操作，以保证最好的融合效果。
本发明的融合算法用平滑滤波器对源图像进行平滑操作时，可以有效抑制源图像中的噪声对融合图像质量的影响。
本发明融合算法采用滑动窗口技术计算像素邻域内像素的聚焦区域特性，可以有效消除“块效应”。
本发明图像融合方法框架灵活，对源图像聚焦区域特性判定具有较高的准确率，可较为准确的提取聚焦区域目标细节，清晰表示图像细节特征，同时有效消除“块效应”，有效提高融合图像主客观品质。
附图说明
图1是本发明实施例提供的基于AGF的多聚焦图像融合方法流程图。
图2是本发明实施案例1提供的待融合源图像‘Disk’效果图。
图中：(a)、待融合源图像；(b)、待融合源图像。
图3是本发明实施案例提供的采用九种图像融合方法对图2中多聚焦图像‘Disk’(a)与(b)的融合效果图。
图中：(a)、拉普拉斯(LAP)；(b)、小波变换(DWT)；(c)、基于非下采样的轮廓波变换(NSCT)；(d)、主成分分析(PCA)方法；(e)、空间频率(SF)；(f)、鲁棒主成分分析(RPCA)；(g)、卡通纹理图像分解(CTD)；(h)、导向滤波(GFF)；(i)、基于AGF的多聚焦图像融合方法(Proposed)。
图4是本发明实施案例2提供的待融合图像‘Toy’效果图。
图中：(a)、源图像；(b)、源图像。
图5为本发明实施例提供的对图4中多聚焦图像‘Toy’采用九种融合方法的融合效果图像。
图中：(a)、拉普拉斯(LAP)；(b)、小波变换(DWT)；(c)、基于非下采样的轮廓波变换(NSCT)；(d)、主成分分析(PCA)方法；(e)、空间频率(SF)； (f)、鲁棒主成分分析(RPCA)；(g)、卡通纹理图像分解(CTD)；(h)、导向滤波(GFF)；(i)、基于AGF的多聚焦图像融合方法(Proposed)。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
传统的空间域方法主要采用区域划分方法进行，区域划分尺寸过大将导致焦点内外区域位于同一区域，导致融合图像质量下降；区域划分尺寸过小，子区域特征不能充分反映该区域特征，容易导致聚焦区域像素的判定不准确并产生误选，使得相邻区域间一致性差，在交界处出现明显细节差异，产生“块效应”，降低了融合图像质量。
下面结合附图及具体实施例对本发明的应用原理作进一步描述。
本发明实施案例提供的基于AGF的多聚焦图像融合方法，首先用联合双边滤波对输入图像进行平滑，交替使用源图像和滤波图像作为双边滤波的输入图像和引导图像；并使用中值滤波对双边滤波处理的图像进行滤波处理，得到源图像的基础层和细节层。然后分别计算源图像基础层和细节层各像素邻域窗口的梯度能量，根据基础层和细节层各像素邻域窗口梯度能量大小构建决策矩阵，并根据一定的融合规则分别将基础层和细节层对应像素融合。最后将融合后的基础层和细节层合并，得到融合图像。
如图1所示，本发明实施案例提供的基于AGF的多聚焦图像融合方法，包括：
S101：用联合双边滤波对输入图像进行交替滤波处理，并用当前滤波处理结果作为下次双边滤波处理的引导图像；
S102：用联合双边滤波对S101的处理结果进行交替滤波处理，并用源图像作为下次双边滤波处理的引导图像；
S103：对S102的处理结果进行中值滤波处理得到源图像的基础层和细节层；
S104：利用滑动窗口技术分别扫描原图像基础层和细节层，并计算源图像基础层和细节层各像素邻域窗口的梯度能量；
S105：根据像素邻域窗口梯度能量大小构建基础层和细节层的融合决策矩阵，并利用形态学滤波方法对融合决策矩阵进行膨胀腐蚀操作处理；
S106：根据一定的融合规则，利用融合决策矩阵，分别将基础层和细节层对应像素融合；
S107：将融合后的基础层和细节层合并，得到融合图像。
下面结合具体流程对本发明作进一步描述。
本发明实施案例提供的基于AGF的多聚焦图像融合方法，具体流程包括：
利用联合双边滤波器JBLF分别对多聚焦图像I1和I2进行交替滤波操作，交替使用源图像和滤波图像作为双边滤波的输入图像和引导图像，移除源图像I1和 I2中的小结构，得到和其中：(Gt)＝JBLF(I，Gt-1)，(Gt)＝JBLF(Gt，I)；
利用中值滤波器MF对和进行处理，得到源图像I1和I2的基础层I1B、I2B和细节层I1D、I2D，其中：
计算源图像I1、I2的基础层I1B、I2B和细节层I1D、I2D每个像素邻域内的梯度能量，邻域大小为5×5或7×7。梯度能量(EOG)计算方法如下式所示：
fα+k＝[f0(α+k+1，β)-f(α+k+1，β)]-[f0(α+k，β)-f(α+k，β)]
fβ+l＝[f0(α，β+l+1)-f(α，β+l+1)]-[f0(α，β+l)-f(α，β+l)]；
其中：
K×L为像素点(α，β)邻域的大小，取值为5×5或7×7；
-(K-1)/2≤k≤(K-1)/2，且k取整数；
-(L-1)/2≤l≤-(L-1)/2，且l取整数；
f(α，β)和f0(α，β)为基础层和细节层中像素点(α，β)的灰度值；
分别构建基础层特征矩阵HB，和细节层特征矩阵HD，
根据特征矩阵HB和HD构建融合图像基础层FB，和细节层 FD，得到融合后的基础层FB和细节层FD：
(式3)中：
FB(i，j)为融合后的源图像基础层FB像素点(i，j)处的灰度值；
I1B(i，j)为融合前源图像基础层I1B的像素点(i，j)处的灰度值；
I2B(i，j)为融合前源图像基础层I2B的像素点(i，j)处的灰度值。
(式4)中：
FD(i，j)为融合后的源图像细节层FD像素点(i，j)处的灰度值；
I1D(i，j)为融合前源图像细节层I1D的像素点(i，j)处的灰度值；
I2D(i，j)为融合前源图像细节层I2D的像素点(i，j)处的灰度值。
构建融合图像F，得到融合后的灰度图像，其中：F＝FB+FD。
由于单独依靠梯度能量作为图像清晰度的评价标准，可能不能完全提取出所有清晰子块，在决策矩阵中区域间存在着毛刺，截断和狭窄的粘连，需要对决策矩阵进行形态学的腐蚀膨胀操作。
下面结合具体实施案例对本发明作进一步描述。
图2是本发明实施案例1提供的待融合源图像‘Disk’效果图。
实施案例1
遵循本发明的方案，该实施案例1对图2(a)与(b)所示两幅源图像进行融合处理，处理结果如图3中的Propose所示。同时利用拉普拉斯(LAP)、小波变换(DWT)、基于非下采样的轮廓波变换(NSCT)、主成分分析(PCA)方法、空间频率(SF)、鲁棒主成分分析(RPCA)、卡通纹理图像分解(CTD)、导向滤波(GFF)八种图像融合方法对图2(a)与(b)所示两幅源图像进行融合处理，对不同融合方法的融合图像进行质量评价，处理计算得表1所示结果。
表1 多聚焦图像‘Disk’融合图像质量评价.
实施案例2：
遵循本发明的方案，该实施案例对图4(a)与(b)所示两幅源图像进行融合处理，处理结果如图5中的Proposed所示。
同时拉普拉斯(LAP)、小波变换(DWT)、基于非下采样的轮廓波变换 (NSCT)、主成分分析(PCA)方法、空间频率(SF)、鲁棒主成分分析(RPCA)、卡通纹理图像分解(CTD)、导向滤波(GFF)八种图像融合方法对图4所示两幅源图像(a)与(b)进行融合处理，对不同融合方法的融合图像进行质量评价，处理计算得表2所示结果。
表2 多聚焦图像‘Toy’融合图像质量评价.
表1和表2中：Method代表方法；融合方法包括八种分别是：拉普拉斯 (LAP)、小波变换(DWT)、基于非下采样的轮廓波变换(NSCT)、主成分分析(PCA)方法、空间频率(SF)、鲁棒主成分分析(RPCA)、卡通纹理图像分解(CTD)、导向滤波(GFF)；Running Time代表运行时间，单位为秒。MI代表互信息，是基于互信息的融合图像质量客观评价指标。QAB/F代表从源图像中转移的边缘信息总量。
从图3、图5可以看出，其它方法中频域方法包括拉普拉斯(LAP)、小波变换(DWT)、基于非下采样的轮廓波变换(NSCT)，其融合图像都存再伪影，模糊以及对比度差的问题；空域方法中主成分分析(PCA)方法其融合图像对比度最差，空间频率(SF)方法的融合图像存在“块效应”现象，而鲁棒主成分分析(RPCA)、卡通纹理图像分解(CTD)、导向滤波(GFF)融合质量相对较好，但也存在少量部分模糊。本发明的方法对多聚焦图像图3‘Disk’和多聚焦图像图5‘Toy’的融合图像主观视觉效果明显优于其他融合方法的融合效果。
从融合图像可看出，本发明方法对源图像焦点区域目标边缘和纹理的提取能力明显优于其他方法，能够很好的将源图像中焦点区域的目标信息转移到融合图像中去。可以有效捕捉聚焦区域的目标细节信息，提高图像融合质量。本发明方法具有良好的主观品质。
从表1和表2可以看出，本发明方法融合图像的图像质量客观评价指标MI 比其他方法的融合图像对应指标平均高出1.20，融合图像的图像质量客观评价指标QAB/F比其他方法的融合图像对应指标0.05。说明本方法获得融合图像具有良好的客观品质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (8)
1.一种基于AGF的多聚焦图像融合方法，其特征在于，所述基于AGF的多聚焦图像融合方法包括：
首先用联合双边滤波对输入图像进行平滑，交替使用源图像和滤波图像作为双边滤波的输入图像和引导图像；并使用中值滤波对双边滤波处理的图像进行滤波处理，得到源图像的基础层和细节层；
然后分别计算源图像基础层和细节层各像素邻域窗口的梯度能量，根据基础层和细节层各像素邻域窗口梯度能量大小构建决策矩阵，并根据一定的融合规则分别将基础层和细节层对应像素融合；
最后将融合后的基础层和细节层合并，得到融合图像。
2.如权利要求1所述的基于AGF的多聚焦图像融合方法，其特征在于，所述基于AGF的多聚焦图像融合方法具体包括：
步骤一，用联合双边滤波对输入图像进行交替滤波处理，并用当前滤波处理结果作为下次双边滤波处理的引导图像；
步骤二，用联合双边滤波对步骤一的处理结果进行交替滤波处理，并用源图像作为下次双边滤波处理的引导图像；
步骤三，对步骤二的处理结果进行中值滤波处理得到源图像的基础层和细节层；
步骤四，利用滑动窗口技术分别扫描原图像基础层和细节层，并计算源图像基础层和细节层各像素邻域窗口的梯度能量；
步骤五，根据像素邻域窗口梯度能量大小构建基础层和细节层的融合决策矩阵，并利用形态学滤波方法对融合决策矩阵进行膨胀腐蚀操作处理；
步骤六，根据一定的融合规则，利用融合决策矩阵，分别将基础层和细节层对应像素融合；
步骤七，将融合后的基础层和细节层合并，得到融合图像。
3.如权利要求2所述的基于AGF的多聚焦图像融合方法，其特征在于，所述基于AGF的多聚焦图像融合方法中，对配准后的多聚焦图像I1和I2进行融合，I1和I2均为灰度图像，且是大小为M×N的空间，M和N均为正整数，具体包括：
第一步，利用联合双边滤波器JBLF分别对多聚焦图像I1和I2进行交替滤波操作，滤波过程中使用上一次双边滤波处理结果Gt-1作为当前滤波处理的引导图像，得到和其中：(Gt)＝JBLF(I，Gt-1)；
第二步，利用联合双边滤波器JBLF分别对第一步的处理结果图像和进行交替滤波处理操作，滤波过程中使用源输入图像作为当前滤波处理的引导图像，得到和其中：(Gt)＝JBLF(Gt，I)；
第三步，利用中值滤波器MF对第二步的处理结果进行处理，得到源图像I1和I2的基础层I1B、I2B和细节层I1D、I2D，其中：(Gt)＝MF(Gt)；
第四步，分别计算源图像I1、I2的基础层I1B、I2B和细节层I1D、I2D每个像素邻域内的梯度能量，邻域大小为5×5或7×7；
第五步，分别构建基础层特征矩阵HB，和细节层特征矩阵HD，
式(1)中：
EOG1B(i，j)为基础层I1B像素(i，j)邻域内的梯度能量；
EOG2B(i，j)为基础层I2B像素(i，j)邻域内的梯度能量；
i＝1，2，3，L，M；j＝1，2，3，L，N；
HB(i，j)为矩阵HB第i行、第j列的元素；
式(2)中：
EOG1D(i，j)为细节层I1D像素(i，j)邻域内的梯度能量；
EOG2D(i，j)为细节层I2D像素(i，j)邻域内的梯度能量；
i＝1，2，3，L，M；j＝1，2，3，L，N；
HD(i，j)为矩阵HD第i行、第j列的元素；
第六步，根据特征矩阵HB和HD构建融合图像基础层FB，和细节层FD，得到融合后的基础层FB和细节层FD：
式(3)中：
FB(i，j)为融合后的源图像基础层FB像素点(i，j)处的灰度值；
I1B(i，j)为融合前源图像基础层I1B的像素点(i，j)处的灰度值；
I2B(i，j)为融合前源图像基础层I2B的像素点(i，j)处的灰度值；
式(4)中：
FD(i，j)为融合后的源图像细节层FD像素点(i，j)处的灰度值；
I1D(i，j)为融合前源图像细节层I1D的像素点(i，j)处的灰度值；
I2D(i，j)为融合前源图像细节层I2D的像素点(i，j)处的灰度值；
第七步，构建融合图像F，得到融合后的灰度图像，其中：F＝FB+FD。
4.如权利要求3所述的基于AGF的多聚焦图像融合方法，其特征在于，对第五步中构建的基础层特征矩阵HB，和细节层特征矩阵HD，进行腐蚀膨胀操作处理，并利用处理后的基础层特征矩阵和细节层特征矩建融合图像。
5.一种如权利要求1所述基于AGF的多聚焦图像融合方法的基于AGF的多聚焦图像融合系统。
6.一种利用权利要求1所述基于AGF的多聚焦图像融合方法的智慧城市多聚焦图像融合系统。
7.一种利用权利要求1所述基于AGF的多聚焦图像融合方法的医疗成像多聚焦图像融合系统。
8.一种利用权利要求1所述基于AGF的多聚焦图像融合方法的安全监控多聚焦图像融合系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711224507.5A CN108230282A (zh) | 2017-11-24 | 2017-11-24 | 一种基于agf的多聚焦图像融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711224507.5A CN108230282A (zh) | 2017-11-24 | 2017-11-24 | 一种基于agf的多聚焦图像融合方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108230282A true CN108230282A (zh) | 2018-06-29 |
Family
ID=62652871
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711224507.5A Pending CN108230282A (zh) | 2017-11-24 | 2017-11-24 | 一种基于agf的多聚焦图像融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108230282A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509163A (zh) * | 2018-09-28 | 2019-03-22 | 洛阳师范学院 | 一种基于fgf的多聚焦图像融合方法及系统 |
| CN109509164A (zh) * | 2018-09-28 | 2019-03-22 | 洛阳师范学院 | 一种基于gdgf的多传感器图像融合方法及系统 |
| CN109614976A (zh) * | 2018-11-02 | 2019-04-12 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于Gabor特征的异源图像融合方法 |
| CN110189348A (zh) * | 2019-05-29 | 2019-08-30 | 北京达佳互联信息技术有限公司 | 头像处理方法、装置、计算机设备及存储介质 |
| CN110660028A (zh) * | 2019-09-04 | 2020-01-07 | 南京邮电大学 | 一种基于联合边缘滤波形态学的小目标检测方法 |
| CN112241940A (zh) * | 2020-09-28 | 2021-01-19 | 北京科技大学 | 一种多张多聚焦图像融合方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103578092A (zh) * | 2013-11-11 | 2014-02-12 | 西北大学 | 一种多聚焦图像融合方法 |
| CN103700067A (zh) * | 2013-12-06 | 2014-04-02 | 浙江宇视科技有限公司 | 一种提升图像细节的方法和装置 |
| CN105279746A (zh) * | 2014-05-30 | 2016-01-27 | 西安电子科技大学 | 一种基于双边滤波的多曝光图像融合方法 |
| CN105654448A (zh) * | 2016-03-29 | 2016-06-08 | 微梦创科网络科技（中国）有限公司 | 一种基于双边滤波及权值重建的图像融合方法及系统 |
| CN105913408A (zh) * | 2016-04-12 | 2016-08-31 | 湘潭大学 | 一种基于双边滤波器的多聚焦图像融合方法 |
| US20170024920A1 (en) * | 2014-05-09 | 2017-01-26 | Huawei Technologies Co., Ltd. | Method and Related Apparatus for Capturing and Processing Image Data |
| KR20170101532A (ko) * | 2016-02-29 | 2017-09-06 | (주)나모인터랙티브 | 이미지 융합 방법 및 이를 위한 컴퓨터 프로그램, 그 기록매체 |
-
2017
- 2017-11-24 CN CN201711224507.5A patent/CN108230282A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103578092A (zh) * | 2013-11-11 | 2014-02-12 | 西北大学 | 一种多聚焦图像融合方法 |
| CN103700067A (zh) * | 2013-12-06 | 2014-04-02 | 浙江宇视科技有限公司 | 一种提升图像细节的方法和装置 |
| US20170024920A1 (en) * | 2014-05-09 | 2017-01-26 | Huawei Technologies Co., Ltd. | Method and Related Apparatus for Capturing and Processing Image Data |
| CN105279746A (zh) * | 2014-05-30 | 2016-01-27 | 西安电子科技大学 | 一种基于双边滤波的多曝光图像融合方法 |
| KR20170101532A (ko) * | 2016-02-29 | 2017-09-06 | (주)나모인터랙티브 | 이미지 융합 방법 및 이를 위한 컴퓨터 프로그램, 그 기록매체 |
| CN105654448A (zh) * | 2016-03-29 | 2016-06-08 | 微梦创科网络科技（中国）有限公司 | 一种基于双边滤波及权值重建的图像融合方法及系统 |
| CN105913408A (zh) * | 2016-04-12 | 2016-08-31 | 湘潭大学 | 一种基于双边滤波器的多聚焦图像融合方法 |
Non-Patent Citations (5)
| Title |
|---|
| ALEXANDER TOET: "Alternating guided image filtering", 《PEERJ COMPUTER SCIENCE》 * |
| XIANG YAN 等: "Multi-focus image fusion using a guided-filter-based difference image", 《APPLIED OPTICS》 * |
| 张永新: "多聚焦图像像素级融合算法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 李笋 等: "基于区域分割和引导滤波的多聚焦图像融合", 《北京理工大学学报》 * |
| 龙燕 等: "基于空域相关的多聚焦图像融合", 《电子器件》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109509163A (zh) * | 2018-09-28 | 2019-03-22 | 洛阳师范学院 | 一种基于fgf的多聚焦图像融合方法及系统 |
| CN109509164A (zh) * | 2018-09-28 | 2019-03-22 | 洛阳师范学院 | 一种基于gdgf的多传感器图像融合方法及系统 |
| CN109509163B (zh) * | 2018-09-28 | 2022-11-11 | 洛阳师范学院 | 一种基于fgf的多聚焦图像融合方法及系统 |
| CN109509164B (zh) * | 2018-09-28 | 2023-03-28 | 洛阳师范学院 | 一种基于gdgf的多传感器图像融合方法及系统 |
| CN109614976A (zh) * | 2018-11-02 | 2019-04-12 | 中国航空工业集团公司洛阳电光设备研究所 | 一种基于Gabor特征的异源图像融合方法 |
| CN110189348A (zh) * | 2019-05-29 | 2019-08-30 | 北京达佳互联信息技术有限公司 | 头像处理方法、装置、计算机设备及存储介质 |
| CN110189348B (zh) * | 2019-05-29 | 2020-12-25 | 北京达佳互联信息技术有限公司 | 头像处理方法、装置、计算机设备及存储介质 |
| CN110660028A (zh) * | 2019-09-04 | 2020-01-07 | 南京邮电大学 | 一种基于联合边缘滤波形态学的小目标检测方法 |
| CN112241940A (zh) * | 2020-09-28 | 2021-01-19 | 北京科技大学 | 一种多张多聚焦图像融合方法及装置 |
| CN112241940B (zh) * | 2020-09-28 | 2023-12-19 | 北京科技大学 | 一种多张多聚焦图像融合方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108230282A (zh) | 一种基于agf的多聚焦图像融合方法及系统 | |
| CN107909560A (zh) | 一种基于SiR的多聚焦图像融合方法及系统 | |
| CN105957063B (zh) | 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统 | |
| CN106339998B (zh) | 基于对比度金字塔变换的多聚焦图像融合方法 | |
| Jiang et al. | A novel multi-focus image fusion method based on stationary wavelet transform and local features of fuzzy sets | |
| Chen et al. | Multi-focus image fusion based on multi-scale gradients and image matting | |
| CN109509164B (zh) | 一种基于gdgf的多传感器图像融合方法及系统 | |
| CN109509163B (zh) | 一种基于fgf的多聚焦图像融合方法及系统 | |
| CN105894483B (zh) | 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法 | |
| CN104036479B (zh) | 一种基于非负矩阵分解的多聚焦图像融合方法 | |
| Liu et al. | Multi-focus image fusion based on adaptive dual-channel spiking cortical model in non-subsampled shearlet domain | |
| CN105678723B (zh) | 基于稀疏分解和差分图像的多聚焦图像融合方法 | |
| CN104881855B (zh) | 一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法 | |
| CN104408700A (zh) | 基于形态学和pca的轮廓波红外与可见光图像融合方法 | |
| CN103455991A (zh) | 一种多聚焦图像融合方法 | |
| CN106204601B (zh) | 一种基于波段扫描形式的活体高光谱序列图像并行配准方法 | |
| CN109255799A (zh) | 一种基于空间自适应相关滤波器的目标跟踪方法及系统 | |
| CN110751680A (zh) | 一种具有快速对齐算法的图像处理方法 | |
| CN110717935A (zh) | 一种基于图像特征信息的图像匹配方法，装置与系统 | |
| CN113763300A (zh) | 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法 | |
| Zhang et al. | Medical image fusion based on low-level features | |
| Shiralkar et al. | A self-organization based optical flow estimator with GPU implementation | |
| Wang et al. | New region-based image fusion scheme using the discrete wavelet frame transform | |
| Nayagi et al. | An efficiency correlation between various image fusion techniques | |
| Lalotra et al. | Multimodal medical image fusion using Butterworth high pass filter and Cross bilateral filter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180629 |
|
| RJ01 | Rejection of invention patent application after publication |