CN113487526A - 一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法 - Google Patents
一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法 Download PDFInfo
- Publication number
- CN113487526A CN113487526A CN202110623153.1A CN202110623153A CN113487526A CN 113487526 A CN113487526 A CN 113487526A CN 202110623153 A CN202110623153 A CN 202110623153A CN 113487526 A CN113487526 A CN 113487526A
- Authority
- CN
- China
- Prior art keywords
- image
- frequency
- fusion
- low
- frequency coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 21
- 238000005259 measurement Methods 0.000 title claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 129
- 238000010586 diagram Methods 0.000 claims abstract description 62
- 238000001914 filtration Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 36
- 230000002708 enhancing effect Effects 0.000 claims abstract description 8
- 230000009466 transformation Effects 0.000 claims abstract description 6
- 230000000877 morphologic effect Effects 0.000 claims description 10
- 238000000354 decomposition reaction Methods 0.000 claims description 9
- 238000012795 verification Methods 0.000 claims description 7
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 230000008961 swelling Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
- G06T5/30—Erosion or dilatation, e.g. thinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，首先设计一种高低频系数融合图像重构算法框架，利用拉普拉斯金字塔变换对输入源图像进行分解，得到低频系数和高频系数；针对低频系数，采用改进的聚焦清晰度度量方法处理，利用引导滤波后细化决策图，得到低频系数融合图像。针对高频系数，提出一种边缘增强方法保留并增强源图像的高频信息，利用引导滤波对高频系数下的融合决策图进行滤波操作，得到高频融合图像。最后，对低频系数和高频系数融合图像采取拉普拉斯逆变换得到最终融合图像。本发明提供的方法在有效保留图像主体结构的同时，能增强图像边缘细节信息，提升融合质量，取得了较好的融合效果。
Description
技术领域
本发明属于数字图像处理技术领域，具体涉及一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法
背景技术
多聚焦图像融合是扩展成像系统景深、获取全焦图像的一种常用方法，也是当前图像融合领域一个重要分支。通过采用特定融合算法提取这些部分聚焦图像的清晰区域中的像素点，将其融合成为一幅该场景中所有物体都清晰的融合图像，生成的融合图像包含了源图像重要聚焦区域信息，并减少了冗余信息，在军事、医学图像处理、地质勘查、计算机视觉等领域有着广泛应用。
在传统图像融合方法中存在着如下问题，分块的多聚焦图像融合算法主要通过从源图像上选择清晰子块来构造融合图像，故非常依赖分块算法性能。但算法很难恰好在清晰区域和模糊区域之间划出一条分割线，且空间域融合算法在融合过程中会丢失部分源图像自身的高频信息，导致图像边缘细节缺失，发生出现边缘模糊甚至产生伪影的情况。
发明内容
为了解决上述传统图像融合方法中存在的问题，本发明采用高低频系数融合图像重构算法框架，其中改进聚焦清晰度度量方法利用邻域像素之间的关联性，结合空间几何距离，降低噪声引入，扩大了度量范围，解决了清晰区域和模糊区域分割不准确的问题；提出的边缘增强方法解决了融合图像边缘信息丢失、纹理细节保留不充分的问题，从而提高了融合图像的综合质量。
本发明所采用的技术方案是：一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，用于解决传统图像融合方法中图像纹理细节信息保留不充分，图像边缘模糊，以及图像清晰度质量低的问题，其特征在于，包括以下步骤：
步骤1，采用拉普拉斯金字塔变换将源图像IA和IB分解为低频系数图像ILA和ILB，和高频系数图像IHA和IHB；
步骤2，在低频系数图像上，通过改进的聚焦清晰度度量方法SWNL获取低频初始融合决策图Dp；
步骤3，利用形态学滤波获得低频二级融合决策图，结合低频系数输入图像得到低频初级融合图；
步骤4，将低频初级融合图作为引导图像利用引导滤波方法结合低频二级融合决策图得到低频最终融合决策图，并根据输入图像得到低频系数融合图像FL；
步骤5，在高频系数图像上，采用均值滤波获取模糊图像，通过计算图像像素梯度差值的绝对值提取高频信息部分，生成1级聚焦图；
步骤6，将源图像作为引导图像，利用引导滤波器增强高频信息生成2级聚焦图；
步骤7，选取2级聚焦图中像素点高频信息最大的一方构成高频初始融合决策图，获得高频初始融合图像；
步骤8，将高频初始融合决策图经形态学滤波后得到高频二级融合决策图，采用引导滤波器与高频初始融合图像进行空间一致性验证，生成高频最终融合决策图；
步骤9，将高频最终融合决策图与输入源图像结合获得高频系数融合图像FH；
步骤10，将得到的低频系数融合图像和高频系数融合图像根据拉普拉斯逆变换后得到最终的融合图像F。
作为优选的，步骤2中，低频初始融合决策图Dp的表达式为：
其中，改进清晰度度量方法的SWNLA(x,y)和SWNLB(x,y)表示低频系数图像ILA和ILB中窗口中心像素点(x,y)的全方向上的加权改进拉普拉斯能量和，如公式(2)所示：
其中，i，j为横纵坐标梯度位置，N为计算梯度值窗口的大小，T为设定的阈值，WNML(x,y)为点(x,y)的加权的新拉普拉斯能量和，NML(x,y)为点(x,y)的新拉普拉斯能量和，具体定义如公式(3)所示：
其中，f(x,y)为源图像中每个点(x,y)处像素值。
作为优选的，步骤3中，形态学滤波过程为；
其中，f1为低频开运算融合决策图，f2为经过开、闭合运算的低频二级融合决策图；
“·”为开运算符号和闭运算符号，“Θ”
为腐蚀和膨胀操作符号，b为执行开闭和操作需要的结构元素。
作为优选的，步骤4中，引导滤波器定义为；
其中，r为引导滤波滑窗半径，ak和bk是wk内的线性常数wk是大小为(2r+1)×(2r+1)的窗口，Oi和Gi分别表示位置点i处输出图像和引导图像的像素值；
并在引导滤波器的基础下采用公式(6)的融合规则获取低频系数融合图像FL；
FL(x,y)＝Oi(x,y)*ILA(x,y)+(1-Oi(x,y))*ILB(x,y) (6)
其中，FL(x,y)为低频系数融合图像，Oi(x,y)为对图像中每个点(x,y)引导滤波后得到的二值化的低频最终融合决策图，ILA(x,y)和ILB(x,y)为低频系数图像。
作为优选的，步骤5中，均值滤波过程如公式(7)所示；
其中，IHA(x,y)和IHB(x,y)为高频系数图像，fm为窗口滤波卷积算子，M1(x,y)为IHA(x,y)均值滤波后得到的模糊图像，M2(x,y)为IHB(x,y)均值滤波后得到的模糊图像；在均值滤波的基础上，采用公式(8)，对IHA(x,y)和M1(x,y)计算图像像素梯度差值的绝对值提取高频信息部分，生成1级聚焦图FM1(x,y)，对IHB(x,y)和M2(x,y)计算图像像素梯度差值的绝对值提取高频信息部分，生成1级聚焦图FM2(x,y)；
作为优选的，步骤6中，利用引导滤波器增强高频信息生成2级聚焦图GMF1(x,y)和GMF2(x,y)，如公式(9)所示：
G为Guide Filter的缩写，即引导滤波。
作为优选的，步骤7中，选取像素点高频信息最大的一方构成初始高频融合决策图DM1(x,y)，如公式(10)所示：
作为优选的，步骤8中，继续采用步骤3中的形态学滤波获得高频二级融合决策图DM2(x,y)，并采用步骤4中的引导滤波与融合图像F1(x,y)进行空间一致性验证，生成高频最终决策图DM3(x,y)，如公式(11)所示：
G为Guide Filter的缩写，即引导滤波。
作为优选的，步骤9中，将高频最终融合决策图与输入源图像结合获得高频系数融合图像FH(x,y)，如公式(12)所示：
FH(x,y)＝DM3(x，y)IHA(x，y)+(1-DM3(x，y))IHB(x，y) (12)。
作为优选的，步骤10中，将得到的低频系数融合图像和高频系数融合图像根据拉普拉斯逆变换后得到最终的融合图像F。
本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：
本发明提出了一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，通过将源图像经过拉普拉斯金字塔变换后分解为高频系数和低频系数，提出一种改进的聚焦清晰度度量方法，以获取初始融合决策图Dp；并利用引导滤波细化决策图，得到低频系数融合图像；针对高频系数采用一种边缘增强方法保留并增强源图像的高频信息，利用引导滤波对高频系数下的融合决策图进行滤波操作，得到高频融合图像；提出一种高低频系数融合图像重构算法框架，通过拉普拉斯金字塔逆变换得到最终的融合图像。本发明所提出的图像融合方法，在保留图像主体结构的同时，能增强图像边缘信息，有效保持图像纹理细节，提高了融合图像的清晰度和融合质量。
附图说明
图1为改进聚焦清晰度度量的高低频系数多聚焦图像融合算法框架；
图2为拉普拉斯金字塔图像融合基本流程；
图3为低频系数图像融合决策图；
图4为高频聚焦图；
图5为高频系数图像融合决策图；
图6为融合图像流程。
具体实施方式
为了更清楚地说明本发明实施例或现有技术中的技术方案，便于本领域普通技术人员理解，将结合上述附图对本发明作进一步介绍，附图中包含本发明的整体算法框架，以及一些实施例。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以将本发明运用于其他实施例中。
请见图1，本发明提出的一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，包括以下步骤：
步骤1，采用拉普拉斯金字塔变换将源图像IA和IB分解为低频系数图像ILA和ILB，和高频系数图像IHA和IHB；
步骤2，在低频系数图像上，通过改进的聚焦清晰度度量方法SWNL获取低频初始融合决策图Dp；
步骤3，利用形态学滤波获得低频二级融合决策图，结合低频系数输入图像得到低频初级融合图；
步骤4，将低频初级融合图作为引导图像利用引导滤波方法结合低频二级融合决策图得到低频最终融合决策图，并根据输入图像得到低频系数融合图像FL；
步骤5，在高频系数图像上，采用均值滤波获取模糊图像，通过计算图像像素梯度差值的绝对值提取高频信息部分，生成1级聚焦图；
步骤6，将源图像作为引导图像，利用引导滤波器增强高频信息生成2级聚焦图；
步骤7，选取2级聚焦图中像素点高频信息最大的一方构成高频初始融合决策图，获得高频初始融合图像；
步骤8，将高频初始融合决策图经形态学滤波后得到高频二级融合决策图，采用引导滤波器与高频初始融合图像进行空间一致性验证，生成高频最终融合决策图；
步骤9，将高频最终融合决策图与输入源图像结合获得高频系数融合图像FH；
步骤10，将得到的低频系数融合图像和高频系数融合图像根据拉普拉斯逆变换后得到最终的融合图像F。
如图2所示，拉普拉斯金字塔分解的目的是将源图像分别分解到不同的空间频带上，在各空间频率层上分别进行图像融合，针对不同分解层的不同频带上的特征与细节，将来自不同图像的特征与细节融合在一起，多聚焦图像融合的最优分解层为2层。故本发明中对源图像进行LP分解的层数设置为2层，即源图像高频系数部分和低频系数部分。包含以下步骤：
步骤1，采用拉普拉斯金字塔变换将源图像IA和IB分解为低频系数图像ILA和ILB和高频系数图像IHA和IHB。
如图3所示，采用改进的聚焦清晰度度度量方法SWNL来挑选子块，得到初始融合决策图Dp，由于对子块的分割效果还有度量方法的选取并非完美理想，得到的初级融合决策图存在一定的空洞和孤立点，采用形态学滤波方法处理后得到二级融合决策图；利用初始融合图像作为引导图像，利用引导滤波方法进一步对二级融合决策图进行优化，将初级融合图作为引导图像利用引导滤波方法结合二级决策图得到最终融合决策图，并在引导滤波器的基础下采用公式(6)的融合规则获取低频系数融合图像FL。包含以下步骤：
步骤2中，低频初始融合决策图Dp的表达式为：
其中，SWNLA(x,y)和SWNLB(x,y)表示低频系数图像ILA和ILB中窗口中心像素点(x,y)的全方向上的加权改进拉普拉斯能量和，如公式(2)所示：
其中,i，j为横纵坐标梯度位置，N为计算梯度值窗口的大小，T为设定的阈值，WNML(x,y)为点(x,y)的加权的新拉普拉斯能量和，NML(x,y)为点(x,y)的新拉普拉斯能量和，具体定义如公式(3)所示：
其中，f(x,y)为源图像点(x,y)处像素值。
步骤3中，形态学滤波过程为：
其中，f1和f2分别为经过开运算后的融合决策图和经过开、闭合运算的低频二级融合决策图；
“·”为开运算符号和闭运算符号，“Θ”
为腐蚀和膨胀操作符号，b为执行开闭和操作需要的结构元素，一般选择半径为3。
步骤4中，引导滤波器定义为：
其中，r为引导滤波滑窗半径，ak和bk是wk内的线性常数wk是大小为(2r+1)×(2r+1)的窗口，Oi和Gi分别表示位置点i处输出图像和引导图像的像素值。
并在引导滤波器的基础下采用公式(6)的融合规则获取低频系数融合图像FL；
FL(x,y)＝Oi(x,y)*ILA(x,y)+(1-Oi(x,y))*ILB(x,y) (6)
其中，FL(x,y)为低频系数融合图像，Oi(x,y)为对图像中每个点(x,y)引导滤波后得到的二值化的低频最终融合决策图。ILA(x,y)和ILB(x,y)为低频系数图像。
如图4所示，高频系数图像经过均值滤波后得到的模糊图像，对一个目标图像窗口中心点的像素值由窗口邻域的均值来代替，能有效消除高斯噪声，但会使得图像变得模糊降低图像细节，通过公式(8)计算输入源图像与经过均值滤波后图像像素梯度差值的绝对值，提取图像的高频信息部分，生成1级聚焦图。将均值滤波器滑动窗口半径设置为6，引导滤波器滑动窗口半径设置为r＝8-level，当前分解层为1，故取r为7，ε为3。采用引导滤波方法将引导图像中的高频信息传输到输出图像中，以源图像作为引导图像，利用引导滤波器对一级聚焦焦图的高频信息进行增强，从而生成2级聚焦图。包含以下步骤：
步骤5中，均值滤波过程如公式(7)所示：
其中，IHA(x,y)和IHB(x,y)为高频系数图像，fm为窗口滤波卷积算子，M1(x,y)为IHA(x,y)均值滤波后得到的模糊图像，M2(x,y)为IHB(x,y)均值滤波后得到的模糊图像。在均值滤波的基础上，采用公式(8)，对IHA(x,y)和M1(x,y)计算图像像素梯度差值的绝对值提取高频信息部分，生成1级聚焦图FM1(x,y)；对IHB(x,y)和M2(x,y)计算图像像素梯度差值的绝对值提取高频信息部分，生成1级聚焦图FM2(x,y)；
步骤6中，利用引导滤波器增强高频信息生成2级聚焦图GMF1(x,y)和GMF2(x,y)，如公式(9)所示：
其中G为Guide Filter的缩写，即采用公式(5)进行引导滤波过程。
如图5所示，对得到增强的高频信息聚焦图，选取像素点高频信息最大的一方构成初始融合决策图，从而获得初始融合图像。由于初始融合图像同样存在噪声和孤立点。这主要是由于同质区域在聚焦和离焦状态下都是相似的，在这些区域中没有高频信息，因此无法区分它们，其他原因是由于图像噪声或图像压缩造成的伪影，这些添加了虚假和无关的信息，从而导致错误检测。故采取步骤3中的形态学滤波处理后得到二级融合决策图。然而，处理后的二级决策图不能保留源图像的焦点和离焦区域的边界，这可能会导致融合后的图像出现伪影。为了得到理想的融合图像，再次使用引导滤波器与作为引导图像的初始融合图像F1进行空间一致性验证，生成理想的最终决策图。采用公式(12)将最终融合决策图与输入源图像结合获得高频系数融合图像。包含以下步骤：
步骤7中，对得到的2级聚焦图，选取像素点高频信息最大的一方构成高频初始融合决策图DM1(x,y)，如公式(10)所示：
步骤8中，继续采用步骤3中的形态学滤波获得高频二级融合决策图DM2(x,y)，并采用步骤4中的引导滤波与融合图像F1(x,y)进行空间一致性验证，生成高频最终决策图DM3(x,y)，如公式(11)所示：
步骤9中，将高频最终融合决策图与输入源图像结合获得高频系数融合图像FH(x,y)，如公式(12)所示：
FH(x,y)＝DM3(x,y)IHA(x,y)+(1-DM3(x,y))IHB(x,y) (12)
如图6所示，代表着具体实施例，为最终的高低频图像融合过程。包含以下步骤：
步骤10中，将得到的低频系数融合图像和高频系数融合图像根据拉普拉斯逆变换后得到最终的融合图像F。
本发明在变换域上结合图像高低频纹理细节，大大减少了图像细节信息的丢失，增强了图像边缘纹理性能。具体表现如下：
1)本发明提出了一种高低频系数融合图像重构算法框架，在保留图像主体结构的同时，能增强图像纹理细节信息，提高了融合图像的清晰度和融合质量。
2)本发明提出了一种改进的聚焦清晰度度量方法，利用邻域像素之间的关联性，结合空间几何距离，降低噪声引入，扩大了度量范围，结合均匀分块和非均匀分块的方式逼近图像清晰像素边界，对于多场景下图像融合的质量有较好的提升。
3)本发明提出了一种边缘增强方法，利用图像像素梯度插值，结合均值滤波和引导滤波，有效保持图像纹理细节，增强了图像边缘信息。
本发明中所描述的具体实施例是对本发明思想作举例说明。本发明所属技术领域的技术人员在本发明的启示下，可以对所描述的具体实施例做各种的修改或补充或采用类似的方式替代，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (10)
1.一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，其特征在于，包括如下步骤：
步骤1，采用拉普拉斯金字塔变换将源图像IA和IB分解为低频系数图像ILA和ILB，和高频系数图像IHA和IHB；
步骤2，在低频系数图像上，通过改进的聚焦清晰度度量方法SWNL获取低频初始融合决策图Dp；
步骤3，利用形态学滤波获得低频二级融合决策图，结合低频系数输入图像得到低频初级融合图；
步骤4，将低频初级融合图作为引导图像利用引导滤波方法结合低频二级融合决策图得到低频最终融合决策图，并根据输入图像得到低频系数融合图像FL；
步骤5，在高频系数图像上，采用均值滤波获取模糊图像，通过计算图像像素梯度差值的绝对值提取高频信息部分，生成1级聚焦图；
步骤6，将源图像作为引导图像，利用引导滤波器增强高频信息生成2级聚焦图；
步骤7，选取2级聚焦图中像素点高频信息最大的一方构成高频初始融合决策图，获得高频初始融合图像；
步骤8，将高频初始融合决策图经形态学滤波后得到高频二级融合决策图，采用引导滤波器与高频初始融合图像进行空间一致性验证，生成高频最终融合决策图；
步骤9，将高频最终融合决策图与输入源图像结合获得高频系数融合图像FH；
步骤10，将得到的低频系数融合图像和高频系数融合图像根据拉普拉斯逆变换后得到最终的融合图像F。
2.如权利要求1所述的一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，其特征在于：步骤2中，低频初始融合决策图Dp的表达式为：
其中，改进清晰度度量方法的SWNLA(x,y)和SWNLB(x,y)表示低频系数图像ILA和ILB中窗口中心像素点(x,y)的全方向上的加权改进拉普拉斯能量和，如公式(2)所示：
其中，i，j为横纵坐标梯度位置，N为计算梯度值窗口的大小，T为设定的阈值，WNML(x,y)为点(x,y)的加权的新拉普拉斯能量和，NML(x,y)为点(x,y)的新拉普拉斯能量和，具体定义如公式(3)所示：
其中，f(x,y)为源图像中每个点(x,y)处像素值。
3.如权利要求1所述的一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，其特征在于：步骤3中，形态学滤波过程为；
其中，f1为低频开运算融合决策图，f2为经过开、闭合运算的低频二级融合决策图；
“·”为开运算符号和闭运算符号，“Θ”
为腐蚀和膨胀操作符号，b为执行开闭和操作需要的结构元素。
4.如权利要求1所述的一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，其特征在于：步骤4中，引导滤波器定义为；
其中，r为引导滤波滑窗半径，ak和bk是wk内的线性常数wk是大小为(2r+1)×(2r+1)的窗口，Oi和Gi分别表示位置点i处输出图像和引导图像的像素值；
并在引导滤波器的基础下采用公式(6)的融合规则获取低频系数融合图像FL；
FL(x,y)＝Oi(x,y)*ILA(x,y)+(1-Oi(x,y))*ILB(x,y) (6)
其中，FL(x,y)为低频系数融合图像，Oi(x,y)为对图像中每个点(x,y)引导滤波后得到的二值化的低频最终融合决策图，ILA(x,y)和ILB(x,y)为低频系数图像。
5.如权利要求1所述的一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，其特征在于：步骤5中，均值滤波过程如公式(7)所示；
其中，IHA(x,y)和IHB(x,y)为高频系数图像，fm为窗口滤波卷积算子，M1(x,y)为IHA(x,y)均值滤波后得到的模糊图像，M2(x,y)为IHB(x,y)均值滤波后得到的模糊图像；在均值滤波的基础上，采用公式(8)，对IHA(x,y)和M1(x,y)计算图像像素梯度差值的绝对值提取高频信息部分，生成1级聚焦图FM1(x,y)，对IHB(x,y)和M2(x,y)计算图像像素梯度差值的绝对值提取高频信息部分，生成1级聚焦图FM2(x,y)；
6.如权利要求5所述的一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，其特征在于：步骤6中，利用引导滤波器增强高频信息生成2级聚焦图GMF1(x,y)和GMF2(x,y)，如公式(9)所示：
G为Guide Filter的缩写，即引导滤波。
7.如权利要求6所述的一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，其特征在于：步骤7中，选取像素点高频信息最大的一方构成初始高频融合决策图DM1(x,y)，如公式(10)所示：
8.如权利要求5所述的一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，其特征在于：步骤8中，继续采用步骤3中的形态学滤波获得高频二级融合决策图DM2(x,y)，并采用步骤4中的引导滤波与融合图像F1(x,y)进行空间一致性验证，生成高频最终决策图DM3(x,y)，如公式(11)所示：
G为Guide Filter的缩写，即引导滤波。
9.如权利要求8所述的一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，其特征在于：步骤9中，将高频最终融合决策图与输入源图像结合获得高频系数融合图像FH(x,y)，如公式(12)所示：
FH(x,y)＝DM3(x,y)IHA(x,y)+(1-DM3(x,y))IHB(x,y) (12)。
10.如权利要求1所述的一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法，其特征在于：步骤10中，将得到的低频系数融合图像和高频系数融合图像根据拉普拉斯逆变换后得到最终的融合图像F。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110623153.1A CN113487526B (zh) | 2021-06-04 | 2021-06-04 | 一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110623153.1A CN113487526B (zh) | 2021-06-04 | 2021-06-04 | 一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113487526A true CN113487526A (zh) | 2021-10-08 |
| CN113487526B CN113487526B (zh) | 2023-08-25 |
Family
ID=77934290
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110623153.1A Active CN113487526B (zh) | 2021-06-04 | 2021-06-04 | 一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113487526B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972141A (zh) * | 2022-05-13 | 2022-08-30 | 华侨大学 | 一种再模糊理论的双模态聚焦分析方法 |
| CN117391985A (zh) * | 2023-12-11 | 2024-01-12 | 安徽数分智能科技有限公司 | 一种多源数据信息融合处理方法及系统 |
| CN117830125A (zh) * | 2024-03-04 | 2024-04-05 | 厦门微图软件科技有限公司 | 一种快速多聚焦融合算法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140363087A1 (en) * | 2013-06-06 | 2014-12-11 | Apple Inc. | Methods of Image Fusion for Image Stabilization |
| CN105894483A (zh) * | 2016-03-30 | 2016-08-24 | 昆明理工大学 | 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法 |
| CN107369148A (zh) * | 2017-09-20 | 2017-11-21 | 湖北工业大学 | 基于改进sml与导向滤波的多聚焦图像融合方法 |
| US9836433B1 (en) * | 2012-04-02 | 2017-12-05 | Rockwell Collins, Inc. | Image processing using multiprocessor discrete wavelet transform |
| CN108629757A (zh) * | 2018-05-08 | 2018-10-09 | 山东理工大学 | 基于复数剪切波变换与深度卷积神经网络的图像融合方法 |
| CN109447930A (zh) * | 2018-10-26 | 2019-03-08 | 太原科技大学 | 小波域光场全聚焦图像生成算法 |
| CN109801248A (zh) * | 2018-12-18 | 2019-05-24 | 重庆邮电大学 | 一个基于非下采样剪切变换的新型图像融合方法 |
| CN110415198A (zh) * | 2019-07-16 | 2019-11-05 | 南京信息工程大学 | 一种基于拉普拉斯金字塔与参数自适应脉冲耦合神经网络的医学图像融合方法 |
| KR20200025598A (ko) * | 2018-08-31 | 2020-03-10 | 인천대학교 산학협력단 | 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법 |
| CN111598822A (zh) * | 2020-05-18 | 2020-08-28 | 西安邮电大学 | 一种基于gfrw与iscm的图像融合方法 |
-
2021
- 2021-06-04 CN CN202110623153.1A patent/CN113487526B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9836433B1 (en) * | 2012-04-02 | 2017-12-05 | Rockwell Collins, Inc. | Image processing using multiprocessor discrete wavelet transform |
| US20140363087A1 (en) * | 2013-06-06 | 2014-12-11 | Apple Inc. | Methods of Image Fusion for Image Stabilization |
| CN105894483A (zh) * | 2016-03-30 | 2016-08-24 | 昆明理工大学 | 一种基于多尺度图像分析和块一致性验证的多聚焦图像融合方法 |
| CN107369148A (zh) * | 2017-09-20 | 2017-11-21 | 湖北工业大学 | 基于改进sml与导向滤波的多聚焦图像融合方法 |
| CN108629757A (zh) * | 2018-05-08 | 2018-10-09 | 山东理工大学 | 基于复数剪切波变换与深度卷积神经网络的图像融合方法 |
| KR20200025598A (ko) * | 2018-08-31 | 2020-03-10 | 인천대학교 산학협력단 | 가중 최소 자승 필터와 희소 표현을 이용한 영상 융합 장치 및 방법 |
| CN109447930A (zh) * | 2018-10-26 | 2019-03-08 | 太原科技大学 | 小波域光场全聚焦图像生成算法 |
| CN109801248A (zh) * | 2018-12-18 | 2019-05-24 | 重庆邮电大学 | 一个基于非下采样剪切变换的新型图像融合方法 |
| CN110415198A (zh) * | 2019-07-16 | 2019-11-05 | 南京信息工程大学 | 一种基于拉普拉斯金字塔与参数自适应脉冲耦合神经网络的医学图像融合方法 |
| CN111598822A (zh) * | 2020-05-18 | 2020-08-28 | 西安邮电大学 | 一种基于gfrw与iscm的图像融合方法 |
Non-Patent Citations (12)
| Title |
|---|
| SHUAIQI LIU ET AL.: "Multi-Focus Image Fusion Based on Residual Network in Non-Subsampled Shearlet Domain", 《IEEE ACCESS》 * |
| SHUAIQI LIU ET AL.: "Multi-Focus Image Fusion Based on Residual Network in Non-Subsampled Shearlet Domain", 《IEEE ACCESS》, 23 October 2019 (2019-10-23), pages 152043 - 152063 * |
| XIAOHUA QIU ET AL.: "Guided filter-based multi-focus image fusion through focus region detection", 《ELSEVIER》, pages 35 - 46 * |
| 张丽霞: "多源图像像素级快速融合方法研究", 《中国博士学位论文全文数据库信息科技辑》 * |
| 张丽霞: "多源图像像素级快速融合方法研究", 《中国博士学位论文全文数据库信息科技辑》, 15 January 2021 (2021-01-15), pages 1 - 74 * |
| 李娇;杨艳春;党建武;王阳萍;: "NSST与引导滤波相结合的多聚焦图像融合算法", 哈尔滨工业大学学报, no. 11, pages 151 - 158 * |
| 王晨曦等: "一种改进聚焦区域检测的多聚焦图像融合方法", 《湖北工业大学学报》 * |
| 王晨曦等: "一种改进聚焦区域检测的多聚焦图像融合方法", 《湖北工业大学学报》, no. 02, 30 April 2021 (2021-04-30), pages 2 - 5 * |
| 王玉梅: "基于引导滤波的光场图像融合及深度估计技术研究", 《中国优秀硕士学位论文全文数据库基础科学辑》 * |
| 王玉梅: "基于引导滤波的光场图像融合及深度估计技术研究", 《中国优秀硕士学位论文全文数据库基础科学辑》, 15 March 2021 (2021-03-15), pages 29 - 42 * |
| 田帅等: "结合滤波算子与双尺度分解的多聚焦图像融合", 《激光与光电子学进展》 * |
| 田帅等: "结合滤波算子与双尺度分解的多聚焦图像融合", 《激光与光电子学进展》, 31 March 2021 (2021-03-31), pages 2 - 10 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114972141A (zh) * | 2022-05-13 | 2022-08-30 | 华侨大学 | 一种再模糊理论的双模态聚焦分析方法 |
| CN117391985A (zh) * | 2023-12-11 | 2024-01-12 | 安徽数分智能科技有限公司 | 一种多源数据信息融合处理方法及系统 |
| CN117391985B (zh) * | 2023-12-11 | 2024-02-20 | 安徽数分智能科技有限公司 | 一种多源数据信息融合处理方法及系统 |
| CN117830125A (zh) * | 2024-03-04 | 2024-04-05 | 厦门微图软件科技有限公司 | 一种快速多聚焦融合算法 |
| CN117830125B (zh) * | 2024-03-04 | 2024-06-04 | 厦门微图软件科技有限公司 | 一种快速多聚焦融合算法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113487526B (zh) | 2023-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113487526A (zh) | 一种结合高低频系数改进聚焦清晰度度量的多聚焦图像融合方法 | |
| Lin et al. | Image enhancement using the averaging histogram equalization (AVHEQ) approach for contrast improvement and brightness preservation | |
| Yang et al. | Multi-focus image fusion using an effective discrete wavelet transform based algorithm | |
| JP2004164624A (ja) | 低被写界深度画像セグメンテーションの方法及び機器 | |
| Yousefi et al. | A new auto-focus sharpness function for digital and smart-phone cameras | |
| Zheng et al. | Underwater image enhancement algorithm based on CLAHE and USM | |
| CN113313663B (zh) | 基于零样本学习的多聚焦图像融合方法 | |
| Shu et al. | Alternating minimization algorithm for hybrid regularized variational image dehazing | |
| CN113763300B (zh) | 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法 | |
| CN111899208A (zh) | 基于卷积分析算子的多模态图像融合方法 | |
| Samiappan et al. | Enhancing machine learning aptitude using significant cluster identification for augmented image refining | |
| Du et al. | Perceptually optimized generative adversarial network for single image dehazing | |
| CN110852947B (zh) | 一种基于边缘锐化的红外图像超分辨方法 | |
| El Hassani et al. | Efficient image denoising method based on mathematical morphology reconstruction and the Non-Local Means filter for the MRI of the head | |
| Kannan et al. | Optimal decomposition level of discrete wavelet transform for pixel based fusion of multi-focused images | |
| CN112508828A (zh) | 一种基于稀疏表示和引导滤波的多聚焦图像融合方法 | |
| Abdalla et al. | A review of nonlinear image-denoising techniques | |
| Holla et al. | EFID: edge-focused image denoising using a convolutional neural network | |
| JP2010129077A (ja) | ウェーブレット変換を用いた全焦点画像の生成手段 | |
| Feng et al. | Image enhancement under low luminance with strong light weakening | |
| Elmasry et al. | Image enhancement using recursive anisotropic and stationary wavelet transform | |
| Priyadharsini et al. | The new robust adaptive median filter for denoising cancer images using image processing techniques | |
| Smolka et al. | Color image denoising: a hybrid approach for mixed Gaussian and impulsive noise | |
| Roy et al. | Multi-focus fusion using image matting and geometric mean of DCT-variance | |
| KR101784425B1 (ko) | 목표 미분값을 이용한 영상 복원 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20231225 Address after: 214037 Mingdu Building 1-2202, No. 88 Huishan Avenue, Huishan District, Wuxi City, Jiangsu Province Patentee after: Wuxi Yingkerui Intelligent Technology Co.,Ltd. Address before: 430068 No. 28 Nanli Road, Hongshan District, Wuhan City, Hubei Province Patentee before: HUBEI University OF TECHNOLOGY |