CN110648302A - 基于边缘增强引导滤波的光场全聚焦图像融合方法 - Google Patents

基于边缘增强引导滤波的光场全聚焦图像融合方法 Download PDF

Info

Publication number
CN110648302A
CN110648302A CN201910951671.9A CN201910951671A CN110648302A CN 110648302 A CN110648302 A CN 110648302A CN 201910951671 A CN201910951671 A CN 201910951671A CN 110648302 A CN110648302 A CN 110648302A
Authority
CN
China
Prior art keywords
image
layer
light field
edge
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910951671.9A
Other languages
English (en)
Other versions
CN110648302B (zh
Inventor
王玉梅
武迎春
李素月
王钢飞
王安红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Science and Technology
Original Assignee
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Science and Technology filed Critical Taiyuan University of Science and Technology
Priority to CN201910951671.9A priority Critical patent/CN110648302B/zh
Publication of CN110648302A publication Critical patent/CN110648302A/zh
Application granted granted Critical
Publication of CN110648302B publication Critical patent/CN110648302B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明属于图像处理技术领域，具体技术方案为：基于边缘增强引导滤波的光场全聚焦图像融合方法，通过对光场数字重聚焦得到的多幅重聚焦图像进行多尺度分解、特征层决策图引导滤波优化来获得最终全聚焦图像，本方法对4D光场标定误差带来的边缘信息损失进行了补偿，在重聚焦图像多尺度分解过程中增加了边缘层的提取来实现图像高频信息增强，并建立多尺度图像评价模型实现边缘层引导滤波参数优化，可获得更高质量的光场全聚焦图像，在不明显降低全聚焦图像与原始图像相似性的前提下，该方法可使全聚焦图像的图像感知清晰度平均提高18.4％。

Description

基于边缘增强引导滤波的光场全聚焦图像融合方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于边缘增强引导滤波的光场全聚焦图像融合方法。
背景技术
全聚焦图像融合是指将同一场景不同深度处多幅局部聚焦的图像融合成一幅整体聚焦的清晰图像，使其具备更完整的空间信息。传统图像的全聚焦融合基于相机多次调焦得到的多聚焦图像，调焦过程中成像几何关系的变化及机械抖动等问题会造成不同时刻拍摄图像中物体的大小及视点位置发生变化，对后期图像融合方法的鲁棒性要求更高。光场相机可以在单次曝光后经数字重聚焦技术得到多张重聚焦图像，不涉及物理调焦过程中引入的场景成像范围及成像角度变化的限制，为全聚焦图像的融合提供了更多的便利。
全聚焦图像融合方法分为变换域和空间域，变换域方法将被融合图像转化到其他特征域来完成图像融合，典型的方法以小波变换法为代表。空间域方法包括基于像素和基于区域的，如Zhang Yu提出的通过多尺度形态学聚焦测量实现边界划分的方法即为最典型的基于区域的空间融合方法。相对于基于区域的融合方法，基于像素的融合方法不需要将被融合图像分区，具有方法简单且时间复杂度低的优势，典型方法包括拉普拉斯评价法、主成分分析法及引导滤波法等。该类方法的精度主要取决于决策图的计算，如引导滤波法首先将源图像双尺度分解为不同特征层，通过引导滤波对初步融合决策图进行优化得到每一特征层的决策图，将决策图与对应特征层加权平均得到各特征层融合图像后再组成最终融合图像。
将引导滤波方法用于光场全聚焦图像的计算时，光场相机微透镜中心几何标定误差使得解码得到的4D光场信息在角度方向上存在微小误差，导致积分后的重聚焦图像边缘信息损失，降低了全聚焦图像融合的精度。
发明内容
为解决现有技术存在的技术问题，本发明提供了一种基于边缘增强引导滤波的光场全聚焦图像融合方法，该方法在对重聚焦图像进行尺度分解时，增加了边缘层的提取，并根据边缘信息特征选取引导滤波参数实现了边缘层的决策图优化，来最终达到提高全聚焦融合质量的效果。
为实现上述目的，本发明所采用的技术方案为：基于边缘增强引导滤波的光场全聚焦图像融合方法，具体步骤如下：
步骤一、光场原图经光场解码、数字重聚焦后得到N幅重聚焦图像；
步骤二、采用拉普拉斯算子计算各重聚焦图像融合的初步融合决策图；
步骤三、将N幅重聚焦图像3尺度分解为不同的特征层，即边缘层、基础层和细节层；
步骤四、通过引导滤波优化各特征层的初步融合决策图；
步骤五、将各特征层的优化决策图与对应特征图加权平均后得到融合后的特征层；
步骤六、各特征层相加得到全聚焦图像。
在步骤一中，通过对光场相机进行微透镜坐标中心几何标定，即可从光场原图中解码得到4D光场LF(x,y,u,v)，根据光场数字重聚焦理论，结合光场双平面参数化模型，当光场相机的成像平面由传感器平面移动到重聚焦平面时，原始4D光场LF(x,y,u,v)经坐标变换可映射为新的4D光场LF′(x′,y′,u′,v′)，新的4D光场和原始光场存在以下映射关系：
LF′(x′,y′,u′,v′)＝LF(αn·x+(1-αn)·u,αn·y+(1-αn)·v,u,v) (1)
其中，αn＝F′/F，F表示主透镜平面与传感器平面的距离，F′表示主透镜平面与重聚焦平面的距离，调节α值的大小，可得到不同像平面对应的不同聚焦深度的4D光场，根据经典光辐射公式对4D光场进行积分，即可得到不同聚焦深度处的重聚焦图像：
当α取N个不同的值时，α＝α1、α2、α3……αN，根据公式(2)可以得到N幅聚焦在不同深度的重聚焦图像
Figure BDA0002225547400000022
为了方便表示，将其记为In，其中n＝1、2、3……N。
在步骤三中，采用同时具有边界提取功能和降噪功能的LoG(Laplacian ofGaussian)算子完成边缘层的提取，LoG算子核函数定义为：
Figure BDA0002225547400000031
其中，Δ代表拉普拉斯算子，其实际意义为对高斯函数求二阶偏导；Gσ(x,y)为高斯函数，且
Figure BDA0002225547400000032
此处滤波窗的大小选取为5×5，故(x,y)的取值范围为[-2,2]的整数；σ代表标准差，此处取0.5，多幅重聚焦图像分别与LoG算子卷积即可得到对应的边缘层图像：
En＝In*LoG (4)
对于基础层，采用平均滤波器与重聚焦图像卷积得到，细节层由重聚焦图像减去边缘层和基础层得到。
在步骤四中，建立多尺度图像评价模型实现边缘层引导滤波参数r1、ε1的优化。该多尺度评价模型涉及采用平均梯度AG、归一化互信息NMI和改进的结构相似性MSSI三个评价指标，其中，AG用于评价融合图像的清晰度，NMI、MSSI用于评价融合图像与源图像信息和结构的相似性；
其中，AG的表达式为：
Figure BDA0002225547400000033
其中，F表示重聚焦图像I1、I2…IN的融合图像，M×N表示重聚焦图像的大小。AG的值越大，代表融合图像对微小细节的反差能力越强，即图像越清晰。
NMI的表达式如下：
Figure BDA0002225547400000034
其中，I1和I2表示源图像，F表示I1和I2的融合图像，IE(I1)、IE(I2)和IE(F)分别表示I1、I2和F的信息熵，MI(I1,F)表示I1和F之间的互信息，MI(I2,F)表示I2和F之间的互信息，NMI的值越大，代表融合图像与源图像的共享信息越多，即融合图像与源图像相似性越高；
MSSI的表达式如下：
其中，SSIM(I1,F|ω)表示源图像I1和融合图像F在各自滑动窗口区域ω之间相似性的测量值，SSIM(I2,F|ω)、SSIM(I1,I2|ω)和SSIM(I1,F|ω)意义相同，MSSI的值越大，代表融合图像与源图像的结构信息越相似。
其中，基础层、细节层的引导滤波参数设定为：r2＝45，ε2＝0.3，r3＝7，ε3＝10-6，当ε1＝10-3，r1不断增大时，AG呈先下降后上升趋势，NMI和MSSI呈先上升后下降趋势，当NMI和MSSI达到最大值时，AG为最小值；折中后r1取20时融合后的全聚焦图像清晰度较高且与源图像相似度较强；当r1＝20时，随着ε1不断增大，AG呈上升趋势，但NMI和MSSI呈下降趋势，折中后，ε1取10-3最好；故最终获取边缘层优化决策图时，引导滤波的参数取为r1＝20，ε1＝10-3。
本发明对传统引导滤波方法的框架进行了改进，用于光场全聚焦图像的融合，该框架的输入为4D光场变换、积分得到的数字重聚焦图像，考虑到4D光场微透镜标定误差引起的重聚焦图像边缘信息丢失，在融合框架中图像多尺度分解时增加了边缘层的提取、并建立多尺度图像评价模型完成边缘层决策图优化。该方法可有效补偿4D光场在角度方向的解码误差，增加融合图像的边缘信息权重。实验验证了本方法的可行性和有效性：从视觉效果看，针对实验图像的特定区域，通过本方法得到的全聚焦图像最清晰；从图像信息、特征、结构相似性和人类视觉感知等角度定量评价，在不明显降低全聚焦图像与原始图像特征互信息的前提下，和其它经典方法相比，本方法可使融合图像的边缘强度和感知清晰度达到最高。
附图说明
图1为光场数字重聚焦几何模型图。
图2为2D光场原图的解码及积分结果图。
图3为本发明的边缘增强引导滤波方法流程图。
图4为边缘层增强引导滤波的参数优化图。
图5为光场原图及重聚焦图像。
图6为各个特征层的分解图。
图7为初步决策图的获取图。
图8为优化后的初步融合决策图。
图9为各特征层和最终全聚焦图像。
图10为Cup图像融合实验结果对比图。
图11为实验用到的另外两幅光场原图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
基于边缘增强引导滤波的光场全聚焦图像融合方法，具体如下：
1)、重聚焦图像计算
如图1所示，通过对光场相机进行微透镜坐标中心几何标定，即可从光场原图中解码得到4D光场LF(x,y,u,v)，根据光场数字重聚焦理论，结合光场双平面参数化模型，当光场相机的成像平面由传感器平面移动到重聚焦平面时，原始4D光场LF(x,y,u,v)经坐标变换可映射为新的4D光场LF′(x′,y′,u′,v′)，新的4D光场和原始光场存在以下映射关系：
LF′(x′,y′,u′,v′)＝LF(αn·x+(1-αn)·u,αn·y+(1-αn)·v,u,v) (1)
其中，αn＝F′/F，F表示主透镜平面与传感器平面的距离，F′表示主透镜平面与重聚焦平面的距离，调节α值的大小，可得到不同像平面对应的不同聚焦深度的4D光场，根据经典光辐射公式对4D光场进行积分，即可得到不同聚焦深度处的重聚焦图像：
当α取N个不同的值时，α＝α1、α2、α3……αN，根据公式(2)可以得到N幅聚焦在不同深度的重聚焦图像
Figure BDA0002225547400000061
为了方便表示，将其记为In，其中n＝1、2、3……N。
2)、边缘增强引导的全聚焦图像融合
微透镜阵列光场相机的结构设计基于光场的双平面表示模型，根据经典的全光辐射公式，在传感器平面得到的2D图像为4D光场沿着角度方向(u,v)平面的二重积分。在计算重聚焦图像时，首先需要通过微透镜中心标定从2D光场原图中解码出4D光场信息，4D光场空间方向(x,y)的分辨率由微透镜的个数确定，角度方向(u,v)的分辨率由每个微透镜对应成像区域的像素个数决定，该区域称为“宏像素”，对每个宏像素对应区域的灰度值积分，即可得到重聚焦图像。光场原图的解码及积分过程如图2所示。
其中，图2(a)为Lytro光场相机获得的光场原图；图2(b)为图2(a)在方框处的局部放大图，设其标准的微透镜成像中心为图中灰点所在位置，由于标定误差，实际得到的微透镜成像中心为图中黑点所在位置；如图2(c)、(d)所示，该标定误差使得解码得到的4D光场数据在角度方向发生偏差，导致光场变换积分后的重聚焦图像边缘信息损失。
光场重聚焦图像的边缘信息损失将直接影响到后期全聚焦图像融合的质量，针对此问题，本方法对传统引导滤波图像融合方法的框架进行了改进，改进的方法流程图如图3所示，具体步骤包括：①光场原图经光场解码、数字重聚焦得到N幅重聚焦图像；②采用拉普拉斯算子计算各重聚焦图像融合的初步决策图；③将N幅重聚焦图像3尺度分解为不同的特征层(边缘层、基础层、细节层)；④通过引导滤波优化各特征层的初步融合决策图；⑤将各特征层的优化决策图与对应特征图加权平均后得到融合后的特征层；⑥各特征层相加得到全聚焦图像。改进的方法在重聚焦图像特征层分解时增加了边缘层的提取，同时建立了多尺度图像评价模型实现边缘层引导滤波参数的优化，对微透镜标定误差带来的重聚焦图像边缘信息损失进行了补偿。
3)、边缘增强的特征层分解
各向同性的二阶微分算子拉普拉斯算子常被用于边缘提取，考虑到其对噪声敏感的特性，一般先将图像通过高斯卷积滤波进行降噪处理，再采用拉普拉斯算子提取边缘。为了使边缘层的提取更为简单，采用同时具有边界提取功能和降噪功能的LoG(Laplacian ofGaussian)算子完成边缘层的提取，LoG算子核函数定义为：
Figure BDA0002225547400000071
其中，Δ代表拉普拉斯算子，其实际意义为对高斯函数求二阶偏导；Gσ(x,y)为高斯函数，且
Figure BDA0002225547400000072
此处滤波窗的大小选取为5×5，故(x,y)的取值范围为[-2,2]的整数；σ代表标准差，此处取0.5，多幅重聚焦图像分别与LoG算子卷积即可得到对应的边缘层图像：
En＝In*LoG (4)
对于基础层，采用平均滤波器与重聚焦图像卷积得到，细节层由重聚焦图像减去边缘层和基础层得到。
4)、边缘层引导滤波参数优化
边缘层决策图优化的关键在于引导滤波参数r1、ε1的优化，r1、ε1的优化原则是：在不降低全聚焦图像与源图像(重聚焦图像)相似性的前提下，使得最终得到的全聚焦图像尽量清晰。采用平均梯度(Average Gradient，AG)、归一化互信息(Normalized MutualInformation,NMI)和改进的结构相似性(Modified Structural Similarity Index,MSSI)三个评价指标来完成r1、ε1的优化，AG用于评价融合图像的清晰度，NMI、MSSI用于评价融合图像与源图像信息和结构的相似性；
其中，AG的表达式为：
Figure BDA0002225547400000073
其中，F表示重聚焦图像I1、I2…IN的融合图像，M×N表示重聚焦图像的大小。AG的值越大，代表融合图像对微小细节的反差能力越强，即图像越清晰。
NMI的表达式如下：
其中，I1和I2表示源图像，F表示I1和I2的融合图像，IE(I1)、IE(I2)和IE(F)分别表示I1、I2和F的信息熵，MI(I1,F)表示I1和F之间的互信息，MI(I2,F)表示I2和F之间的互信息，NMI的值越大，代表融合图像与源图像的共享信息越多，即融合图像与源图像相似性越高。
MSSI的表达式如下：
Figure BDA0002225547400000081
其中，SSIM(I1,F|ω)表示源图像I1和融合图像F在各自滑动窗口区域ω之间相似性的测量值，SSIM(I2,F|ω)、SSIM(I1,I2|ω)和SSIM(I1,F|ω)意义相同，MSSI的值越大，代表融合图像与源图像的结构信息越相似。
基础层、细节层的引导滤波参数设定为：r2＝45，ε2＝0.3，r3＝7，ε3＝10-6，最终融合图像的AG、NMI、MSSI值随r1、ε1的变化如图4所示。由图4(a)可以看出，当ε1＝10-3，r1不断增大时，AG呈先下降后上升趋势，NMI和MSSI呈先上升后下降趋势，当NMI和MSSI达到最大值时，AG为最小值。折中后r1取20时融合后的全聚焦图像清晰度较高且与源图像相似度较强。由图4(b)可以看出，当r1＝20时，随着ε1不断增大，AG呈上升趋势，但NMI和MSSI呈下降趋势，折中后ε1取10-3最好。故最终获取边缘层优化决策图时，引导滤波的参数取为r1＝20，ε1＝10-3。
与传统融合方法相比，本方法对4D光场标定误差带来的边缘信息损失进行了补偿，在重聚焦图像多尺度分解过程中增加了边缘层的提取来实现图像高频信息增强，并建立多尺度图像评价模型实现边缘层引导滤波参数优化，可获得更高质量的光场全聚焦图像。
如图5(a)所示，为了验证本方法所提边缘增强引导滤波图像融合方法的可行性，采用去冗余后的光场原图作为实验对象，对融合框架进行了验证。由图5(a)为去冗余后的光场原图，分别取α1＝0.4、α2＝0.7、α3＝1.0，通过公式(2)计算得到3张聚焦在不同深度的重聚焦图像，如图5(b)、(c)和(d)所示。
本方法将图5(b)、(c)、(d)分解为边缘层、基础层和细节层，用于后续各特征层的融合，如图6所示。同时，图5(b)、(c)、(d)与拉普拉斯算子进行卷积、再经高斯低通滤波去噪后，通过比较拉普拉斯值的大小得到初步融合决策图，如图7所示。将图7(a)、(b)、(c)分别作为输入图像，图5(b)、(c)、(d)分别作为引导图像，分别取r1＝20、ε1＝10-3、r2＝45、ε2＝0.3和r3＝7、ε3＝10-6，经引导滤波得到各特征层优化后的融合决策图，如图8所示。每幅重聚焦图像的各层特征图(图6)乘以相应的权重系数(图(8)，即优化后的决策图)求和后得到融合后的各层特征图，如图9所示。各融合后的特征层叠加后得到光场全聚焦图像，如图9(d)所示。从图9(d)中可以看出，融合后光场全聚焦图像整体清晰，验证了本方法的有效性。
为了定性评价本方法的优势，选取5种经典图像融合方法与本方法进行了对比，它们分别为：基于主成分分析(Principal Components Analysis，PCA)的方法、基于小波变换(Wavelet Transform，WT)的方法、基于拉普拉斯(Laplace)的方法、基于边界寻找(Boundary Finding，BF)的方法、基于引导滤波(Guided Filtering Fusion，GFF)的方法。被测试数据为对应数据集中的“Cup”图像，如图10(a)所示。为了简化实验过程，选取α1＝1.0、α2＝30.0时对应的两幅重聚焦图像进行融合，如图10(b)、(c)所示，各种方法的融合结果如图10(d)～(i)所示。通过仔细对比图10(d)～(i)发现，本方法融合后的图像在杯子后方书体上的“Multiple”字样明显比其它方法清晰，如图10中的方框区域所示，说明本方法在视觉效果上具有一定优势。
定性评价耗时且不易客观的反映图像质量，因此需要进一步定量评价融合图像质量。由于实验过程中无法直接获取标准的全聚焦图像，且目前公开的光场图像数据库没有给出标准参考的全聚焦图像，给实验过程中定量评价函数的选择增加了难度。针对没有标准参考图像的情况，目前已有的图像质量评价函数主要分为四类：基于信息论的函数、基于图像特征的函数、基于图像结构相似性的函数和基于人类感知启发的函数。在这四类函数中，从每个类别中选择了一个代表性的函数，且避免与边缘层引导滤波参数优化时选取的评价函数一致，以提高参数优化模型的泛化能力，防止数据过拟合。
具体选取的四个评价函数分别是：信息熵IE(Information Entropy)、边缘强度EI(Edge Intensity)、特征互信息FMI(Feature Multual Information)和图像感知清晰度PSI(Perceptual Sharpness of Image)，采用它们分别对基于PCA的方法、基于WT的方法、基于Laplace的方法、基于BF的方法、基于GFF的方法以及本方法得到的融合图像进行评价。其中，IE从信息论的角度反映图像信息丰富程度，EI反映图像边缘点梯度的幅值，两者值越大，图像越清晰；FMI用于评价图像间特征信息的相似性，其值越大，融合图像与源图像越相似；PSI基于人类视觉系统的特性来评价图像的清晰度，其值越大，图像越清晰。
实验测试对象为图10(a)的“Cup”图像及图11中的“Flower”和“Runner”图像，各评价函数对应的评价结果如表1、表2、表3所示。表中加粗字体表示每一列的最大值，其位置反映了对应评价函数下的最优方法。从表1-3可以看出，本方法的EI和PSI明显高于其它方法，原因在于本方法在重聚焦图像多尺度分解过程中增加了边缘层的提取来实现图像边缘信息增强，从而提高了融合图像的清晰度，该评价结果与定性评价结果一致；本方法的IE在“Runner”图像的评价结果为最大，在“Flower”和“Cup”图像上仅略低于基于WT的方法，原因在于WT的高频信息的融合规则为特征值取最大，高频信息的过分强调增加了图像的信息丰富性；在FMI上，本方法在3幅图像上得到的结果处于中间水平，说明本方法在没有明显降低融合图像与源图像相似性的情况下，有效提高了融合图像的清晰度。
表1 Flower图像不同融合方法性能评价指标比较
Figure BDA0002225547400000101
表2 Cup图像不同融合方法性能评价指标比较
Figure BDA0002225547400000111
表3 Runner图像不同融合方法性能评价指标比较
Figure BDA0002225547400000112
对传统引导滤波方法的框架进行了改进，用于光场全聚焦图像的融合。该框架的输入为4D光场变换、积分得到的数字重聚焦图像，考虑到4D光场微透镜标定误差引起的重聚焦图像边缘信息丢失，在融合框架中图像多尺度分解时增加了边缘层的提取、并建立多尺度图像评价模型完成边缘层决策图优化。该方法可有效补偿4D光场在角度方向的解码误差，增加融合图像的边缘信息权重。实验验证了所提方法的可行性和有效性：从视觉效果看，针对实验图像的特定区域，本方法得到的全聚焦图像最清晰；从图像信息、特征、结构相似性和人类视觉感知等角度定量评价，在不明显降低全聚焦图像与原始图像特征互信息的前提下，和其它经典方法相比，本方法可使融合图像的边缘强度和感知清晰度达到最高。以上仅为实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包在本发明范围内。

Claims (3)

1.基于边缘增强引导滤波的光场全聚焦图像融合方法，其特征在于，具体步骤如下：
步骤一、光场原图经光场解码、数字重聚焦后得到N幅重聚焦图像；
步骤二、采用拉普拉斯算子计算各重聚焦图像融合的初步融合决策图；
步骤三、将N幅重聚焦图像分解为不同的特征层，即边缘层、基础层和细节层；
步骤四、通过引导滤波优化各特征层的初步融合决策图；
步骤五、将各特征层的优化决策图与对应特征图加权平均后得到融合后的特征层；
步骤六、融合后的各特征层相加得到全聚焦图像。
2.根据权利要求1所述的基于边缘增强引导滤波的光场全聚焦图像融合方法，其特征在于，在步骤三中，采用同时具有边界提取功能和降噪功能的LoG算子完成边缘层的提取，LoG算子核函数定义为：
Figure FDA0002225547390000011
其中，Δ代表拉普拉斯算子，Gσ(x,y)为高斯函数，且滤波窗的大小选取为5×5，故(x,y)的取值范围为[-2,2]的整数；σ代表标准差，此处取0.5，多幅重聚焦图像分别与LoG算子卷积即可得到对应的边缘层图像：
En＝In*LoG
对于基础层，采用平均滤波器与重聚焦图像卷积得到，细节层由重聚焦图像减去边缘层和基础层得到。
3.根据权利要求1或2所述的基于边缘增强引导滤波的光场全聚焦图像融合方法，其特征在于，在步骤四中，建立多尺度图像评价模型实现边缘层引导滤波参数r1、ε1的优化，该多尺度评价模型涉及平均梯度AG、归一化互信息NMI和改进的结构相似性MSSI三个评价指标，其中，AG用于评价融合图像的清晰度，NMI、MSSI用于评价融合图像与源图像信息和结构的相似性；
其中，AG的表达式为：
其中，F表示重聚焦图像I1、I2…IN的融合图像，M×N表示重聚焦图像的大小；
NMI的表达式如下：
其中，I1和I2表示源图像，F表示I1和I2的融合图像，IE(I1)、IE(I2)和IE(F)分别表示I1、I2和F的信息熵，MI(I1,F)表示I1和F之间的互信息，MI(I2,F)表示I2和F之间的互信息；
MSSI的表达式如下：
Figure FDA0002225547390000022
其中，SSIM(I1,F|ω)表示源图像I1和融合图像F在各自滑动窗口区域ω之间相似性的测量值，SSIM(I2,F|ω)、SSIM(I1,I2|ω)和SSIM(I1,F|ω)意义相同；MSSI的值越大，代表融合图像与源图像的结构信息越相似；
其中，基础层、细节层的引导滤波参数设定为：r2＝45，ε2＝0.3，r3＝7，ε3＝10-6，当ε1＝10-3，r1不断增大时，AG呈先下降后上升趋势，NMI和MSSI呈先上升后下降趋势，当NMI和MSSI达到最大值时，AG为最小值；折中后r1取20；当r1＝20时，随着ε1不断增大，AG呈上升趋势，但NMI和MSSI呈下降趋势，折中后，ε1取10-3；故最终获取边缘层优化决策图时，引导滤波的参数取为r1＝20，ε1＝10-3。
CN201910951671.9A 2019-10-08 2019-10-08 基于边缘增强引导滤波的光场全聚焦图像融合方法 Active CN110648302B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910951671.9A CN110648302B (zh) 2019-10-08 2019-10-08 基于边缘增强引导滤波的光场全聚焦图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910951671.9A CN110648302B (zh) 2019-10-08 2019-10-08 基于边缘增强引导滤波的光场全聚焦图像融合方法

Publications (2)

Publication Number Publication Date
CN110648302A true CN110648302A (zh) 2020-01-03
CN110648302B CN110648302B (zh) 2022-04-12

Family

ID=69012317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910951671.9A Active CN110648302B (zh) 2019-10-08 2019-10-08 基于边缘增强引导滤波的光场全聚焦图像融合方法

Country Status (1)

Country Link
CN (1) CN110648302B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784620A (zh) * 2020-07-06 2020-10-16 太原科技大学 空间信息引导角度信息的光场相机全聚焦图像融合算法
CN111882487A (zh) * 2020-07-17 2020-11-03 北京信息科技大学 一种基于双平面平移变换的大视场光场数据融合方法
CN112184646A (zh) * 2020-09-22 2021-01-05 西北工业大学 基于梯度域导向滤波和改进pcnn的图像融合方法
CN114092353A (zh) * 2021-11-19 2022-02-25 长春理工大学 一种基于加权引导滤波的红外图像增强方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285788B1 (en) * 1997-06-13 2001-09-04 Sharp Laboratories Of America, Inc. Method for fast return of abstracted images from a digital image database
CN1604139A (zh) * 2004-10-28 2005-04-06 上海交通大学 图像融合评价系统的构建方法
CN102306381A (zh) * 2011-06-02 2012-01-04 西安电子科技大学 基于Beamlet与小波变换的图像融合方法
US20120206618A1 (en) * 2011-02-15 2012-08-16 Tessera Technologies Ireland Limited Object detection from image profiles
CN105654448A (zh) * 2016-03-29 2016-06-08 微梦创科网络科技（中国）有限公司 一种基于双边滤波及权值重建的图像融合方法及系统
CN105913408A (zh) * 2016-04-12 2016-08-31 湘潭大学 一种基于双边滤波器的多聚焦图像融合方法
CN106339998A (zh) * 2016-08-18 2017-01-18 南京理工大学 基于对比度金字塔变换的多聚焦图像融合方法
CN107369148A (zh) * 2017-09-20 2017-11-21 湖北工业大学 基于改进sml与导向滤波的多聚焦图像融合方法
CN107909560A (zh) * 2017-09-22 2018-04-13 洛阳师范学院 一种基于SiR的多聚焦图像融合方法及系统
CN107977942A (zh) * 2017-12-08 2018-05-01 泉州装备制造研究所 一种基于多聚焦融合的单幅图像的复原方法
CN109509164A (zh) * 2018-09-28 2019-03-22 洛阳师范学院 一种基于gdgf的多传感器图像融合方法及系统
CN109509163A (zh) * 2018-09-28 2019-03-22 洛阳师范学院 一种基于fgf的多聚焦图像融合方法及系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285788B1 (en) * 1997-06-13 2001-09-04 Sharp Laboratories Of America, Inc. Method for fast return of abstracted images from a digital image database
CN1604139A (zh) * 2004-10-28 2005-04-06 上海交通大学 图像融合评价系统的构建方法
US20120206618A1 (en) * 2011-02-15 2012-08-16 Tessera Technologies Ireland Limited Object detection from image profiles
CN102306381A (zh) * 2011-06-02 2012-01-04 西安电子科技大学 基于Beamlet与小波变换的图像融合方法
CN105654448A (zh) * 2016-03-29 2016-06-08 微梦创科网络科技（中国）有限公司 一种基于双边滤波及权值重建的图像融合方法及系统
CN105913408A (zh) * 2016-04-12 2016-08-31 湘潭大学 一种基于双边滤波器的多聚焦图像融合方法
CN106339998A (zh) * 2016-08-18 2017-01-18 南京理工大学 基于对比度金字塔变换的多聚焦图像融合方法
CN107369148A (zh) * 2017-09-20 2017-11-21 湖北工业大学 基于改进sml与导向滤波的多聚焦图像融合方法
CN107909560A (zh) * 2017-09-22 2018-04-13 洛阳师范学院 一种基于SiR的多聚焦图像融合方法及系统
CN107977942A (zh) * 2017-12-08 2018-05-01 泉州装备制造研究所 一种基于多聚焦融合的单幅图像的复原方法
CN109509164A (zh) * 2018-09-28 2019-03-22 洛阳师范学院 一种基于gdgf的多传感器图像融合方法及系统
CN109509163A (zh) * 2018-09-28 2019-03-22 洛阳师范学院 一种基于fgf的多聚焦图像融合方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LI SHUTAO等: "Image fusion with guided filtering", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *
WENDA ZHAO等: "Multi-Focus Image Fusion With a Natural Enhancement via a Joint Multi-Level Deeply Supervised Convolutional Neural Network", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
王孟: "基于频域的多源图像融合算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784620A (zh) * 2020-07-06 2020-10-16 太原科技大学 空间信息引导角度信息的光场相机全聚焦图像融合算法
CN111784620B (zh) * 2020-07-06 2023-05-16 太原科技大学 空间信息引导角度信息的光场相机全聚焦图像融合算法
CN111882487A (zh) * 2020-07-17 2020-11-03 北京信息科技大学 一种基于双平面平移变换的大视场光场数据融合方法
CN112184646A (zh) * 2020-09-22 2021-01-05 西北工业大学 基于梯度域导向滤波和改进pcnn的图像融合方法
CN112184646B (zh) * 2020-09-22 2022-07-29 西北工业大学 基于梯度域导向滤波和改进pcnn的图像融合方法
CN114092353A (zh) * 2021-11-19 2022-02-25 长春理工大学 一种基于加权引导滤波的红外图像增强方法
CN114092353B (zh) * 2021-11-19 2024-06-04 长春理工大学 一种基于加权引导滤波的红外图像增强方法

Also Published As

Publication number Publication date
CN110648302B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
CN110648302B (zh) 基于边缘增强引导滤波的光场全聚焦图像融合方法
Sun et al. End-to-end complex lens design with differentiable ray tracing
CN106408524B (zh) 基于二维图像辅助的深度图像增强方法
Zhao et al. Multisensor image fusion and enhancement in spectral total variation domain
CN111145134B (zh) 基于块效应的微透镜光场相机全聚焦图像生成算法
WO2021017588A1 (zh) 一种基于傅立叶频谱提取的图像融合方法
CN111784620B (zh) 空间信息引导角度信息的光场相机全聚焦图像融合算法
CN109447930B (zh) 小波域光场全聚焦图像生成算法
Li et al. Multifocus Image Fusion Using Wavelet‐Domain‐Based Deep CNN
CN104483752B (zh) 一种反射式数字成像系统的设计方法
CN115456914B (zh) 一种基于先验知识的散焦图像去模糊方法、装置及介质
CN109360212B (zh) 一种可抑制重采样误差的频域光场数字重聚焦算法
CN112686829B (zh) 基于角度信息的4d光场全聚焦图像获取方法
CN115147709B (zh) 一种基于深度学习的水下目标三维重建方法
CN116847209B (zh) 一种基于Log-Gabor与小波的光场全聚焦影像生成方法及系统
CN109598707B (zh) 一种基于特征信息处理的全参考图像质量客观评价方法
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
CN104570344B (zh) 一种数字成像系统的光学和数字联合设计方法
CN113763300A (zh) 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法
Yadav et al. Digital image processing
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
Li et al. MCFDFusion: Multi-focus image fusion based on multi-scale cross-difference and focus detection
CN113592758B (zh) 一种基于局部对比度预处理的图像融合方法
CN115829895A (zh) 基于结构相似与区域分割的多聚焦图像融合方法及系统
Wu et al. Light field all-in-focus image fusion based on spatially-guided angular information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant