CN111784620B - 空间信息引导角度信息的光场相机全聚焦图像融合算法 - Google Patents
空间信息引导角度信息的光场相机全聚焦图像融合算法 Download PDFInfo
- Publication number
- CN111784620B CN111784620B CN202010640442.8A CN202010640442A CN111784620B CN 111784620 B CN111784620 B CN 111784620B CN 202010640442 A CN202010640442 A CN 202010640442A CN 111784620 B CN111784620 B CN 111784620B
- Authority
- CN
- China
- Prior art keywords
- image
- light field
- information
- fusion
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 78
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 77
- 238000011156 evaluation Methods 0.000 claims abstract description 45
- 238000001914 filtration Methods 0.000 claims abstract description 44
- 230000009466 transformation Effects 0.000 claims abstract description 21
- 230000010354 integration Effects 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000007500 overflow downdraw method Methods 0.000 claims 3
- 238000002474 experimental method Methods 0.000 abstract description 5
- 238000011158 quantitative evaluation Methods 0.000 abstract description 2
- 230000008901 benefit Effects 0.000 description 7
- 230000008447 perception Effects 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明属于光场全聚焦图像融合领域，传统基于引导滤波的图像融合算法只利用了图像的空间信息，将其应用于光场全聚焦图像融合时，角度信息的合理利用可以有效提高图像融合精度，基于此，本发明提出一种空间信息引导角度信息的光场相机全聚焦图像融合算法，该算法基于4D光场的角度信息获取初步融合权重图，以初步融合权重图为被引导图像，将4D光场坐标变换、积分得到的空间信息作为引导图像完成引导滤波，实验论证了本发明所提算法的有效性：定量评价结果表明，在不牺牲图像信息丰富性及感知清晰度的前提下，本发明所提算法得到的融合图像在基于特征和基于结构相似性的性能评价指标下质量更高。
Description
技术领域
本发明属于光场全聚焦图像融合领域，特别是涉及一种空间信息引导角度信息的光场相机全聚焦图像融合算法。
背景技术
由于采用了一种新的相机成像系统模型，光场相机凭借先拍照后聚焦的技术亮点获得国内外相关领域研究学者的普遍关注。相比于传统相机，光场相机不仅可以记录空间光线位置信息，同时还可以记录光线的角度信息，使得光场图像在后期的处理、应用中体现了更大的优势。目前，针对光场相机的研究内容主要包括相机标定、光场数字重聚焦、多视点图像获取、多聚焦及全聚焦图像融合、深度估计以及超分辨率重构等。其中光场全聚焦图像融合是光场图像处理领域的一个重要分支，由于融合后的图像具备更完备的场景信息，在后期的图像识别、超分辨率重构、视频文件的生成中具有重要的应用价值。
目前，获取光场全聚焦图像的一般方法是先将光场原图像经数字重聚焦技术得到多幅重聚焦图像，再利用传统多聚焦图像融合技术得到全聚焦图像。多聚焦图像融合算法可分为基于变换域和基于空间域两大类，变换域算法将被融合图像转化到其它特征域来完成图像融合，典型的算法以小波变换法为代表。空间域算法包括基于像素和基于区域的算法，如通过多尺度形态学聚焦测量实现边界划分的方法即为最典型的基于区域的空间融合算法。相对于基于区域的融合算法，基于像素的融合算法不需要将被融合图像分区，具有算法简单且计算复杂度低的优势，典型算法包括拉普拉斯评价法、主成分分析法及引导滤波法等。该类算法的精度主要取决于权重图的计算，如引导滤波法首先将源图像双尺度分解为不同特征层，通过引导滤波对初步融合决策图进行优化得到每一特征层的优化权重图，将优化后的权重图与对应特征层加权平均得到各特征层融合图像后再组成最终融合图像。将传统图像融合算法应用于光场全聚焦图像计算时，被融合图像为4D光场沿角度方向积分后的多幅重聚焦图像，由于积分过程只保留了光场的位置信息，使得光场角度信息在图像融合过程中没有得到充分的利用。
将传统引导滤波用于光场全聚焦图像获取时，最简单、直接的方法是利用数字重聚焦技术由单幅光场原图像计算得到多幅重聚焦图像，再用引导滤波方法将多幅重聚焦图像融合得到全聚焦图像。此时引导滤波输入的源数据并不是4D光场数据，而是由4D光场积分得到的重聚焦图像。由于积分过程丢失了光场的角度信息(u,v)，仅保留了光场的空间信息(x,y)，导致数据融合过程中光场的4维信息没有得到合理利用。
发明内容
为了使光场记录的空间与角度信息均得到合理利用，本发明以传统引导滤波图像融合算法为基础，提出基于空间信息引导角度信息的光场全聚焦图像融合算法，该算法利用光场的角度信息计算重聚焦图像初步融合权重图，将初步融合权重图作为被引导图像、携带光场空间信息的重聚焦图像作为引导图像进行引导滤波完成融合权重图的优化。
为解决上述技术问题，本发明保护的技术方案为：空间信息引导角度信息的光场相机全聚焦图像融合算法，按照以下步骤进行：
步骤1)将光场原图像解码得到4D光场数据，利用数字重聚焦算法得到聚焦在不同场景深度的多幅重聚焦图像，利用光场的角度信息计算多幅重聚焦图像对应的初步融合权重图：
1.1根据光场数字重聚焦理论，光场重聚焦图像获取的表达式如下：
式中，F表示光场相机主透镜平面与传感器平面之间的距离；αn为重聚焦调焦数,αn·F表示调焦后主透镜平面与重聚焦平面的距离；
1.2为了在初步权重图计算过程中合理使用4D光场数据的角度信息(u,v)，将公式(1)描述的数字重聚焦过程拆分为2步：第1步，对4D光场L(x,y,u,v)进行坐标变换；第2步，将经过坐标变换后的光场进行二重积分得到重聚焦图像
基于此过程，公式(1)可进一步表示为：
其中
表示坐标变换操作符，
表示二重积分操作符，坐标变换和二重积分的操作符定义如下：
其中[x,y,u,v]表示行向量，坐标变换矩阵
可表示为：
根据公式(3)，αn取不同的值，对应相机聚焦不同的场景深度，记录不同的4D光场数据，在不同成像深度处的4D光场
可表示为：
与公式(1)相比，公式(6)得到的4D数据很好的保留了光场的角度信息，为了方便下文表述，将
记为
1.3设4D光场的空间分辨率为X×Y，角度分辨率为U×V，对于任一4D光场矩阵
固定一组空间坐标(x,y)的值，遍历所有角度坐标(u,v)值，可得到一个大小为U×V的2D矩阵，该矩阵反映了空间相同位置光线积分时形成的角度信息差异，该角度信息的差异本发明用以下表达式描述：
其中，
表示4D矩阵
固定(x,y)的值时得到的对应2D矩阵的平均值，若n＝1,2,3……N，则αn取N个不同的值，对应得到N个4D矩阵，对于第n个4D矩阵，其角度信息差异矩阵用
表述，第n幅重聚焦图像对应的初步权重图在像素(x,y)处的值通过判断向量
中
是否为最小值得到，初步融合权重图的计算公式可表示为：
步骤2)携带空间信息的重聚焦图像多特征层分解，采用Log算子、平均滤波器将多幅重聚焦图像分别3尺度分解为边缘层、基础层和细节层；
将公式(1)得到的多幅携带光场空间信息的重聚焦图像分别进行3尺度分解为边缘层、基础层和细节层。边缘层
获取通过以下表达式实现：
其中，LoG为高斯拉普拉斯算子，其滤波窗的大小为5×5；
基础层
通过重聚焦图像
与平均滤波器Z卷积得到：
细节层
由重聚焦图像减去边缘层和基础层得到：
步骤3)将重聚焦图像作为引导图像，初步融合权重图作为被引导图像，通过设定引导滤波的参数r、ε分别得到边缘层、基础层和细节层的优化权重图，最后根据优化权重图得到融合图像的边缘层、基础层和细节层构成全聚焦图像。
进一步的，步骤3)中各特征层权重图优化的关键在于引导滤波参数r、ε的选取，为了方便区分，边缘层的引导滤波参数记为r1、ε1、基础层的引导滤波参数记为r2、ε2、细节层的引导滤波参数记为r3、ε3，根据已公开的引导滤波算法获得的经验值，基础层和细节层的引导滤波参数取值分别为：r2＝45，ε2＝0.3，r3＝7，ε3＝10-6；
对于参数r1、ε1，由于初步权重图的获取基于角度信息，而角度信息差异矩阵对噪声不敏感，后期无需对显著图进行高斯低通滤波降噪处理，使得最后得到的初步权重图的边缘信息更为准确，将边缘信息更为准确的初步权重图作为引导滤波器的输入图像时，会对边缘层的优化权重图产生影响，因此需要进一步对边缘层的参数r1、ε1进行修正；
采用边缘强度、特征互信息以及结构相似性三个性能评价函数建立调参模型，其中边缘强度用于评价融合图像的清晰度，特征互信息和结构相似性用于评价融合图像与源图像信息熵和结构的相似性，它们的值越大，代表融合图像的质量越高，优化过程中通过固定其中一个参数，不断改变另一个参数的值来寻找最优融合图像，进而确定最优r1、ε1的值。
优选的，在获取边缘层优化权重图时，引导滤波的参数取为r1＝7，ε1＝10-5。
与现有技术相比，本发明提出的基于空间信息引导角度信息的光场全聚焦图像融合算法主要有以下2个优点：
1.合理利用了光场的4维信息，融合过程中实现了空间信息与角度信息的优势互补。传统基于重聚焦图像的全聚焦图像融合算法只利用了4D光场空间信息(x,y)，本发明所提引导滤波框架的被引导图像为基于角度信息(u,v)获取的初步融合权重图，引导图像为4D光场坐标变换、沿角度方向积分后得到的重聚焦图像，该图像包含了光场的空间信息(x,y)，引导滤波过程中空间信息与角度信息的交替使用实现了两个方向信息的优势互补。
2.基于光场的角度信息，获得了置信度更高的初步融合权重图。传统的引导滤波框架先用拉普拉斯算子与携带光场空间信息的重聚焦图像卷积得到显著图，再通过比较显著图计算初步融合权重图。由于拉普拉斯算子对噪声点比较敏感，需要将显著图经高斯低通滤波器作降噪处理。但是，降噪的过程额外带来了显著图边缘信息平滑效应，导致最后得到的初步融合权重图的边缘不够准确。本发明采用4D光场角度信息计算显著图，由于角度信息差异矩阵对噪声不敏感，无需进行高斯低通滤波降噪处理，这样可以很好地保留初步融合权重图的边缘信息。
附图说明
下面结合附图对本发明做进一步详细的说明。
图1是本发明空间信息引导角度信息的光场全聚焦图像融合框架。
图2是边缘层的引导滤波的参数确定。
图3是“Dinosaur”图像分别取α1＝1和α2＝200得到4D光场数据：(a)是α1＝1时，(b)是α2＝200时。
图4中(a)沿角度积分后聚焦在α＝1的图像，(b)沿角度积分后聚焦在α＝200的图像，(c)传统方法计算的初步权重图(α＝1)，(d)为传统方法计算的初步权重图(α＝200)，(e)本发明方法计算的初步权重图(α＝1)，(f)本发明方法计算的初步权重图(α＝200)。
图5中(a)为初步权重图，(b)为重聚焦图像，(c)为边缘层优化权重图，(d)为融合后的各特征层，(e)为光场全聚焦图像。
图6中(a)为Buddha光场原图，(b)为Clock光场原图，(c)为Doll光场原图。
具体实施方式
为使本发明的目的、特征和优点能够明显易懂，下面结合附图对本发明的具体实施方式做详细说明。
本发明空间信息引导角度信息的光场相机全聚焦图像融合算法从光场的4维信息出发，并结合光场图像特性，对传统引导滤波算法的框架进行改进，改进后的引导滤波数据融合框架如图1所示，其主要数据操作流程可叙述为：将光场原图像解码得到4D光场数据，利用数字重聚焦算法得到聚焦在不同场景深度的多幅重聚焦图像，利用光场的角度信息计算多幅重聚焦图像对应的初步融合权重图。采用Log算子、平均滤波器将多幅重聚焦图像分别3尺度分解为边缘层、基础层和细节层，将重聚焦图像作为引导图像，初步融合权重图作为被引导图像，通过设定引导滤波的参数r、ε分别得到边缘层、基础层和细节层的优化权重图，最后根据优化权重图得到融合图像的边缘层、基础层和细节层构成全聚焦图像。下面介绍其具体算法步骤：
1、基于角度信息的初步权重图计算
根据光场数字重聚焦理论，光场重聚焦图像获取的表达式如下：
式中，F表示光场相机主透镜平面与传感器平面之间的距离；αn为重聚焦调焦参数,αn·F表示调焦后主透镜平面与重聚焦平面的距离。
为了在初步权重图计算过程中合理使用4D光场数据的角度信息(u,v)，本发明将公式(1)描述的数字重聚焦过程拆分为2步：第1步，对4D光场L(x,y,u,v)进行坐标变换；第2步，将坐标变换后的光场进行二重积分得到重聚焦图像
基于此过程，公式(1)可进一步表示为：
其中
表示坐标变换操作符，
表示二重积分操作符。坐标变换和二重积分的操作符定义如下：
其中[x,y,u,v]表示行向量，坐标变换矩阵
可表示为：
根据公式(3)，αn取不同的值，对应相机聚焦不同的场景深度，记录不同的4D光场数据，在不同成像深度处的4D光场
可表示为：
与公式(1)相比，公式(6)得到的4D数据很好的保留了光场的角度信息，本发明基于公式(6)得到的多组4D光场矩阵进行清晰度评价，以实现基于角度信息的初步权重图计算。为了方便下文表述，将
记为
设4D光场的空间分辨率为X×Y，角度分辨率为U×V。对于任一4D光场矩阵
固定一组空间坐标(x,y)的值，遍历所有角度坐标(u,v)值，可得到一个大小为U×V的2D矩阵，该矩阵反映了空间相同位置光线积分时形成的角度信息差异，该角度信息的差异本发明用以下表达式描述：
其中，
表示4D矩阵
固定(x,y)的值时得到的对应2D矩阵的平均值。若n＝1,2,3……N，则αn取N个不同的值，对应得到N个4D矩阵。对于第n个4D矩阵，其角度信息差异矩阵用
表述。第n幅重聚焦图像对应的初步权重图在像素(x,y)处的值通过判断向量
中
是否为最小值得到。初步融合权重图的计算公式可表示为：
2.2携带空间信息的重聚焦图像多特征层分解
将公式(1)得到的多幅携带光场空间信息的重聚焦图像分别进行3尺度分解为边缘层、基础层和细节层。边缘层
获取通过以下表达式实现：
其中，LoG为高斯拉普拉斯算子，其滤波窗的大小为5×5。
基础层
通过重聚焦图像
与平均滤波器Z卷积得到：
细节层
由重聚焦图像减去边缘层和基础层得到：
2、各特征层引导滤波参数选择
各特征层权重图优化的关键在于引导滤波参数r、ε的选取，r、ε的物理意义来源于引导滤波器的定义：
其中，滤波器的输出图像O是引导图像I的线性变换，线性变换的系数为ak和bk；以不同像素k为中心的引导滤波器窗口ωk包含像素i，因此在不同的窗口ωk中计算得到的输出Oi的值不同。ωk的窗口大小为(2r+1)×(2r+1)。线性系数ak和bk可通过解线性回归得到，其中ak的表达式如下：
其中，|ω|表示ωk中所有像素的数量；P为被引导图像，
表示P在窗口ωk中的均值；μk和δk分别表示引导图像I在窗口ωk中的均值和方差，ε表示滤波器的一个正则化参数。
为了方便区分，边缘层的引导滤波参数记为r1、ε1、基础层的引导滤波参数记为r2、ε2、细节层的引导滤波参数记为r3、ε3。根据已公开的引导滤波算法获得的经验值，边缘层、基础层和细节层的引导滤波参数取值分别为：r1＝20，ε1＝10-3，r2＝45，ε2＝0.3，r3＝7，ε3＝10-6。
由于本发明所提算法初步权重图的获取基于角度信息，而角度信息差异矩阵对噪声不敏感，后期无需对显著图进行高斯低通滤波降噪处理，使得最后得到的初步权重图的边缘信息更为准确。将边界信息更为准确的初步权重图作为引导滤波器的输入图像时，会对边缘层的优化权重图产生影响，因此需要进一步对边缘层的参数r1、ε1进行修正。
对于参数r1、ε1的修正，本发明使用了三个性能评价函数建立调参模型，所采用的三个性能评价函数分别是边缘强度(Edge Intensity，EI)、特征互信息(MutualInformation of Image Features,FMI)、结构相似性(Structural Similarity Index ofImage,SSIM)，其中EI用于评价融合图像的清晰度，FMI、SSIM用于评价融合图像与源图像信息熵和结构的相似性，它们的值越大，代表融合图像的质量越高。优化过程中通过固定其中一个参数，不断改变另一个参数的值来寻找最优融合图像，进而确定最优r1、ε1的值。
由于本发明中提取的边缘层的特征跟细节层的特征更为接近，故r1、ε1的取值参考细节层r3、ε3的取值范围。在这里滤波器的窗口半径r1的取值范围为1到17。由于ε是用于约束引导滤波器线性系数ak的参数，滤波器的性能随该值的变化没有r敏感，故ε1从初值10-7以指数形式递增。
固定ε1＝10-5，滤波器的窗口半径r1从1变到17时，融合图像的EI、FMI、SSIM值随r1的变化如图2(a)所示。从图2(a)可以看出，随着r1的不断增大，EI的值先下降后上升，FMI的值上升后微降再趋于稳定，SSIM的值呈先上升后下降趋势。在r1＝7的位置，FMI、SSIM的值由峰值向下跳变，此时EI的值却出现明显上升，故r1取7时融合后的全聚焦图像清晰度较高且与源图像相似度较强。
固定r1＝7，ε1从初值10-7以指数形式递增，融合图像的EI、FMI、SSIM值随ε1的变化如图2(b)所示，从图2(b)可以看出，随着ε1的不断增大，EI呈上升趋势，FMI先上升后下降，SSIM呈下降趋势。在ε1＝10-5的位置，EI的值由谷值向上跳变、SSIM的值由峰值向下跳变，FMI达到峰值。故ε1取10-5时可保证融合图像与源图像足够相似的前提下提高清晰度。综上所述，在获取边缘层优化权重图时，引导滤波的参数取为r1＝7，ε1＝10-5。
为了验证本发明采用角度信息获取初步融合权重图的理论正确性，以“Dinosaur”图像为例，分别取α1＝1和α2＝200得到4D光场
和
对应的2D显示如图3(a)和(b)所示。
对图3(a)、(b)进行二重积分后，得到的重聚焦图像如图4(a)和(b)所示，采用传统的引导滤波框架基于光场空间信息得到的初步融合权重图如图4(c)和(d)所示，而采用本发明引导滤波框架基于光场角度信息得到的初步融合权重图如图4(e)和(f)所示。对比图4(c)、(d)和图4(e)、(f)发现，本发明算法获取的初步权重图具有更高的置信度。
为了验证本发明所提空间信息引导角度信息全聚焦图像融合算法的可行性，以“Dinosaur”图像为实验对象，分别取α1＝1、α2＝2.5、α3＝200，基于4D光场的角度信息得到的初步融合权重图5(a)所示。同时，根据公式(1)得到的对应3张重聚焦图像如图5(b)所示。将图5(a)的3幅图像分别作为被引导图像，图5(b)对应图像作为引导图像，分别取r1＝7、ε1＝10-5、r2＝45、ε2＝0.3和r3＝7、ε3＝10-6，经引导滤波后可得到各特征层的优化权重图。其中，边缘层的优化权重图如图5(c)所示。每幅重聚焦图像的各层特征图乘以相应的优化权重图求和后得到融合后的各层特征图，如图5(d)所示。各融合后的特征层叠加后得到光场全聚焦图像，如图5(e)所示。从图5(e)中可以看出，融合后光场全聚焦图像整体清晰，验证了本发明所提算法的有效性。
为了定性及定量评价本发明算法的优势，选取小波变换法(Wavelet Transform，WT)、拉普拉斯算子评价法(Laplace Evaluation，LE)、边界寻找法(Boundary Finding，BF)和引导滤波法(Guided Filtering Fusion，GFF)4种经典图像融合算法与本发明所提算法进行对比，实验测试对象为光场图像数据库的“Buddha”、“Clock”和“Doll”图像，如图6所示。为了简化实验过程，每组实验数据选取2个αn的值，用于形成2幅聚焦位置有明显差异的重聚焦图像，作为本实验其它4组对比算法所需的待融合图像。
针对目前已公开的光场图像数据库没有给出标准的全聚焦图像情况，采用公认的4类图像质量评价指标(基于信息论的评价指标、基于图像特征的评价指标、基于图像结构相似性的评价指标和基于人类感知启发的评价指标)对各算法得到的融合图像进行评价。在具体评价函数选取时，为了提高调参模型的泛化能力，防止数据过拟合，选取了不同于边缘层引导滤波参数优化时的函数进行评价：基于信息论的评价指标选用归一化互信息(Normalized Mutual Information，NMI)作为评价函数，基于图像特征的评价指标选用相位一致性(Phase Congruency，PC)作为评价函数，基于图像结构相似性的评价指标选用改进的结构相似性(Modified Structural Similarity Index，MSSI)及协方差权重保真度(Covariance Weighted Fidelity，CWF)作为评价函数，基于人类感知启发的评价指标采用感知清晰度(Perceptual Sharpness of Image，PSI)作为评价函数。
各算法的融合图像质量评价结果如表1、表2、表3所示，表中加粗斜字体表示每一列的最高值，其位置反映了对应评价函数下的最优算法；加粗黑色字体表示每一列的次高值，其位置反映了对应评价函数下的次优算法。综合分析表1、表2、表3最高值和次高值的分布，本发明算法在“Buddha”图像性能评价指标上出现3个最高值，在“Clock”图像的性能指标上出现2个最高值和3个次高值，在“Doll”图像的性能评价指标上出现2个最高和2个次高，是最高值和次高值出现频率最多的算法，且这些最高值和次高值集中于PC、MSSI、CWF指标下。而对于NMI和PSI指标，本发明方法得到的评价结果值并不是最低，而是处于中间水平。说明经各质量评价指标综合权衡后，本发明所提算法得到的融合图像的质量较高。
为了进一步论证表1、表2、表3所用数据的代表性，在相同数据库中选取了10幅光场原图像，分别计算了不同融合算法对应的图像质量评价结果并取平均，得到的平均值如表4所示。通过分析表中数据发现：本发明所提算法获得的融合图像的PC、MSSI、CWF的值达到最高，与表1、表2、表3中基于单幅图像的评价统计结果基本一致。
对于NMI函数的评价结果，本发明所提算法的性能优于GFF算法及WT算法，原因在于本发明算法较GFF算法在图像融合过程中应用了更多的光场信息，具有更高的信息保留能力。变换域算法WT较空间域算法(LE、BF、GFF及本发明算法)更容易丢失源图像信息，导致其在信息论的评价指标下性能最差。对于PC函数的评价结果，本发明所提算法得到的融合图像的质量最高，原因在于本发明所提引导滤波框架的输入为4D信息，从空间信息和角度信息两个方面对图像特征进行限制，从而使融合图像较好地保留了源图像的特征。对于MSSI和CWF函数的评价结果，本发明算法的性能最优，原因在于本发明算法获取边缘置信度更高的权重图，权重图失真度的降低导致融合图像与源图像的结构相似性的提高。对于PSI的评价结果，本发明算法的性能优于GFF算法，原因在于本发明算法在图像多尺度分解时包含了边缘层的提取，边缘信息的增强使得基于人类感知启发的评价指标得到了提高。总体而言，本发明所提算法针对4D光场数据的特征对传统引导滤波的框架进行了改进，各性能指标较GFF算法都有所提高。从各算法性能评价的对比结果看，本发明算法保证融合图像在基于信息论的评价结果和基于人类感知启发的评价结果处于中间水平的情况下，使基于图像特征的评价结果及基于图像结构相似性的评价结果达到最高，论证了本发明所提算法的鲁棒性。
表1 Buddha图像不同融合算法性能评价指标比较
表2 Clock图像不同融合算法性能评价指标比较
表3 Doll图像不同融合算法性能评价指标比较
表4 10组实验数据不同融合算法性能评价指标比较
针对光场相机拍摄图像的4D特性，提出一种引导滤波全聚焦图像融合框架。该框架的输入为4D光场矩阵，引导滤波过程中交替使用了光场的空间信息和角度信息完成了图像融合。利用4D光场角度信息差异获得了置信度更高的初步权重图，利用携带4D光场空间信息的重聚焦图像引导初步权重图获取优化的融合权重图。通过实验验证了本发明所提基于角度信息获取初步权重图的可行性及引导滤波融合框架的有效性，且定量评价结果显示了本发明所提算法的性能优势。
上面结合附图对本发明方案的实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (3)
1.空间信息引导角度信息的光场相机全聚焦图像融合方法，其特征在于，按照以下步骤进行：
步骤1)将光场原图像解码得到4D光场数据，利用数字重聚焦算法得到聚焦在不同场景深度的多幅重聚焦图像，利用光场的角度信息计算多幅重聚焦图像对应的初步融合权重图：
1.1根据光场数字重聚焦理论，光场重聚焦图像获取的表达式如下：
式中，F表示光场相机主透镜平面与传感器平面之间的距离；αn为重聚焦调焦参数,αn·F表示调焦后主透镜平面与重聚焦平面的距离；
1.2为了在初步权重图计算过程中合理使用4D光场数据的角度信息(u,v)，将公式(1)描述的数字重聚焦过程拆分为2步：第1步，对4D光场L(x,y,u,v)进行坐标变换；第2步，将经过坐标变换后的光场进行二重积分得到重聚焦图像基于此过程，公式(1)可进一步表示为：
其中表示坐标变换操作符，表示二重积分操作符，坐标变换和二重积分的操作符定义如下：
其中[x,y,u,v]表示行向量，坐标变换矩阵可表示为：
根据公式(3)，αn取不同的值，对应相机聚焦不同的场景深度，记录不同的4D光场数据，在不同成像深度处的4D光场可表示为：
与公式(1)相比，公式(6)得到的4D数据很好的保留了光场的角度信息，为了方便下文表述，将记为
1.3设4D光场的空间分辨率为X×Y，角度分辨率为U×V，对于任一4D光场矩阵固定一组空间坐标(x,y)的值，遍历所有角度坐标(u,v)值，可得到一个大小为U×V的2D矩阵，该矩阵反映了空间相同位置光线积分时形成的角度信息差异，该角度信息的差异用以下表达式描述：
其中，表示4D矩阵固定(x,y)的值时得到的对应2D矩阵的平均值，若n＝1,2,3……N，则αn取N个不同的值，对应得到N个4D矩阵，对于第n个4D矩阵，其角度信息差异矩阵用表述，第n幅重聚焦图像对应的初步权重图在像素(x,y)处的值通过判断向量中是否为最小值得到，初步融合权重图的计算公式可表示为：
步骤2)携带空间信息的重聚焦图像多特征层分解，采用Log算子、平均滤波器将多幅重聚焦图像分别3尺度分解为边缘层、基础层和细节层；
将公式(1)得到的多幅携带光场空间信息的重聚焦图像分别进行3尺度分解为边缘层、基础层和细节层，边缘层获取通过以下表达式实现：
其中，LoG为高斯拉普拉斯算子，其滤波窗的大小为5×5；
基础层通过重聚焦图像与平均滤波器Z卷积得到：
细节层由重聚焦图像减去边缘层和基础层得到：
步骤3)将重聚焦图像作为引导图像，初步融合权重图作为被引导图像，通过设定引导滤波的参数r、ε分别得到边缘层、基础层和细节层的优化权重图，最后根据优化权重图得到融合图像的边缘层、基础层和细节层构成全聚焦图像。
2.根据权利要求1所述的空间信息引导角度信息的光场相机全聚焦图像融合方法，其特征在于：步骤3)中各特征层权重图优化的关键在于引导滤波参数r、ε的选取，为了方便区分，边缘层的引导滤波参数记为r1、ε1、基础层的引导滤波参数记为r2、ε2、细节层的引导滤波参数记为r3、ε3，根据已公开的引导滤波算法获得的经验值，基础层和细节层的引导滤波参数取值分别为：r2＝45，ε2＝0.3，r3＝7，ε3＝10-6；
对于参数r1、ε1，由于初步权重图的获取基于角度信息，而角度信息差异矩阵对噪声不敏感，后期无需对显著图进行高斯低通滤波降噪处理，使得最后得到的初步权重图的边缘信息更为准确，将边缘信息更为准确的初步权重图作为引导滤波器的输入图像时，会对边缘层的优化权重图产生影响，因此需要进一步对边缘层的参数r1、ε1进行修正；
采用边缘强度、特征互信息以及结构相似性三个性能评价函数建立调参模型，其中边缘强度用于评价融合图像的清晰度，特征互信息和结构相似性用于评价融合图像与源图像信息熵和结构的相似性，它们的值越大，代表融合图像的质量越高，优化过程中通过固定其中一个参数，不断改变另一个参数的值来寻找最优融合图像，进而确定最优r1、ε1的值。
3.根据权利要求2所述的空间信息引导角度信息的光场相机全聚焦图像融合方法，其特征在于：在获取边缘层优化权重图时，引导滤波的参数取为r1＝7，ε1＝10-5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010640442.8A CN111784620B (zh) | 2020-07-06 | 2020-07-06 | 空间信息引导角度信息的光场相机全聚焦图像融合算法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010640442.8A CN111784620B (zh) | 2020-07-06 | 2020-07-06 | 空间信息引导角度信息的光场相机全聚焦图像融合算法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111784620A CN111784620A (zh) | 2020-10-16 |
| CN111784620B true CN111784620B (zh) | 2023-05-16 |
Family
ID=72758997
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010640442.8A Active CN111784620B (zh) | 2020-07-06 | 2020-07-06 | 空间信息引导角度信息的光场相机全聚焦图像融合算法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111784620B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111145134B (zh) * | 2019-12-24 | 2022-04-19 | 太原科技大学 | 基于块效应的微透镜光场相机全聚焦图像生成算法 |
| CN112686829B (zh) * | 2021-01-11 | 2024-03-26 | 太原科技大学 | 基于角度信息的4d光场全聚焦图像获取方法 |
| CN113763291B (zh) * | 2021-09-03 | 2023-08-29 | 深圳信息职业技术学院 | 保持边界滤波算法的性能评价方法、智能终端及存储介质 |
| CN114173106B (zh) * | 2021-12-01 | 2022-08-05 | 北京拙河科技有限公司 | 基于光场相机的实时视频流融合处理方法与系统 |
| CN116347231B (zh) * | 2023-04-12 | 2023-10-10 | 北京大学 | 一种基于事件相机的全聚焦成像方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109584193A (zh) * | 2018-10-24 | 2019-04-05 | 航天时代飞鸿技术有限公司 | 一种基于目标预提取的无人机红外与可见光图像融合方法 |
| CN110648302A (zh) * | 2019-10-08 | 2020-01-03 | 太原科技大学 | 基于边缘增强引导滤波的光场全聚焦图像融合方法 |
| CN111145134A (zh) * | 2019-12-24 | 2020-05-12 | 太原科技大学 | 基于块效应的微透镜光场相机全聚焦图像生成算法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104899870B (zh) * | 2015-05-15 | 2017-08-25 | 清华大学深圳研究生院 | 基于光场数据分布的深度估计方法 |
-
2020
- 2020-07-06 CN CN202010640442.8A patent/CN111784620B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109584193A (zh) * | 2018-10-24 | 2019-04-05 | 航天时代飞鸿技术有限公司 | 一种基于目标预提取的无人机红外与可见光图像融合方法 |
| CN110648302A (zh) * | 2019-10-08 | 2020-01-03 | 太原科技大学 | 基于边缘增强引导滤波的光场全聚焦图像融合方法 |
| CN111145134A (zh) * | 2019-12-24 | 2020-05-12 | 太原科技大学 | 基于块效应的微透镜光场相机全聚焦图像生成算法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种基于微透镜阵列的图像全聚焦方法;牛娜娜;韩燮;;科学技术与工程(第25期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111784620A (zh) | 2020-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111784620B (zh) | 空间信息引导角度信息的光场相机全聚焦图像融合算法 | |
| US10346997B2 (en) | Depth estimation method based on light-field data distribution | |
| US20130004082A1 (en) | Image processing device, method of controlling image processing device, and program for enabling computer to execute same method | |
| Zhang et al. | Probability contour guided depth map inpainting and superresolution using non-local total generalized variation | |
| KR20130112311A (ko) | 고밀도 삼차원 영상 재구성 장치 및 방법 | |
| CN110111292B (zh) | 一种红外与可见光图像融合方法 | |
| CN110245600B (zh) | 自适应起始快速笔画宽度无人机道路检测方法 | |
| CN115035003A (zh) | 交互补偿注意力的红外与可见光图像对抗融合方法 | |
| CN115147709B (zh) | 一种基于深度学习的水下目标三维重建方法 | |
| CN110648302B (zh) | 基于边缘增强引导滤波的光场全聚焦图像融合方法 | |
| Haq et al. | An edge-aware based adaptive multi-feature set extraction for stereo matching of binocular images | |
| Wang et al. | An efficient method for image dehazing | |
| CN110766657B (zh) | 一种激光干扰图像质量评价方法 | |
| JP2001126065A (ja) | 距離分布検知装置 | |
| CN116757986A (zh) | 一种红外与可见光图像融合方法及装置 | |
| CN113763300A (zh) | 一种联合深度上下文与卷积条件随机场的多聚焦图像融合方法 | |
| Zheng et al. | Enhancement by your aesthetic: An intelligible unsupervised personalized enhancer for low-light images | |
| CN112651945A (zh) | 一种基于多特征的多曝光图像感知质量评价方法 | |
| CN114782507B (zh) | 一种基于无监督学习的非对称双目立体匹配方法及系统 | |
| Kumar et al. | Underwater Image Enhancement using deep learning | |
| WO2022199236A1 (zh) | Raw图像的处理方法、芯片和电子设备 | |
| Yao et al. | A multi-expose fusion image dehazing based on scene depth information | |
| CN110120029B (zh) | 基于感知哈希算法的图像融合方法 | |
| Van Vo et al. | High dynamic range video synthesis using superpixel-based illuminance-invariant motion estimation | |
| Wu et al. | Light field all-in-focus image fusion based on spatially-guided angular information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |