CN107845109A

CN107845109A - 针对光场阵列相机重聚焦图像的全景深融合方法及系统

Info

Publication number: CN107845109A
Application number: CN201711142288.6A
Authority: CN
Inventors: 杨俊刚; 王应谦; 肖超; 李骏; 安玮
Original assignee: Individual
Current assignee: Individual
Priority date: 2017-11-17
Filing date: 2017-11-17
Publication date: 2018-03-27

Abstract

本发明公开了一种针对光场阵列相机重聚焦图像的全景深融合方法及系统，对所有待融合的多聚焦图像进行静态小波分解；对于细节小波系数，对一系列的细节系数取绝对值，将绝对值最大的系数作为最终用来重构融合图像的细节小波系数；对于近似小波系数，求取一系列对应位置近似小波系数的平均值，将平均值作为最终用来重构融合图像的近似小波系数；对上述用来重构融合图像的小波系数采取静态小波逆变换，最终得到全景深的融合图像。采用本发明的方法，可以使大量具有浅景深的多聚焦图像较好地融合成为一幅全景深图像，很好的抑制了传统融合方法导致的振铃效应以及色彩失真。

Description

针对光场阵列相机重聚焦图像的全景深融合方法及系统

技术领域

本发明涉及图像处理，图像融合，计算成像领域，特别是一种针对光场阵列相机重聚焦图像的全景深融合方法及系统。

背景技术

近年来，光场相机在工业领域和学术领域获得越来越多的关注。在过去的几年里，高校和科研部门研制了各式各样的光场相机[1][2][3][4]。相比于传统数码相机，光场相机可以在一次曝光成像中获取当前场景的三维信息，具有拍照后重聚焦[5]等诸多功能。计算重聚焦技术在实际应用中，往往通过不断调节参数，得到聚焦到不同深度的一系列图像，从而覆盖当前场景的所有深度，利用多聚焦图像融合技术可以将一系列聚焦到不同深度的图像融合成为当前场景的全聚焦图像。然而与传统光学相机相比，光场相机等效孔径较大，导致计算重聚焦得到的图像景深较浅，只有小部分深度的物体处于聚焦状态，其余大部分深度的物体都处于离焦的模糊状态。因此要想获得一幅当前场景的全景深图像，就需要大量的重聚焦图像。

现有的多聚焦图像融合算法主要有基于空域的融合算法与基于变换域的融合算法。空域算法往往会导致融合结果对比度较低，发生块状失真[6]，如图1(A)以及图2(A)所示。变换域图像融合算法的主要思想是将待融合图像进行多尺度分解，从不同的尺度层中提取相应的细节信息，根据不同的规则将提取出来的信息进行整合。现有的应用最广泛的就是基于离散小波变换(DWT)的算法[7]。然而由于其在分解过程中存在下采样环节，导致在处理大数量浅景深的源图像时效果不理想，容易发生振铃效应(图1(B))以及色彩失真(图2(B))。

相关引用文献：

[1]R.Ng,M.Levoy,M.Bredif,G.Duval,M.Horowitz,and P.Hanrahan,“Lightfield photography with a hand-held plenoptic camera,”CSTR,vol.2,2005.

[2]A.Veeraraghavan,R.Raskar,A.Agrawal,A.Mohan,and J.Tumblin,“Dappledphotography:Mask enhanced cameras for heterodyned lightfields and codedaperture refocusing,”ACM Trans.Graph.,vol.26,no.3,July.2007.

[3]C.-K.Liang,T.-H.Lin,B.-Y.Wong,C.Liu,and H.H.Chen,“Programmableaperture photography:Multiplexed light field acquisition,”ACM Trans.Graph.,vol.27,no.3,pp.55:1–55:10,Aug.2008.

[4]B.Wilburn,N.Joshi,V.Vaish,E.-V.Talvala,E.Antunez,A.Barth,A.Adams,M.Horowitz,and M.Levoy,“High performance imaging using large camera arrays,”ACM Trans.Graph.,vol.24,no.3,pp.765–776,Jul.2005.

[5]Wang Y,Hou G,Sun Z,“A simple and robust super resolution methodfor light field images,”IEEE International Conference on ImageProcessing.IEEE,1459-1463,(2016)

[6]Bai X,Liu M,Chen Z,“Multifocus image fusion through gradient-baseddecision map construction and mathematical morphology,”IEEE Access,4,4749-4760,(2016)

[7]Wang H,Jing Z,Li J,“An image fusion approach based on discretewavelet frame,”Information Fusion,2003.Proceedings of the Sixth InternationalConference of.IEEE,1490-1493,(2003)

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种针对光场阵列相机重聚焦图像的全景深融合方法及系统，解决传统多聚焦图像融合方法在处理大数量浅景深的源图像时效果不理想的问题。

为解决上述技术问题，本发明所采用的技术方案是：一种针对光场阵列相机重聚焦图像的全景深融合方法，包括以下步骤：

1)对所有待融合的多聚焦图像进行静态小波分解；

2)对于细节小波系数，对一系列的细节系数取绝对值，将绝对值最大的系数作为最终用来重构融合图像的细节小波系数；对于近似小波系数，求取一系列近似小波系数对应位置的平均值，将平均值作为最终用来重构融合图像的近似小波系数；

3)对上述小波系数或近似小波系数采取静态小波逆变换，最终得到全景深的融合图像。

步骤1)中，采用swt2()函数实现静态小波分解。

步骤2)中，所述细节小波系数包括水平细节系数、垂直细节系数和对角细节系数；第k层的水平细节系数H^k的表达式为：

其中，N是多聚焦图像的总数量；n为当前图像，取值从1至N；(i,j)代表分解系数图像的坐标；k为分解层数；代表第n幅图像第k层分解的水平细节系数。

步骤2)中，第k层近似小波系数A^k的计算式为：

其中，为第n幅图像第k层分解的近似系数；N是多聚焦图像的总数量；n为当前图像，取值从1至N；(i,j)代表分解系数图像的坐标；k为分解层数。

使用iswt2()函数实现静态小波逆变换。

相应地，本发明还提供了一种针对光场阵列相机重聚焦图像的全景深融合系统，包括：

分解模块，用于对所有待融合的多聚焦图像进行静态小波分解；

整合模块，对于细节小波系数，对一系列的细节系数取绝对值，将绝对值最大的系数作为最终用来重构融合图像的细节小波系数；对于近似小波系数，求取一系列近似小波系数对应位置的平均值，将平均值作为最终用来重构融合图像的近似小波系数；

融合模块，用于对上述小波系数或近似小波系数采取静态小波逆变换，最终得到全景深的融合图像。

与现有技术相比，本发明所具有的有益效果为：采用本发明的方法，可以使大量具有浅景深的多聚焦图像较好地融合成为一幅全景深图像，很好的抑制了传统融合方法导致的振铃效应以及色彩失真，操作简单，易于编程实现，并且对小波分解层数具有一定的鲁棒性，随着光场相机的不断推广，本发明方法具有较大的实用价值。

附图说明

图1中，(a)～(u)为阵列相机聚焦到不同深度的重聚焦图像，(A)为空域融合方法获得的融合结果，(B)为基于传统小波变换的融合方法获得的融合结果，(C)为本发明的方法获得的融合结果。

图2中，(a)～(n)为阵列相机聚焦到不同深度的重聚焦图像，(A)为空域融合方法获得的融合结果，(B)为基于传统小波变换的融合方法获得的融合结果，(C)为本发明的方法获得的融合结果。

图3为基于静态小波分解的多聚焦图像融合框架图。设待分解的多聚焦源图像为I_n(n＝1,2,...,N)，经过静态小波分解为k层,每层均包含有近似系数A,水平细节系数H,垂直细节系数V和对角细节系数D。假定多帧源图像I_n的尺寸均为P×Q,由于静态小波变换中没有下采样过程，故每一层的分解系数的尺寸也均为P×Q。不同的分解系数采用不同的规则进行整合，将整合过后的系数进行静态小波逆变换，最终得到输出的融合图像。

具体实施方式

本发明通过在不同尺度下通过对小波基的插值来回避对待分解图像的下采样，从而得到不同尺度的近似小波系数。针对不同类型的近似小波系数采用不同的融合准则，获得融合系数，最终将融合系数进行小波逆变换得到全景深融合图像。如图3所示，具体包括以下步骤：

1.对所有待融合的多聚焦图像进行静态小波分解，得到低频近似、水平细节、垂直细节和对角细节四类静态近似小波系数。在MATLAB环境下，可以通过使用函数swt2()来实现。

2.针对不同类型的近似小波系数，采用不同的整合策略。

(1)由于多聚焦图像的聚焦区域往往细节明显、纹理丰富，所对应的三个细节小波系数往往较大。故针对细节小波系数，我们采取“绝对值取大”的策略，从对一系列的系数取绝对值，将绝对值最大的系数作为最终用来重构融合图像的小波系数。

式中N是多聚焦图像的总数量；n为当前图像，取值从1至N；(i,j)代表分解系数图像的坐标；k为分解层数；代表第n幅图像第k层分解的水平细节系数；H^k代表整合之后第k层的水平细节系数。同理可得垂直细节系数V和对角细节系数D。

(2)针对近似小波系数，我们采取“取平均”的策略。求取一系列近似小波系数对应位置的平均值，将结果作为最终用来重构融合图像的近似小波系数。

式中第n幅图像第k层分解的近似系数；A^k代表整合之后的第k层近似系数。

3.对从第2步得到的整合系数采取静态小波逆变换，最终得到全景深的融合图像。在MATLAB环境下，静态小波逆变换可以通过使用函数iswt2()来完成。

Claims

1.一种针对光场阵列相机重聚焦图像的全景深融合方法，其特征在于，包括以下步骤：

1)对所有待融合的多聚焦图像进行静态小波分解；

2)对于细节小波系数，对一系列的细节系数取绝对值，将绝对值最大的系数作为最终用来重构融合图像的细节小波系数；对于近似小波系数，求取一系列对应位置近似小波系数的平均值，将平均值作为最终用来重构融合图像的近似小波系数；

3)对上述用来重构融合图像的小波系数采取静态小波逆变换，最终得到全景深的融合图像。

2.根据权利要求1所述的针对光场阵列相机重聚焦图像的全景深融合方法，其特征在于，步骤1)中，采用swt2()函数实现静态小波分解。

3.根据权利要求1所述的针对光场阵列相机重聚焦图像的全景深融合方法，其特征在于，步骤2)中，所述细节小波系数包括水平细节系数、垂直细节系数和对角细节系数；第k层的水平细节系数H^k的表达式为：

<mrow> <msup> <mi>H</mi> <mi>k</mi> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>argmax</mi> <mrow> <msubsup> <mi>H</mi> <mi>n</mi> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> </mrow> <mo>)</mo> </mrow> </mrow> </munder> <mo>{</mo> <mo>|</mo> <msubsup> <mi>H</mi> <mi>n</mi> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>|</mo> <mo>}</mo> <mo>;</mo> </mrow>

4.根据权利要求1所述的针对光场阵列相机重聚焦图像的全景深融合方法，其特征在于，步骤2)中，第k层近似小波系数A^k的计算式为：

<mrow> <msup> <mi>A</mi> <mi>k</mi> </msup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>n</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msubsup> <mi>A</mi> <mi>n</mi> <mi>k</mi> </msubsup> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>;</mo> </mrow>

5.根据权利要求1所述的针对光场阵列相机重聚焦图像的全景深融合方法，其特征在于，使用iswt2()函数实现静态小波逆变换。

6.一种针对光场阵列相机重聚焦图像的全景深融合系统，其特征在于，包括：

融合模块，用于对上述用来重构融合图像的小波系数采取静态小波逆变换，最终得到全景深的融合图像。