CN112132771B - 一种基于光场成像的多聚焦图像融合方法 - Google Patents

Abstract

本发明公开了一种基于光场成像的多聚焦图像融合方法，首先得到光场图像的子孔径图像，再通过光场相机的主透镜、微透镜阵列、传感器及成像平面之间的位置关系搭建重聚焦模型，并利用线面之间的三角关系推出重聚焦系数；然后通过调整重聚焦系数使图像中不同的目标分别聚焦至清晰度最高处；再由图像清晰度评价函数——Tenengrad评价函数将重聚焦图像划分为多个部分，根据划分部分建立mask掩膜并以此表示融合位置；利用拉普拉斯金字塔融合算法将经过上述处理后的图像进行融合。该方法能保证飞行器可以获得不同非合作目标最清晰的特征信息，并减少背景变换给后续图像处理工作带来的干扰，能更好的满足制导系统对准确性的要求。

Description

一种基于光场成像的多聚焦图像融合方法

技术领域

本发明属于图像处理技术领域，具体涉及一种图像融合方法。

背景技术

图像制导由于信息丰富、实时性强、制导精度高等优点成为精确制导系统中常用的制导方式之一，在航空、航天领域得到广泛的应用。导引头处安装的摄像机实时获取目标信息，并分析处理相应的图像序列，从而解算出跟踪目标在实际背景中的相应位置信息。目前图像制导系统中大多使用单目相机，单目相机结构简单且成本低，但由于其只能拍摄二维图像导致大量可利用的光线深度信息被摒弃；且在面对多个非合作目标时，传统的先聚焦后拍照模式使单目相机无法在一张图像中将多个目标对焦至正确深度、导致目标信息缺失、无法满足制导过程中对准确性的要求，多个不同的目标拍摄不同聚焦深度的图像又会使后续的图像处理的步骤较为繁杂、无法满足制导对实时性的要求；且多张图像会使多个非合作目标之间的相对信息产生较大变化、导致后续数据处理的工作量增加，这些都限制了图像制导的发展。

由于光场相机在主透镜和传感器平面之间加入的微透镜阵列能够让光线二次折射，使二维空间信息和二维角度信息同时被记录，四维数据使光场相机拥有先拍照后聚焦的特性。重聚焦处理不仅可以避免失焦现象，还可以使图像内的多个目标分别达到其清晰度最高的聚焦位置。

发明内容

为了克服现有技术的不足，本发明提供了一种基于光场成像的多聚焦图像融合方法，首先得到光场图像的子孔径图像，再通过光场相机的主透镜、微透镜阵列、传感器及成像平面之间的位置关系搭建重聚焦模型，并利用线面之间的三角关系推出重聚焦系数；然后通过调整重聚焦系数使图像中不同的目标分别聚焦至清晰度最高处；再由图像清晰度评价函数——Tenengrad评价函数将重聚焦图像划分为多个部分，根据划分部分建立mask掩膜并以此表示融合位置；利用拉普拉斯金字塔融合算法将经过上述处理后的图像进行融合。该方法能保证飞行器可以获得不同非合作目标最清晰的特征信息，并减少背景变换给后续图像处理工作带来的干扰，能更好的满足制导系统对准确性的要求。

本发明解决其技术问题所采用的技术方案包括以下步骤：

步骤1：对光场相机拍摄图像提取子孔径图像，子孔径图像中有N个目标物；

步骤2：设置子孔径图像中每个目标物的重聚焦系数，生成N幅聚焦深度不同的重聚焦图像，每幅重聚焦图像聚焦一个目标物；

步骤3：将子孔径图像按照目标物的位置分割成N个部分，每部分包含一个目标物；再按照和子孔径图像相同的分割方法将N幅重聚焦图像进行分割；对每一幅重聚焦图像，采用清晰度评价Tenengrad函数得到每个分割部分的Tenengrad函数值；在每一幅重聚焦图像中，将Tenengrad函数值最高的部分权值记为1，其余部分权值记为0；

步骤4：根据Tenengrad函数值建立子孔径图像的mask掩模图像，采用子孔径图像的mask掩模图像建立每幅重聚焦图像的高斯金字塔；再由高斯金字塔得到每幅重聚焦图像的拉普拉斯金字塔；高斯金字塔和拉普拉斯金字塔均有M层，记两个金字塔的最底层为第1层，最高层为第M层；

步骤5：用高斯金字塔的第i层减去第i-1层经过上采样和高斯卷积处理后的图像，得到第i-1层的差分图像，再将高斯金字塔的第1层进行上采样和高斯卷积后分别与第i-1层的差分图像相加得到第i-1层的重构图像，从而得到每一层新的高斯金字塔图像，把新的高斯金字塔图像所有层叠加，得到重聚焦图像重构图像；

步骤6：建立重聚焦图像重构图像的mask掩模图像；然后建立拉普拉斯金字塔每一层的差分图像，将每一层的差分图像中对应重聚焦图像中权值为1的部分保留，权值为0的部分去除，再分别与重聚焦图像重构图像的mask掩模图像叠加；得到拉普拉斯金字塔每一层的掩模差分图像；

步骤7：对拉普拉斯金字塔的第M层进行上采样和高斯卷积后，分别与拉普拉斯金字塔每一层的掩模差分图像相加，得到M个结果图像，再将这M个结果图像相加，得到最终的多聚焦图像融合结果。

有益效果：

本发明提出的一种基于光场成像的多聚焦图像融合方法，在于解决飞行器捕捉多个非合作目标时传统相机造成的失焦和多次聚焦拍摄造成的背景变换复杂、目标间相对信息缺失等问题。该方法可以将飞行器面对的每个非合作目标聚焦至最佳深度、并融合成一张清晰度较高且能体现出各个目标相对位置关系的图像，避免了传统成像的失焦现象以及减少了处理多幅图像时算法的复杂性，能保证飞行器获得不同非合作目标最清晰的特征信息，并减少背景变换给后续图像处理工作带来的干扰，能更好的满足制导系统对准确性的要求。

附图说明

图1为本发明方法搭建的重聚焦模型。

图2为本发明实施例提取的子孔径图像。

图3为本发明实施例设置不同的聚焦系数α时的重聚焦图像，图(a)为聚焦玩具，图(b)为聚焦杯子。

图4为采用本发明实施例中进行拉普拉斯金字塔融合后得到的结果。

具体实施方式

下面结合附图和实施例对本发明进一步说明。

一种基于光场成像的多聚焦图像融合方法，包括如下步骤：

步骤1：对光场相机拍摄图像提取子孔径图像，子孔径图像中有N个目标物；

步骤2：设置子孔径图像中每个目标物的重聚焦系数，生成N幅聚焦深度不同的重聚焦图像，每幅重聚焦图像聚焦一个目标物；

步骤3：将子孔径图像按照目标物的位置分割成N个部分，每部分包含一个目标物；再按照和子孔径图像相同的分割方法将N幅重聚焦图像进行分割；对每一幅重聚焦图像，采用清晰度评价Tenengrad函数得到每个分割部分的Tenengrad函数值；在每一幅重聚焦图像中，将Tenengrad函数值最高的部分权值记为1，其余部分权值记为0；

步骤4：根据Tenengrad函数值建立子孔径图像的mask掩模图像，采用子孔径图像的mask掩模图像建立每幅重聚焦图像的高斯金字塔；再由高斯金字塔得到每幅重聚焦图像的拉普拉斯金字塔；高斯金字塔和拉普拉斯金字塔均有M层，记两个金字塔的最底层为第1层，最高层为第M层；

步骤5：用高斯金字塔的第i层减去第i-1层经过上采样和高斯卷积处理后的图像，得到第i-1层的差分图像，再将高斯金字塔的第1层进行上采样和高斯卷积后分别与第i-1层的差分图像相加得到第i-1层的重构图像，从而得到每一层新的高斯金字塔图像，把新的高斯金字塔图像所有层叠加，得到重聚焦图像重构图像；

步骤6：建立重聚焦图像重构图像的mask掩模图像；然后建立拉普拉斯金字塔每一层的差分图像，将每一层的差分图像中对应重聚焦图像中权值为1的部分保留，权值为0的部分去除，再分别与重聚焦图像重构图像的mask掩模图像叠加；得到拉普拉斯金字塔每一层的掩模差分图像；

步骤7：对拉普拉斯金字塔的第M层进行上采样和高斯卷积后，分别与拉普拉斯金字塔每一层的掩模差分图像相加，得到M个结果图像，再将这M个结果图像相加，得到最终的多聚焦图像融合结果。

具体实施例：

1.光场相机图像用4D的光场信息L(x,y,u,v)来表征，其中(u,v)为二维角度信息、(x,y)为二维空间信息。为了简化重聚焦模型，将L(x,y,u,v)压缩成2D的形式L(x,u)，如图1所示，根据成像平面和光线之间的三角相似关系可以得出在仅用二维数据来表征光场信息的情况下，光场相机传感器平面上的成像点和重聚焦平面上的成像点之间的位置关系，如式(1)所示：

其中，

为光场相机传感器平面上的成像点，x′_2u为重聚焦平面上的成像点，

定义为距离系数，

定义为重聚焦系数，F为主透镜到传感器平面的距离，F′为主透镜到重聚焦平面的距离，m为预设参数，f光场相机传感器焦距。

将2D的光场信息扩展成4D，则扩展后的重聚角公式如(2)所示：

其中，(x′,y′)为扩展后的二维空间信息，L₀(·)为扩展函数。

将光场的所有角度信息经过相加后得到(3)式即为光场的重聚角公式：

通过(3)式可得将4D光场信息中所有角度像素对应的空间像素求和，则可获得在重聚焦平面上每点的像素值，即重聚焦后的二维图像。由此可知，通过改变聚焦系数α可以使不同目标物体达到其正确聚焦深度。

本实施例用光场相机拍摄含有杯子和玩具两个目标物体的图片，利用Matlab中的光场工具箱LFToolbox0.4、通过对相机自带白图像进行解码获得相机成像平面原始图像，再选取合适的角度像素位置提取相应的子孔径图像，如图2所示。本实施例选取角度像素为(5,2)处的子孔径图像。用Matlab和C++混合编译重聚焦程序，通过不断调整重聚焦系数确定让杯子聚焦至正确深度的系数为α＝1.025、使玩具聚焦至正确深度的系数为α＝1.003。由此，获得两张背景信息一致，且目标信息清晰丰富的重聚焦图像，如图3所示，图(a)为聚焦玩具，图(b)为聚焦杯子。

2.Tenengrad函数是利用梯度的不同来对图像是否清晰进行判断的评价函数，利用Sobel算子对水平方向和竖直方向的梯度值进行提取，如式(4)所示：

式中G_x、G_y为Sobel卷积核，I(x,y)为图像在点(x,y)处的梯度值。定义Tenengrad函数如式(5)所示：

其中，n为图像总像素数。

由于聚焦至正确深度的图像中边缘比模糊图像更为清晰、更为尖锐，故清晰图片的梯度函数值比模糊图像的梯度函数值大。同理，在一张图像中，清晰部分的Tenengrad函数值也要大于模糊部分的。根据图像中的目标个数和分布，将本发明使用的图片在像素为(179,0)位置处纵向分为左右两部分；根据Tenengrad来确定两张重聚焦图像清晰和模糊部分为后续图像融合做准备，本发明中目标物所属图像部分的Tenengrad评价函数值如下表所示：

表1 Tenengrad评价函数表

	图像左侧	图像右侧
			α＝1.003	1.38344	1.05679
α＝1.025	0.48725	1.14597

3.建立两张重聚焦图像的高斯金字塔和拉普拉斯金字塔，根据图像大小和融合效果选择金字塔层数为3层；根据Tenengrad函数的评价结果，建立mask掩膜，将两张图像得分高的部分记为1、得分低的部分记为0，同时建立该掩膜图像的高斯金字塔。根据步骤4到步骤7的方法对图像进行处理，最终所得图像即为拉普拉斯金字塔融合结果。

Claims (1)

1.一种基于光场成像的多聚焦图像融合方法，其特征在于，包括以下步骤：

步骤1：对光场相机拍摄图像提取子孔径图像，子孔径图像中有N个目标物；

步骤2：设置子孔径图像中每个目标物的重聚焦系数，生成N幅聚焦深度不同的重聚焦图像，每幅重聚焦图像聚焦一个目标物；

步骤3：将子孔径图像按照目标物的位置分割成N个部分，每部分包含一个目标物；再按照和子孔径图像相同的分割方法将N幅重聚焦图像进行分割；对每一幅重聚焦图像，采用清晰度评价Tenengrad函数得到每个分割部分的Tenengrad函数值；在每一幅重聚焦图像中，将Tenengrad函数值最高的部分权值记为1，其余部分权值记为0；

步骤4：根据Tenengrad函数值建立子孔径图像的mask掩模图像，采用子孔径图像的mask掩模图像建立每幅重聚焦图像的高斯金字塔；再由高斯金字塔得到每幅重聚焦图像的拉普拉斯金字塔；高斯金字塔和拉普拉斯金字塔均有M层，记两个金字塔的最底层为第1层，最高层为第M层；

步骤5：用高斯金字塔的第i层减去第i-1层经过上采样和高斯卷积处理后的图像，得到第i-1层的差分图像，再将高斯金字塔的第1层进行上采样和高斯卷积后分别与第i-1层的差分图像相加得到第i-1层的重构图像，从而得到每一层新的高斯金字塔图像，把新的高斯金字塔图像所有层叠加，得到重聚焦图像重构图像；

步骤6：建立重聚焦图像重构图像的mask掩模图像；然后建立拉普拉斯金字塔每一层的差分图像，将每一层的差分图像中对应重聚焦图像中权值为1的部分保留，权值为0的部分去除，再分别与重聚焦图像重构图像的mask掩模图像叠加；得到拉普拉斯金字塔每一层的掩模差分图像；

步骤7：对拉普拉斯金字塔的第M层进行上采样和高斯卷积后，分别与拉普拉斯金字塔每一层的掩模差分图像相加，得到M个结果图像，再将这M个结果图像相加，得到最终的多聚焦图像融合结果。

Images