CN117011205A - 一种像素级多焦图像融合方法、存储介质及装置 - Google Patents

Abstract

本发明涉及一种像素级多焦图像融合方法、存储介质及装置，步骤为：采集光学系统在多个聚焦点下不同距离目标清晰时的场景图像；对多个场景图像分别进行图像分离获得背景层信息和图像清晰度信息；分别对每个场景图像的清晰度图像进行低通滤波得到滤波后的清晰度图像；利用多个滤波后的清晰度图像局部信息计算局部信息的融合权重；基于融合权重和清晰度图像获得融合后的细节层图像；最后将背景层图像和融合后的细节层图图像按一定的比例相加得到多焦图像融合图像。本发明获取多焦图像之后，融合后可以同时获得不同距离清晰的图像，图像局部亮度、对比度过度平滑，便于做目标检测、识别、分析等后端处理。算法复杂度低，便于在不同的平台上实现。

Description

一种像素级多焦图像融合方法、存储介质及装置

技术领域

本发明属于图像融合技术领域，具体涉及一种像素级多焦图像融合方法、存储介质及装置。

背景技术

由于受到景深的限制，光学系统只能对一定距离范围内的目标进行清晰成像。然而在一些特殊的用途当中，需要获得不同距离的清晰的图像。

针对这个问题，一般有两种解决办法：

1)通过调焦获得不同距离的清晰图像，这种方法的有点是方便快捷，但不能同时获得不同距离的清晰图像；2)在方法1)的基础上增加图像融合算法。这种方法能同时获得不同距离的清晰图像，但当前采用的方法要么计算复杂大，要么应用场景特定单一。例如：

CN112702575A公开了一种基于图像融合技术的多焦距图像采集装置及分析方法，系采用两个以上定焦镜头的多焦图像融合方法，然而该方法的镜头焦距是确定的，融合模式相对单一且简单，在特定的应用场景可以取得较好的效果。然而当需要在一定范围之内任意焦距之间的融合时则无法实现很好的融合。

CN115439376A公开了一种复眼相机多焦距图像融合模型、方法及装置，系基于特征提取和特征恢复的多焦图像融合方法，在融合效果上取得了较好的效果。但该方法计算复杂度大，流程复杂，不利于在FPGA等嵌入式的平台上实现。

发明内容

本发明要解决的技术问题是在获得多焦图像同时清晰的同时，实现不同区间的平滑过度，为此，本发明提供一种像素级多焦图像融合方法、存储介质及装置。

本发明采用的技术方案如下：

一种像素级多焦图像融合方法，包括如下步骤：

步骤一：根据光学系统的不同聚焦点，分别采集多个聚焦点下不同距离目标清晰时的场景图像，设采集M聚焦点图像，记多个不同聚焦点下的场景图像为II，II由下式表示：

II＝[I₁,I₂,…I_M]

进一步的，M的大小根据光学系统的景深和实际需要观察的目标距离确定，一般在2～20。

步骤二：对多个聚焦点下的场景图像分别进行图像分离获得背景层信息和图像清晰度信息，图像分离方法可以用引导滤波、双边滤波、最小二乘滤波、高斯滤波等低通滤波器进行分层。则分离出来的图像分别为：

II_base＝f([I₁,I₂,…I_M])＝[I_base₁,I_base₂,…I_base_M]

II_detail＝II-II_bas[I_detail₁,I_detail₂,…I_detail_M]

其中II_base为背景层图像，II_detail图像清晰度图像。

无论是引导滤波、双边滤波、最小二乘滤波还是高斯滤波，窗口大小一般在3～30之间会去的比较好的效果。

步骤三：分别对每个场景图像的清晰度图像进行低通滤波得到滤波后的清晰度图像，图像滤波方法采用保边滤波器如引导滤波、双边滤波、最小二乘滤波等，滤波后的清晰度图像为：

II_{detail_Lf}＝Lf(II_detail)＝[I_detail_Lf₁,I_detail_Lf₂,…I_detail_Lf_M]

该步骤需要对清晰度图像进行空域上的保边滤波，双边滤波取得相对较好的效果。

步骤四：利用多个滤波后的清晰度图像局部信息计算局部信息的融合权重，其计算公式如下：

其中w_m(i,j)表示第m个聚焦图像第(i,j)个像素的细节信息权重，Th是为无信息场景区域设定的阈值，也是噪声阈值，需要根据成像设备的时空阈噪声确定，一般不大于15。

步骤五：基于融合权重和清晰度图像获得融合后的细节层图像；将多个背景层图像基于像素级求平均得到融合后的背景层图像，其计算公式分别如下：

背景层计算：

细节层计算：

步骤六：将融合后的背景层图像和融合后的细节层图像按一定的比例相加得到多焦图像融合图像，计算公式如下：

I_out＝I_base+α×I_detail

其中α是系数，起到多焦图像融合的同时实现细节增强的效果，一般在0.8～2之间。

本发明的有益效果是：

1)获取多焦图像之后，经过本算法可以同时获得不同距离清晰的图像；

2)获得的融合图像局部亮度、对比度过度平滑，便于做目标检测、识别、分析等后端处理；

3)该技术算法复杂度低，便于在FPGA、DSP、ARM、PC等不同的平台上实现。

附图说明

图1为本发明的像素级多焦图像融合方法的流程图。

图2为本发明的像素级多焦图像融合方法的一个实施例的效果图。

具体实施方式

下面结合实施例对本发明作进一步的详细描述。

本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限定本发明的范围。实施例中未注明具体技术或条件者，按照本领域内的文献所描述的技术或条件或者按照产品说明书进行。所用材料或设备未注明生产厂商者，均为可以通过购买获得的常规产品。

为了说明具体的实施过程，假设所述的光学系统多焦点数为M＝3，取值范围为大于等于2；采集的图像为640×512分辨率的红外机芯：

步骤一：根据光学系统的不同聚焦点，分别采集多个聚焦点下不同距离目标清晰时的场景图像，设采集M聚焦点图像，记多个不同聚焦点下的场景图像为II，II由下式表示：

II＝[I₁,I₂,I₃]

步骤二：对多个聚焦点下的场景图像分别进行图像分离获得背景层信息和图像清晰度信息，图像分离方法可以用引导滤波、双边滤波、最小二乘滤波、高斯滤波等低通滤波器进行分层。则分离出来的图像分别为：

II_base＝f([I₁,I₂,I₃])＝[I_base₁,I_base₂,I_base₃]

II_detail＝II-II_base＝[I_detail₁,I_detail₂,I_detail₃]

其中II_base为背景层图像，II_detail图像清晰度图像。

进一步的，分层算法采用引导滤波，引导滤波算法的输入图像和引导图像都采用原始图像，则计算公式如下：

I_base_i＝a_kI_i+b_k；i＝1,2,3

其中u_k和σ_k ²表示I在窗口w_k中的均值和方差，|w|表示窗口w_k的像素数，在这里去窗口为7×7＝49,∈是为了防止分母郭小或者为0而设置的值，一般在10000～50000之间取得较好的效果,可以去32768进行计算。

步骤三：分别对每个场景图像的清晰度图像进行低通滤波得到滤波后的清晰度图像，图像滤波方法采用保边滤波器如引导滤波、双边滤波、最小二乘滤波等，滤波后的清晰度图像为：

II_{detail_Lf}＝Lf(II_detail)＝[I_detail_Lf₁,I_detail_Lf₂,I_detail_Lf₃]

该步骤需要对清晰度图像进行空域上的保边滤波，双边滤波取得相对较好的效果。双边滤波的计算公式如下：

其中G_s和G_r均为标准的高斯函数，定义如下:

w为滤波窗口，取窗口大小为15×15，取25。

进一步的，如果需要将算法移植到FPGA,在保边滤波算法的指数计算用线性查找表来替代，考虑多个实施例的经验，最多需要存储16384个数据即可满足大部分的指数计算要求。

步骤四：利用多个滤波后的清晰度图像局部信息计算局部信息的融合权重，其计算公式如下：

其中w_m(i,j)表示第m个聚焦图像第(i,j)个像素的细节信息权重，Th是为无信息场景区域设定的阈值，也是噪声阈值，需要根据成像设备的时空阈噪声确定，一般不大于15，在这里取5。

进一步的，在一个确定的成像系统，通过将成像设备面对一均匀场景并连续采集X＝[x₁,x₂,…x_L]张图像来获得阈值，计算公式如下：

步骤五：基于融合权重和清晰度图像获得融合后的细节层图像；将多个背景层图像基于像素级求平均得到融合后的背景层图像，其计算公式分别如下：

背景层计算：

细节层计算：

步骤六：将融合后的背景层图像和融合后的细节层图像按一定的比例相加得到多焦图像融合图像，计算公式如下：

I_out＝I_base+1.2×I_detail

其中1.2是细节增益系数，最终的效果如图2所示。

本实施例的技术效果：

1)获取3个不同焦距的图像之后，经过本算法实现了不同距离同时清晰的图像如图2所示。

2)最终的融合图像局部亮度、对比度过度平滑，便于做目标检测、识别、分析等后端处理。

3)该技术算法复杂度低，便于在FPGA、DSP、ARM、PC等不同的平台上实现。同时也为算法中涉及的指数计算提供了解决方案。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (10)

1.一种像素级多焦图像融合方法，其特征在于包括如下步骤：

步骤一：根据光学系统的不同聚焦点，分别采集多个聚焦点下不同距离目标清晰时的场景图像；

步骤二：对多个聚焦点下的场景图像分别进行图像分离获得背景层信息和图像清晰度信息；

步骤三：分别对每个场景图像的清晰度图像进行低通滤波得到滤波后的清晰度图像；

步骤四：利用多个滤波后的清晰度图像局部信息计算局部信息的融合权重；

步骤五：基于融合权重和清晰度图像获得融合后的细节层图像；将多个背景层图像基于像素级求平均得到融合后的背景层图像；

步骤六：将融合后的背景层图像和融合后的细节层图图像按一定的比例相加得到多焦图像融合图像。

2.根据权利要求1所述一种像素级多焦图像融合方法，其特征在于：

所述步骤一中的根据光学系统的不同聚焦点，分别采集多个聚焦点下不同距离目标清晰时的场景图像II，II由下式表示：

II＝[I₁，I₂，...I_M]

式中M表述聚焦点的个数。

3.根据权利要求2所述一种像素级多焦图像融合方法，其特征在于：

所述步骤二中对多个聚焦点下的场景图像分别进行图像分离获得背景层信息和图像清晰度信息，图像分离方法采用低通滤波器进行分层，所述低通滤波器包括引导滤波、双边滤波、最小二乘滤波或高斯滤波。

4.根据权利要求3所述一种像素级多焦图像融合方法，其特征在于，所分离出来的图像分别为：

II_base＝f([I₁，I₂，...I_M])＝[I_base₁，I_base₂，..._base_M]

II_detail＝II-II_base＝[I_detail₁，I_detail₂，...I_detail_M]

其中：II_base为背景层图像，II_detail图像清晰度图像，f表示图像分层方法，I_base₁，I_base₂，...I_base_M分别表示第1，2…M个焦点处的背景层图像，I_detail₁，I_detail₂，...I_detail_M分别表示第1，2…M个焦点处的清晰度图像。

5.根据权利要求6所述的述一种像素级多焦图像融合方法，其特征在于：

所述步骤三中分别对每个场景图像的清晰度图像进行低通滤波得到滤波后的清晰度图像，滤波后的清晰度图像为：

II_{detail_Lf}＝Lf(II_detail)＝[I_detail_Lf₁，I_detail_Lf₂，...I_detail_Lf_M]

其中：II_{detail_Lf}表示滤波之后的清晰度图像，Lf表示低通滤波器，I_detail_Lf₁，I_detail_Lf₂，...I_detail_Lf_M分别表示第1，2…M个焦点处的滤波之后的清晰度图像。

6.根据权利要求5所述的述一种像素级多焦图像融合方法，其特征在于：

所述步骤四利用多个滤波后的清晰度图像局部信息计算局部信息的融合权重，其计算公式如下：

其中：w_m(i，j)表示第m个聚焦图像第(i，j)个像素的细节信息权重，Th是为无信息场景区域设定的阈值，也是噪声阈值。

7.根据权利要求6所述的述一种像素级多焦图像融合方法，其特征在于：

所述步骤五基于融合权重和清晰度图像获得融合后的细节层图像；将多个背景层图像基于像素级求平均得到融合后的背景层图像，其计算公式分别如下：

背景层计算：

细节层计算：

8.根据权利要求1-7任一项所述的述一种像素级多焦图像融合方法，其特征在于：

所述步骤六将融合后的背景层图像和融合后的细节层图图像按一定的比例相加得到多焦图像融合图像，计算公式如下：

I_out＝I_base+α×I_detail

其中：α是系数，其取值在0.8～2之间，起到多焦图像融合的同时实现细节增强的效果。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行以实现如权利要求书1至8任一项所述的一种像素级多焦图像融合方法的步骤。

10.一种像素级多焦图像融合装置，其特征在于，包括处理器和如权利要求9所述的计算机可读存储介质。