CN108564559B - 一种基于两尺度聚焦图的多聚焦图像融合方法 - Google Patents

一种基于两尺度聚焦图的多聚焦图像融合方法 Download PDF

Info

Publication number
CN108564559B
CN108564559B CN201810209129.1A CN201810209129A CN108564559B CN 108564559 B CN108564559 B CN 108564559B CN 201810209129 A CN201810209129 A CN 201810209129A CN 108564559 B CN108564559 B CN 108564559B
Authority
CN
China
Prior art keywords
scale
image
focusing
focus
pixel point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810209129.1A
Other languages
English (en)
Other versions
CN108564559A (zh
Inventor
马金磊
汪渤
周志强
缪玲娟
石永生
高志峰
董明杰
沈军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201810209129.1A priority Critical patent/CN108564559B/zh
Publication of CN108564559A publication Critical patent/CN108564559A/zh
Application granted granted Critical
Publication of CN108564559B publication Critical patent/CN108564559B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于两尺度聚焦图的多聚焦图像融合方法，采用两尺度聚焦图融合的方法，并基于稀疏性扩散方程构建能量函数求解最终聚焦图中每个像素点来自两幅尺度聚焦图的概率，由此得到最终聚焦图，根据最终聚焦图求出融合图像。本发明聚焦图像边界处分割准确，得到的融合图像清晰度高。

Description

一种基于两尺度聚焦图的多聚焦图像融合方法
技术领域
本发明涉及数字图像融合技术领域，具体涉及一种基于两尺度聚焦图的多聚焦图像融合方法。
背景技术
利用光学传感器对某一场景成像时，由于景深的限制，通常难以使场景内的所有物体都聚焦。只有落在景深内的物体才是聚焦的，而不在景深内的其他物体则是模糊的。多聚焦图像融合可以将同一场景下不同聚焦设置的两幅或多幅图像融合成一幅所有物体都聚焦的清晰图像，从而为观察者提供更加全面、可靠的视觉信息，利于人眼观察识别目标及计算机的后续分析处理。
在过去的几十年中，已经提出了很多基于多尺度分解的多聚焦图像融合方法。基于多尺度分解的融合方法的一个优势是它可以使空间上重叠的特征在尺度上分离，然后这些分离的特征在不同尺度上可以被更加有效的结合。
与基于多尺度分解的融合方法相比，空间域的融合方法采用了一种更加直接而有效的融合方式，即直接检测像素或块的清晰度。空间域的融合方法一般都需要依靠一种聚焦度量来比较多聚焦图像中像素或块的清晰度，然后根据比较结果生成一幅聚焦图以指明聚焦区域和非聚焦区域，最后融合图像根据聚焦图得到。空间域的方法一般分为基于块的融合方法和基于像素的融合方法。基于块的融合方法直接使用聚焦度量比较块或者区域的清晰度。但是这些方法可能会产生块效应或者在边界处分割不准确。而且，选择合适大小的块或区域以避免噪声和不对准的影响也是很困难的。
发明内容
有鉴于此，本发明提供了一种基于两尺度聚焦图的多聚焦图像融合方法，聚焦图像边界处分割准确，得到的融合图像清晰度高。
本发明的具体实施方式如下：
一种基于两尺度聚焦图的多聚焦图像融合方法，所述图像融合方法步骤如下：
针对两幅聚焦不同的源图像分别使用大尺度聚焦度量和小尺度聚焦度量方法获得大尺度聚焦图和小尺度聚焦图；
选择大尺度聚焦图或小尺度聚焦图作为当前聚焦图，即令k＝1或2，k＝1代表小尺度，k＝2代表大尺度，将能量函数
Figure BDA0001596698590000021
最小化处理求解当前聚焦图的uk(p)；式中，uk(p)表示最终聚焦图中每个像素点p来自大尺度聚焦图或者小尺度聚焦图的概率；λ是平滑参数；Np表示像素点p的四邻域；q表示p相邻像素点；权重ωpq表示像素点p和像素点q两个相邻像素点的梯度变化；
Figure BDA0001596698590000022
表示像素点p的初始概率，
Figure BDA0001596698590000023
φ用于保证分母不为0；根据设定阈值确定两幅尺度聚焦图中每个像素点聚焦或者不聚焦，聚焦时hpk＝1，不聚焦时hpk＝0，所述设定阈值根据两幅尺度聚焦图的灰度值确定；hp表示约束项，hp＝hp1+hp2；
根据当前聚焦图的uk(p)求解另一幅聚焦图的uk(p)，针对每个像素点p比较u1(p)和u2(p)的概率值大小，将高概率值所对应的源图像中的像素点作为最终聚焦图的像素点，得到最终聚焦图；
根据最终聚焦图求出融合图像。
进一步地，所述hpk确定方法为：
构建像素值的直方图，选择直方图中除去两端端点外占总像素数目80％-100％的像素，所述像素的像素值中的最大值为高阈值，最小值为低阈值；
当两尺度聚焦图中像素点的像素值大于高阈值或者小于低阈值时，hpk＝1；否则，hpk＝0。
进一步地，最小化时，将uk(p)构成的二维矩阵分别沿水平方向和竖直方向分解为一维矩阵进行迭代求解，并利用高斯消去法求解水平方向和竖直方向的线性方程。
进一步地，生成所述两幅尺度聚焦图后，使用引导滤波处理得到改进后的两幅尺度聚焦图。
有益效果：
1、小尺度聚焦度量可以使聚焦图边界准确，大尺度聚焦度量在对象移动或者不对准的情况下鲁棒性好，本发明采用两尺度聚焦图融合的方法，方法简单，并基于稀疏性扩散方程构建能量函数求解最终聚焦图中每个像素点来自两幅尺度聚焦图的概率，由此得到的最终聚焦图综合了大尺度聚焦度量和小尺度聚焦度量的优势，使得聚焦图像边界处分割准确，且不受多聚焦图像中噪声和不对准的影响，具有较强的鲁棒性，得到的融合图像清晰度高。
2、本发明将两幅尺度聚焦图中每个像素点概率构成的二维矩阵沿水平方向和竖直方向分解为一维矩阵进行迭代求解，并利用高斯消去法求解水平方向和竖直方向的线性方程，计算量小，求解速度快、效率高。
3、本发明使用引导滤波对两幅尺度聚焦图进行改进，得到的聚焦图更为准确。
附图说明
图1为本发明的流程图；
图2为线性方程计算流程图；
图3(a)为多聚焦源图像I1；
图3(b)为多聚焦源图像I2；
图3(c)为基于多尺度加权梯度的融合方法MWGF生成的聚焦图和对应的融合图像；
图3(d)为基于边界发现的融合方法BF生成的聚焦图和对应的融合图像；
图3(e)为本发明提供的融合方法生成的聚焦图和对应的融合图像。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种基于两尺度聚焦图的多聚焦图像融合方法，流程如图1所示，下面具体说明。使用基于结构(边界、角点等)的聚焦度量来生成聚焦图，以中心像素点为中心结合邻域信息分别进行两次聚焦度量，计算某个像素点的聚焦度量需要结合它周围的像素信息，根据结合像素点周围像素信息的多少可将聚焦度量分为大尺度聚焦度量和小尺度聚焦度量。相对来讲，大尺度聚焦度量结合像素点周围较多的信息，小尺度聚焦度量结合像素点周围比较少的信息。小尺度聚焦度量可以使聚焦图边界准确，大尺度聚焦度量在对象移动或者不对准的情况下鲁棒性好。
一幅图像I，在局部窗口W的梯度协方差矩阵为：
Figure BDA0001596698590000051
式(1)中Ix(X)和Iy(X)分别表示图像在位置X＝(x,y)沿x方向和y方向的梯度，然后使用高斯滤波对式(1)进行多尺度表示：
Figure BDA0001596698590000052
式(2)中*表示卷积算子，Gσ表示高斯函数，其中σ为高斯函数的标准差，表示聚焦度量的尺度。对式(2)进行特征值分解：
Figure BDA0001596698590000053
式中
Figure BDA0001596698590000054
为矩阵Cσ的特征值，V为矩阵Cσ的特征向量。基于显著特征结构的聚焦度量为：
Figure BDA0001596698590000055
对于两幅聚焦不同的源图像I1,I2，图像In(n＝1,2)中的像素p在尺度σk的聚焦度量表示为
Figure BDA0001596698590000056
根据实验数据的经验值自定义σ1和σ2的数值，σ1表示小尺度，σ2表示大尺度。针对两幅聚焦不同的源图像使用大尺度聚焦度量方法获得一幅大尺度聚焦图，针对两幅聚焦不同的源图像使用小尺度聚焦度量方法获得一幅小尺度聚焦图，两幅尺度聚焦图为：
Figure BDA0001596698590000057
然后使用引导滤波来改进聚焦图Mk，以源图像I1作为引导图像：
Gk＝Guidedfilter(I1,Mk,rk,εk) (6)
式中Gk为改进后的尺度聚焦图，rk为滤波半径，εk为正则化参数。滤波半径越大，对边缘、结构的改进作用就越大。正则化参数越小，对边缘、结构的改进作用就越大。小尺度聚焦图的边界保持的比较好，所以需要滤波半径小一点，正则化参数大一点；大尺度聚焦度量的结构、边界保持的不太好，所以需要滤波半径大一点，正则化参数小一点。
然后对能量函数最小化，具体方法如下：
基于稀疏性扩散方程构建能量函数为：
Figure BDA0001596698590000061
式中uk(p)表示最终聚焦图中每个像素点p来自聚焦图Gk的概率，λ是平滑参数，一般选择经验值，Np表示像素点p的四邻域，q表示p相邻像素点，权重ωpq表示源图像I1的结构变化，即像素点p和像素点q这两个相邻像素点的梯度变化，表示为：
Figure BDA0001596698590000062
式中g代表聚焦图对应的源图像I1，gp表示在像素点p的像素值，gq表示在像素点q的像素值；β为ωpq的标准差。
能量函数式(7)中hp＝hp1+hp2，hpk表示为：
Figure BDA0001596698590000063
式中高阈值Th(αk)和低阈值Tl(αk)由直方图确定。在直方图中，定义αk来选择直方图中间的即除去两端端点的占总像素数目αk％的像素，80＜αk＜100，高阈值Th(αk)为这些像素中的最大值，低阈值Tl(αk)为这些像素中的最小值。
Figure BDA0001596698590000064
表示像素点p的初始概率，
Figure BDA0001596698590000065
引入φ＝0.0001保证数值稳定性，分母不为0。
当k＝1时，最小化能量函数得到概率图u1，则最终聚焦图为：
Figure BDA0001596698590000071
由于u1(p)+u2(p)＝1，由此可以得出u2(p)。
最后，根据聚焦图求出融合图像F的方法为：
F(p)＝D(p)I1(p)+(1-D(p))I2(p) (12)
最小化能量函数求解概率图uk时，线性方程中对矩阵求逆是非常耗时的，为了提高效率，将uk(p)构成的二维矩阵分别沿水平方向和竖直方向分解为一维矩阵进行迭代求解，具体方法为：
通过求解式(13)可以得到概率图uk：
Figure BDA0001596698590000072
式中I是单位矩阵，A是典型的五点拉普拉斯矩阵，表示为：
Figure BDA0001596698590000073
以分子中的线性方程沿水平方向分解为例，分解为：
Figure BDA0001596698590000074
式中Ih为单位矩阵，大小为L×L，L为最终聚焦图图像的高度，Ah为三点拉普拉斯矩阵，
Figure BDA0001596698590000075
和
Figure BDA0001596698590000076
分别为矩阵um和fk对应的行向量。式(15)是一个三对角方程组，可以使用高斯消去法快速求解。t为当前迭代次数，λt表示为：
Figure BDA0001596698590000077
式中T为总的迭代次数。
对分子um水平方向的线性方程即式(15)和竖直方向的线性方程进行多次迭代求解，即可快速求解出um。求解流程如图2所示，步骤如下：
步骤1：设定迭代的总次数T和平滑参数λ。令k＝1，t＝1，开始第一次迭代。
步骤2：更新参数λt。
步骤3：使用高斯消去法求解水平方向线性方程。
步骤4：使用高斯消去法求解竖直方向线性方程。
步骤5：判断迭代次数t是否达到预设的总次数T。如果已达到，则求解出um；如果未达到，则令t＝t+1，回到步骤2进行下一次迭代。
使用上述同样步骤再计算出分母ud，概率图uk便可求出。
一般情况下，令总的迭代次数T＝3、平滑参数λ＝300、小尺度σ1＝3、大尺度σ2＝8、滤波半径r1＝5，r2＝11、正则化参数ε1＝0.1，ε2＝0.01、标准差β＝0.02、百分比α1＝90，α2＝80即可得到较好的融合结果。图3(a)和(b)分别是多聚焦源图像I1,I2。图3(c)显示的是由MWGF(基于多尺度加权梯度的融合方法)生成的聚焦图和对应的融合图像。图3(d)显示的是由BF(基于边界发现的融合方法)生成的聚焦图和对应的融合图像。图3(e)显示的是本发明提供的融合方法生成的聚焦图和对应的融合图像。从不同方法的聚焦图可以看出本方法可以准确的检测出聚焦区域和不聚焦区域，一些小的不容易被检测的不聚焦区域本方法也能准确的检测出来，从而得到满意的融合结果。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于两尺度聚焦图的多聚焦图像融合方法，其特征在于，所述图像融合方法步骤如下：
针对两幅聚焦不同的源图像分别使用大尺度聚焦度量和小尺度聚焦度量方法获得大尺度聚焦图和小尺度聚焦图；
选择大尺度聚焦图或小尺度聚焦图作为当前聚焦图，即令k＝1或2，k＝1代表小尺度，k＝2代表大尺度，将能量函数
Figure FDA0003058702590000011
最小化处理求解当前聚焦图的uk(p)；式中，uk(p)表示最终聚焦图中每个像素点p来自大尺度聚焦图或者小尺度聚焦图的概率；λ是平滑参数；Np表示像素点p的四邻域；q表示p相邻像素点；权重ωpq表示像素点p和像素点q两个相邻像素点的梯度变化；
Figure FDA0003058702590000012
表示像素点p的初始概率，
Figure FDA0003058702590000013
φ用于保证分母不为0；根据设定阈值确定两幅尺度聚焦图中每个像素点聚焦或者不聚焦，聚焦时hpk＝1，不聚焦时hpk＝0，所述设定阈值根据两幅尺度聚焦图的灰度值确定；hp表示约束项，hp＝hp1+hp2；
根据当前聚焦图的uk(p)求解另一幅聚焦图的uk(p)，针对每个像素点p比较u1(p)和u2(p)的概率值大小，将高概率值所对应的源图像中的像素点作为最终聚焦图的像素点，得到最终聚焦图；
根据最终聚焦图求出融合图像。
2.如权利要求1所述的基于两尺度聚焦图的多聚焦图像融合方法，其特征在于，所述hpk确定方法为：
构建像素值的直方图，选择直方图中除去两端端点外占总像素数目80％-100％的像素，所述像素的像素值中的最大值为高阈值，最小值为低阈值；
当两尺度聚焦图中像素点的像素值大于高阈值或者小于低阈值时，hpk＝1；否则，hpk＝0。
3.如权利要求1所述的基于两尺度聚焦图的多聚焦图像融合方法，其特征在于，最小化时，将uk(p)构成的二维矩阵分别沿水平方向和竖直方向分解为一维矩阵进行迭代求解，并利用高斯消去法求解水平方向和竖直方向的线性方程。
4.如权利要求1所述的基于两尺度聚焦图的多聚焦图像融合方法，其特征在于，生成所述两幅尺度聚焦图后，使用引导滤波处理得到改进后的两幅尺度聚焦图。
CN201810209129.1A 2018-03-14 2018-03-14 一种基于两尺度聚焦图的多聚焦图像融合方法 Expired - Fee Related CN108564559B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810209129.1A CN108564559B (zh) 2018-03-14 2018-03-14 一种基于两尺度聚焦图的多聚焦图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810209129.1A CN108564559B (zh) 2018-03-14 2018-03-14 一种基于两尺度聚焦图的多聚焦图像融合方法

Publications (2)

Publication Number Publication Date
CN108564559A CN108564559A (zh) 2018-09-21
CN108564559B true CN108564559B (zh) 2021-07-20

Family

ID=63532519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810209129.1A Expired - Fee Related CN108564559B (zh) 2018-03-14 2018-03-14 一种基于两尺度聚焦图的多聚焦图像融合方法

Country Status (1)

Country Link
CN (1) CN108564559B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116993644B (zh) * 2023-09-27 2024-01-19 广东工业大学 一种基于图像分割的多聚焦图像融合方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103400360A (zh) * 2013-08-03 2013-11-20 浙江农林大学 基于Wedgelet和NSCT的多源图像融合方法
CN103413284A (zh) * 2013-07-15 2013-11-27 西北工业大学 一种基于二维emd和遗传算法的多聚焦数字图像融合方法
CN105913408A (zh) * 2016-04-12 2016-08-31 湘潭大学 一种基于双边滤波器的多聚焦图像融合方法
CN106803242A (zh) * 2016-12-26 2017-06-06 江南大学 基于四元数小波变换的多聚焦图像融合方法
CN107016682A (zh) * 2017-04-11 2017-08-04 四川大学 一种自然图像显著对象自适应分割方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101661216B1 (ko) * 2010-09-02 2016-09-29 삼성전자주식회사 디지털 영상 처리 장치, 디지털 영상 신호 처리 방법 및 상기 방법을 기록한 기록 매체
US9707892B2 (en) * 2012-04-25 2017-07-18 Gentex Corporation Multi-focus optical system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413284A (zh) * 2013-07-15 2013-11-27 西北工业大学 一种基于二维emd和遗传算法的多聚焦数字图像融合方法
CN103400360A (zh) * 2013-08-03 2013-11-20 浙江农林大学 基于Wedgelet和NSCT的多源图像融合方法
CN105913408A (zh) * 2016-04-12 2016-08-31 湘潭大学 一种基于双边滤波器的多聚焦图像融合方法
CN106803242A (zh) * 2016-12-26 2017-06-06 江南大学 基于四元数小波变换的多聚焦图像融合方法
CN107016682A (zh) * 2017-04-11 2017-08-04 四川大学 一种自然图像显著对象自适应分割方法

Also Published As

Publication number Publication date
CN108564559A (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
Ghani et al. Fast enhanced CT metal artifact reduction using data domain deep learning
CN107369159B (zh) 基于多因素二维灰度直方图的阈值分割方法
CN109887021B (zh) 基于跨尺度的随机游走立体匹配方法
Trouvé et al. Single image local blur identification
Ali et al. Robust focus volume regularization in shape from focus
CN116229189B (zh) 基于荧光内窥镜的图像处理方法、装置、设备及存储介质
CN114549669B (zh) 一种基于图像融合技术的彩色三维点云获取方法
CN110365404B (zh) 无波前传感自适应系统及利用该系统提高收敛速度的方法
Lee et al. Improving focus measurement via variable window shape on surface radiance distribution for 3D shape reconstruction
CN108564559B (zh) 一种基于两尺度聚焦图的多聚焦图像融合方法
Huang et al. ES-Net: An efficient stereo matching network
Hosseini-Asl et al. Lung segmentation based on nonnegative matrix factorization
Geng et al. Cervical cytopathology image refocusing via multi-scale attention features and domain normalization
Hou et al. Joint learning of image deblurring and depth estimation through adversarial multi-task network
CN116563303B (zh) 一种场景可泛化的交互式辐射场分割方法
KR101129220B1 (ko) 레인지 영상의 노이즈 제거장치 및 방법
Mahmood Shape from focus by total variation
CN112750156B (zh) 光场成像系统、处理方法和装置
KR101756959B1 (ko) 영상 분석 방법 및 장치
Brockers et al. Stereo vision using cost-relaxation with 3D support regions
CN110490877B (zh) 基于Graph Cuts的双目立体图像对目标分割方法
CN111862098B (zh) 基于光场语义的个体匹配方法、装置、设备和介质
CN114155236A (zh) 一种适用于动态测量环境的激光条纹中心线提取方法
Mahmood et al. Estimating shape from focus by Gaussian process regression
Mehendale et al. Image fusion using adaptive thresholding and cross filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210720