CN111462027B - 基于多尺度梯度和抠图的多聚焦图像融合方法 - Google Patents

基于多尺度梯度和抠图的多聚焦图像融合方法 Download PDF

Info

Publication number
CN111462027B
CN111462027B CN202010172291.8A CN202010172291A CN111462027B CN 111462027 B CN111462027 B CN 111462027B CN 202010172291 A CN202010172291 A CN 202010172291A CN 111462027 B CN111462027 B CN 111462027B
Authority
CN
China
Prior art keywords
image
source image
value
scale
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010172291.8A
Other languages
English (en)
Other versions
CN111462027A (zh
Inventor
陈珺
李雪娇
罗林波
龚文平
宋俊磊
魏龙生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202010172291.8A priority Critical patent/CN111462027B/zh
Publication of CN111462027A publication Critical patent/CN111462027A/zh
Application granted granted Critical
Publication of CN111462027B publication Critical patent/CN111462027B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于多尺度梯度和抠图的多聚焦图像融合方法,包括:S1、构建源图像的多尺度结构元素,通过形态学滤波获取梯度信息,得到每一源图像的多尺度聚焦测量值;S2、根据聚焦测量值将源图像粗略地划分为确定的聚焦区域、确定的散焦区域、以及不确定区域,构建三分图;S3、采用图像抠图算法对三分图进行细化,得到准确的决策图,并将源图像和所述决策图结合,得到最终的融合结果图。本发明的有益效果:与单一尺度聚焦测量相比,更准确辨别聚焦区域,有效降低误匹配率及错误分割影响;充分利用图像的颜色相似性以及源图像之间的强相关性,精确获取聚焦区域并保证决策图边缘平滑,实现了良好的图像融合效果。

Description

基于多尺度梯度和抠图的多聚焦图像融合方法
技术领域
本发明涉及图像融合领域,尤其涉及一种基于多尺度梯度和抠图的多聚焦图像融合方法。
背景技术
受相机镜头景深有限的影响,当场景中不同物体与镜头的距离差异很大时,很难获取所有物体均聚焦的全清晰图像,而局部聚焦的图像不能准确地对场景进行描述,不利于后续图像处理。为了获取全聚焦的清晰图像,需要调节焦距多次成像,然后将同一场景的多聚焦图像进行融合。多聚焦图像融合是一种将不同焦点设置的同一场景图像组合在一起从而生成全聚焦图像的技术,融合后的图像更适合人类感知,也更适合计算机视觉,比如目标检测、图像分析、遥感应用等。
目前,多聚焦图像融合算法主要可以分为两大类:基于变换域的方法和基于空域的方法。其中,基于变换域的方法是图像融合领域最早使用的方法,且至今仍然是图像融合问题的一个重要研究方法,大多数基于变换域的方法可以分为三个步骤:首先,将源图像从空域变换到某个特定变换域进行表示;然后,根据一定的融合规则在变换域进行融合;最后,将融合结果转换回空域以获得融合图像。最常用的基于变换域的融合方法是多尺度变换,包括拉普拉斯金字塔变换、梯度金字塔变换、离散小波变换、双树复小波变换等。为充分利用图像本身特有的几何特征,有学者从人类视觉特征出发,提出基于多尺度几何分析的图像表示方法,这类方法具有多分辨率、多方向、各向异性等优势,具体代表有曲线波变换、轮廓波变换、剪切波变换、非下采样轮廓波变换、非下采样剪切波变换等。随着相关理论的发展,新的基于变换域的图像融合方法逐渐出现,包括稀疏表示、高阶奇异值分解、鲁棒主成分分析、形态学成分分析等,其中,基于稀疏表示的方法最具代表性。然而,这些基于变换域的图像融合算法没有充分考虑空间一致性,可能会产生亮度和颜色失真,且当多源图像在同一空间位置的内容不同时,这些算法会出现光晕或者模糊效应。
基于空域的图像融合算法直接在空域中提取所需信息进而实现融合,没有分解和重构的步骤,这类算法主要包括基于像素的算法和基于块或区域的算法。其中,基于像素的方法通常根据源图像的聚焦程度测量结果来获取图像的清晰度信息,根据图像的决策图对源图像进行组合获取全聚焦图像,这类方法通常容易受到噪声和误配准等的干扰,很难获取准确的融合决策图,融合结果中可能会丢失部分原始图像信息,因此在聚焦程度测量时应考虑更多的空间邻域信息来提高可靠性。基于块的图像融合算法将源图像分解为大小相等的块,寻找具有最大聚焦度量值的部分,影响这类算法性能的因素主要有分块的方式以及图像块特征计算方法,这类方法的融合结果可能会在边界上产生块效应或者错误分割。为弥补人为设定分块大小的缺陷,求解最优块的大小或采用自适应分块进行融合的方法随后也被提出,在一定程度上解决了分块的问题,融合结果获得了比较好的视觉效果,此外,新的活跃程度度量方法对提高融合质量也有一定的帮助。
通常,在空间域图像融合方法中根据邻域计算每个像素的聚焦度量或对局部聚焦值求和来计算每个块的聚焦度量,总而言之,均需要一个关键步骤,即聚焦信息度量。大尺度聚集度量方法考虑了更多的空间领域信息,但仅通过使用一个特定比例的聚焦度量很难获取完美的聚焦图。在确定多聚焦图像的聚焦区域时,聚焦度量与其尺度密切相关,且单尺度容易受错误配准和噪声的影响。通过聚焦度量可以获得初始的决策图,一般情况下,初始决策图中或多或少都会存在一定的错误分割,所以需要对初始决策图进行优化,有学者提出采用图像抠图来细化初始决策图,但这种方法性能依赖于良好的初始决策图,并未充分考虑源图像之间具有较强的相关性,在大多数情况下融合过程不稳定。
发明内容
有鉴于此,本发明提供了一种基于多尺度梯度和抠图的多聚焦图像融合方法,首先获取不同尺度下源图像的梯度信息,并结合多尺度梯度信息进行聚焦测量来粗略区分聚焦和散焦区域,然后采用抠图进行决策图细化,充分利用图像颜色相似性及源图像之间的相关性,精确获取聚焦区域并保证边缘光滑。
本发明提供一种基于多尺度梯度和抠图的多聚焦图像融合方法,包括以下步骤:
S1、构建源图像的多尺度结构元素,并通过形态学滤波获取源图像的梯度信息,进一步得到每一源图像的多尺度聚焦测量值;
S2、比较多个源图像中同一像素点对应的聚焦测量值,将源图像粗略地划分为确定的聚焦区域、确定的散焦区域、以及不确定区域,并通过中值滤波以及形态学处理提取骨架,进而构建三分图;
S3、采用图像抠图算法对所述三分图进行细化,得到准确的决策图,并将源图像和所述决策图结合,得到最终的融合结果图。
进一步地,所述步骤S1的具体过程为:
S11、通过更改源图像中的结构元素的大小将单一尺度扩展为多尺度,构建得到多尺度结构元素;
S12、对于任一尺度上的结构元素,对源图像进行形态学滤波中的顶帽变换及底帽变换,并将两个变换结果中的最大值作为该尺度上的梯度信息;
S13、将所有尺度上的梯度信息整合在一起作为源图像最后的聚焦测量。
进一步地,所述步骤S11中构建的多尺度结构元素为:
Figure BDA0002409608290000031
式中,SE1表示基础结构元素,半径为r,
Figure BDA0002409608290000032
表示膨胀运算,k表示尺度数量,SEj表示第j层结构元素。
进一步地,所述步骤S12中,顶帽变换和底帽变换的结果如下:
Figure BDA0002409608290000041
Figure BDA0002409608290000042
式中,In表示进行聚焦测量的第n幅源图像,
Figure BDA0002409608290000043
表示第j层结构元素对第n幅源图像的开运算,In·SEj表示第j层结构元素对第n幅源图像的闭运算,
Figure BDA0002409608290000044
表示顶帽变换得到的梯度信息,
Figure BDA0002409608290000045
表示底帽变换得到的梯度信息;源图像中像素点(x,y)的梯度信息为:
Figure BDA0002409608290000046
式中,
Figure BDA0002409608290000047
表示第n幅源图像第j层的像素点(x,y)的梯度信息。
进一步地,所述步骤S13中,源图像最后的聚焦测量值如下:
Figure BDA0002409608290000048
式中,ωj表示尺度j上的梯度权值,
Figure BDA0002409608290000049
Gn(x,y)表示第n幅源图像中像素点(x,y)的聚焦测量值。
进一步地,所述步骤S2的具体过程为:
S21、通过比较多个源图像中每个像素的聚焦测量值来确定粗略的聚焦区域:
Figure BDA00024096082900000410
式中,m表示除第n幅源图像之外的其余源图像,当第Rn(x,y)的值为1时,第n幅源图像的像素点(x,y)为聚焦像素点,处于聚焦区域;
S22、采用中值滤波去除图像中孤立的像素或噪声引起的小区域:
Figure BDA00024096082900000411
式中,Medfilt表示中值滤波,w表示滑动窗口,h表示滑动窗口的高度,l表示滑动窗口的长度;
S23、对经步骤S22的处理的图像数据进行形态学处理提取骨架,然后再次进行中值滤波,以去除图像中分散的碎片:
Figure BDA0002409608290000051
式中,Skelet表示形态学中骨架提取操作,Medfilt表示中值滤波操作;
S24、比较同一源图像中像素点的聚焦测量值大小,聚焦测量值大于设定阈值的像素点认为处于聚焦区域:
Figure BDA0002409608290000052
式中,H表示阈值;
S25、结合步骤S23以及步骤S24的结果,得到第n幅源图像的聚焦区域为:
Figure BDA0002409608290000053
由此,确定第n幅源图像的三分图为:
Figure BDA0002409608290000054
当Tn(x,y)=1时,第n幅源图像中像素点(x,y)处于聚焦区域,当Tn(x,y)=0时,像素点(x,y)处于散焦区域,当Tn(x,y)=0.5时,像素点(x,y)处于不确定区域。
进一步地,所述步骤S3中,采用图像抠图算法对三分图进行细化的具体过程为:
根据三分图以及源图像数据,采用图像抠图算法求解如下模型:
I(x,y)=α(x,y)F(x,y)+(1-α(x,y)B(x,y)),
其中,I(x,y)表示像素点(x,y)的图像数值,F(x,y)表示像素点(x,y)的前景数值,B(x,y)表示像素点(x,y)的背景数值;0≤α(x,y)≤1,表示前景的不透明度,当α(x,y)=1时,表示像素点(x,y)处于前景中,当α(x,y)=0时,表示像素点(x,y)处于背景中,当0<α(x,y)<1时,表示像素点(x,y)由前景和背景混合。
进一步地,所述图像抠图算法的具体过程为:
首先在确定区域选取前景和背景样本,并估计每对样本的置信度,根据置信度高于设定阈值的样本确定前景数值及背景数值,从而得到初始α值;
对于不确定区域的像素,建立能量函数:
Figure BDA0002409608290000061
式中,Z表示图像I中的不确定区域,αZ表示不确定区域的α值,
Figure BDA0002409608290000062
表示αZ的估计值,
Figure BDA0002409608290000063
表示采样过程中的置信度值,
Figure BDA0002409608290000064
表示当
Figure BDA0002409608290000065
成立时,其值为1,否则为0;J(α,a,b)表示长为a、宽为b的邻域的能量,α表示所述邻域的α值;λ为一自由变量,用于平衡当前能量和邻域能量,0≤λ≤1;根据所述初始α值最小化所述能量函数,得到源图像的决策图α(x,y)。
进一步地,所述步骤S3中根据每幅源图像及对应的决策图进行图像融合:
Ii,N(x,y)=αi(x,y)Ii(x,y)+(1-αi(x,y))Ii-1,N(x,y),
式中,i=1,2,…,N-1,N表示进行图像融合的源图像数量,Ii,N(x,y)表示前i幅源图像与第N幅源图像的融合结果,αi(x,y)表示第i幅源图像对应的决策图,Ii(x,y)表示第i幅源图像;当i=1时,Ii-1,N(x,y)=I0,N(x,y)=IN(x,y)表示第N幅源图像,当i=N-1时,得到N幅源图像的最终融合结果IN-1,N(x,y)。
本发明提供的技术方案带来的有益效果是:采用多尺度梯度信息进行聚焦测量,与单一尺度聚焦测量相比,能够更准确辨别聚焦区域,充分挖掘源图像中所包含的信息,从而获取更好的初始决策图,有效降低误匹配率及错误分割影响;采用抠图算法对初始决策图进行优化,充分利用图像的颜色相似性以及源图像之间的强相关性,精确获取聚焦区域并平滑决策图的边缘区域,实现了良好的图像融合效果。
附图说明
图1是本发明实施例提供的基于多尺度梯度和抠图的多聚焦图像融合方法的流程图;
图2是本发明实施例提供的多尺度聚焦测量流程图;
图3是本发明实施例提供的两幅多聚焦图像的融合过程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地描述。
请参考图1,本发明的实施例提供了一种基于多尺度梯度和抠图的多聚焦图像融合方法,包括:
S1、多尺度聚焦测量:请参考图2,通过多尺度聚焦测量获取每一源图像的聚焦测量值。需要说明的是,图像的清晰度信息主要通过其梯度进行表达,模糊图像看起来不自然是因为其包含的梯度信息较少,因此一般情况下聚焦区域的梯度信息比散焦区域的梯度信息更加丰富突出。形态学梯度算子是一种有效的提取图像梯度信息的方法,且可以轻松扩展为多尺度,采用形态学滤波可在不同的尺度提取源图像的梯度信息,将这些互补的梯度信息进行组合作为最终的聚焦测量结果。
步骤S1的具体过程为:
S11、通过更改源图像中的结构元素的大小将单一尺度扩展为多尺度,构建的多尺度结构元素为:
Figure BDA0002409608290000071
式中,SE1表示基础结构元素,
Figure BDA0002409608290000072
表示膨胀运算,半径为r,k表示尺度数量,SEj表示第j层结构元素。需要说明的是,在数学形态学中,不同类型的图像特征可以采用不同的结构元素来提取,并且可通过改变尺寸实现多尺度提取,本发明通过改变基础结构元素的半径大小来实现提取多尺度梯度信息。
S12、使用形态学滤波中的顶帽变换和底帽变换来获取源图像的梯度信息:
Figure BDA0002409608290000081
Figure BDA0002409608290000082
式中,In表示进行聚焦测量的第n幅源图像,
Figure BDA0002409608290000083
表示第j层结构元素对第n幅源图像的开运算,In·SEj表示第j层结构元素对第n幅源图像的闭运算,
Figure BDA0002409608290000084
表示顶帽变换得到的梯度信息,
Figure BDA0002409608290000085
表示底帽变换得到的梯度信息。对图像进行开和闭的操作均可使轮廓线更加光滑,从而消除图像中不适合结构元素的细节,因此,基于开闭操作的顶帽变换和底帽变换得到的梯度信息显示了像素周围的明暗细节,由此得到相应像素的梯度信息为:
Figure BDA0002409608290000086
式中,(x,y)表示图像中像素的位置,
Figure BDA0002409608290000087
表示第n幅源图像第j层的像素点(x,y)的梯度信息。
S13、将所有尺度上的梯度信息整合在一起作为最后的聚焦测量:
Figure BDA0002409608290000088
式中,ωj表示尺度j上的梯度权值,
Figure BDA0002409608290000089
Gn(x,y)表示第n幅源图像中像素点(x,y)的聚焦测量值。
本发明通过加权求和来对多尺度特征进行融合,将各个尺度的梯度分配适当的权重然后相加得到多尺度梯度作为聚焦测量,小尺度梯度分配较大的权重,大尺度梯度则分配较小的权重,使得每个位置都能突出局部梯度信息,并与远距离的梯度信息相关联,因此,多尺度梯度可有效表示源图像的聚焦信息。
S2、初始分割:根据所述聚焦测量值将源图像粗略地划分为三个区域,包括确定的聚焦区域、确定的散焦区域、以及不确定区域,进一步构建三分图。
所述步骤S2的具体过程为:
S21、通过比较多个源图像中每个像素的聚焦测量值来确定粗略的聚焦区域:
Figure BDA0002409608290000091
m表示除第n幅源图像之外的其余源图像,当第Rn(x,y)的值为1时,第n幅源图像的像素点(x,y)为聚焦像素点,处于聚焦区域。一般而言,聚焦区域比散焦区域拥有更丰富的梯度信息,也就是说,聚焦区域的像素比散焦区域的像素具有更高的聚焦测量值,但仅仅通过比较不同源图像的聚焦测量值来辨别并不完全正确,散焦区域可能存在聚焦测量值最大的情况,反之亦然;因此,在初始分割阶段,只需找到粗略的可信度高的确定聚焦区域,接着通过相应的后处理来降低错误分割。
S22、采用中值滤波去除图像中孤立的像素或噪声引起的小区域:
Figure BDA0002409608290000092
式中,Medfilt{}表示中值滤波,w表示滑动窗口,h表示滑动窗口的高度,l表示滑动窗口的长度。
S23、对经步骤S22的处理的图像数据进行形态学处理提取骨架,然后再次进行中值滤波,以去除图像中分散的碎片:
Figure BDA0002409608290000093
式中,Skelet()表示形态学中骨架提取操作,Medfilt表示中值滤波操作,需要注意的是,所述形态学骨架提取操作中,设置迭代次数以保证图像中的对象不发生断裂。
S24、比较同一源图像中像素点的聚焦测量值大小,聚焦测量值大于设定阈值的像素点认为处于聚焦区域:
Figure BDA0002409608290000094
式中,H表示阈值,对于8位图像,0<H<255。
S25、结合步骤S23以及步骤S24的结果,得到第n幅源图像的聚焦区域为:
Figure BDA0002409608290000101
由此,确定第n幅源图像的三分图为:
Figure BDA0002409608290000102
当Tn(x,y)=1时,第n幅源图像中像素点(x,y)处于聚焦区域,当Tn(x,y)=0时,像素点(x,y)处于散焦区域,当Tn(x,y)=0.5时,像素点(x,y)处于不确定区域,需进一步细化来确定。
S3、决策图细化及图像融合:对所述三分图进行细化,得到准确的决策图,并将源图像和所述决策图结合,得到最终的融合结果图。具体地,采用鲁棒的图像抠图算法对所述三分图进行细化,其中,对于不确定区域的像素点,抠图算法首先挑选几对聚焦和散焦的样本,分别沿着确定的聚焦区域和确定的散焦区域向不确定区域扩展,根据颜色之间的相似度判断不确定区域中的当前像素是否属于聚焦区域;最后根据获得的决策图应该局部平滑且为0或者1的值的数量必须大于其他混合的数量,进行进一步优化。
本发明采用图像抠图算法求解如下模型:
I(x,y)=α(x,y)F(x,y)+(1-α(x,y)B(x,y))
其中,I(x,y)表示像素点(x,y)的图像数值,F(x,y)表示像素点(x,y)的前景数值,B(x,y)表示像素点(x,y)的背景数值;0≤α(x,y)≤1,表示前景的不透明度,当α(x,y)=1时,表示像素点(x,y)处于前景中,当α(x,y)=0时,表示像素点(x,y)处于背景中,当0<α(x,y)<1时,表示像素点(x,y)由前景和背景混合;所述模型的目的是将前景与背景准确区分,即确定图像中像素点对应的α(x,y)值,本发明根据三分图以及源图像数据求解所述模型。
具体地,算法首先在确定区域选取前景和背景样本,并估计每对样本的置信度,根据置信度高于某一阈值的样本确定前景数值及背景数值,从而得到初始α值;对于不确定区域的像素,根据最后决策图中α的值应局部平滑,且α值为0或1的数量必须大于其他数值的数量这一假设,建立能量函数:
Figure BDA0002409608290000111
式中,Z表示图像I中的不确定区域,αZ表示不确定区域的α值,
Figure BDA0002409608290000112
表示αZ的估计值,
Figure BDA0002409608290000113
表示采样过程中的置信度值,
Figure BDA0002409608290000114
表示当
Figure BDA0002409608290000115
成立时,其值为1,否则为0;J(α,a,b)表示长为a、宽为b的邻域的能量,α表示所述邻域的α值;λ为一自由变量,用于平衡当前能量和邻域能量,0≤λ≤1;根据所述初始α值,采用随机游走最小化所述能量函数,得到源图像的决策图α(x,y)。
根据每幅源图像及对应的决策图进行图像融合:
Ii,N(x,y)=αi(x,y)Ii(x,y)+(1-αi(x,y))Ii-1,N(x,y),
式中,i=1,2,…,N-1,N表示进行图像融合的源图像数量,Ii,N(x,y)表示前i幅源图像与第N幅源图像的融合结果,αi(x,y)表示第i幅源图像对应的决策图,Ii(x,y)表示第i幅源图像;当i=1时,Ii-1,N(x,y)=I0,N(x,y)=IN(x,y)表示第N幅源图像,当i=N-1时,得到N幅源图像的最终融合结果IN-1,N(x,y)。
请参考图3,两个源图像I1、I2进行图像融合时,源图像I2的聚焦区域可以简单计算为1-α1(x,y),α1(x,y)表示源图像I1对应的决策图,融合后的图像为:
IF(x,y)=α1(x,y)I1(x,y)+(1-α1(x,y))I2(x,y),
式中,IF(x,y)表示融合图像,I1(x,y)表示第一幅源图像,I2(x,y)表示第二幅源图像。
在本文中,所涉及的前、后、上、下等方位词是以附图中零部件位于图中以及零部件相互之间的位置来定义的,只是为了表达技术方案的清楚及方便。应当理解,所述方位词的使用不应限制本申请请求保护的范围。
在不冲突的情况下,本文中上述实施例及实施例中的特征可以相互结合。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (7)

1.基于多尺度梯度和抠图的多聚焦图像融合方法,其特征在于,包括以下步骤:
S1、构建源图像的多尺度结构元素,并通过形态学滤波获取源图像的梯度信息,进一步得到每一源图像的多尺度聚焦测量值;
所述步骤S1的具体过程为:
S11、通过更改源图像中的结构元素的大小将单一尺度扩展为多尺度,构建得到多尺度结构元素;
S12、对于任一尺度上的结构元素,对源图像进行形态学滤波中的顶帽变换及底帽变换,并将两个变换结果中的最大值作为该尺度上的梯度信息;
S13、将所有尺度上的梯度信息整合在一起作为源图像最后的聚焦测量;
S2、比较多个源图像中相同像素点对应的聚焦测量值,将源图像粗略地划分为确定的聚焦区域、确定的散焦区域、以及不确定区域,并通过中值滤波以及形态学处理提取骨架,进而构建三分图;
所述步骤S2的具体过程为:
S21、通过比较多个源图像中每个像素的聚焦测量值来确定粗略的聚焦区域:
Figure FDA0004090123630000011
式中,m表示除第n幅源图像之外的其余源图像,当第Rn(x,y)的值为1时,第n幅源图像的像素点(x,y)为聚焦像素点,处于聚焦区域,Gn(x,y)表示第n幅源图像中像素点(x,y)的聚焦测量值;
S22、采用中值滤波去除图像中孤立的像素或噪声引起的小区域:
Figure FDA0004090123630000021
式中,Medfilt表示中值滤波,w表示滑动窗口,h表示滑动窗口的高度,l表示滑动窗口的长度;
S23、对经步骤S22的处理的图像数据进行形态学处理提取骨架,然后再次进行中值滤波,以去除图像中分散的碎片:
Figure FDA0004090123630000022
式中,Skelet表示形态学中骨架提取操作,Medfilt表示中值滤波操作;
S24、比较同一源图像中像素点的聚焦测量值大小,聚焦测量值大于设定阈值的像素点认为处于聚焦区域:
Figure FDA0004090123630000023
式中,H表示阈值;
S25、结合步骤S23以及步骤S24的结果,得到第n幅源图像的聚焦区域为:
Figure FDA0004090123630000024
由此,确定第n幅源图像的三分图为:
Figure FDA0004090123630000025
当Tn(x,y)=1时,第n幅源图像中像素点(x,y)处于聚焦区域,当Tn(x,y)=0时,像素点(x,y)处于散焦区域,当Tn(x,y)=0.5时,像素点(x,y)处于不确定区域;
S3、采用图像抠图算法对所述三分图进行细化,得到准确的决策图,并将源图像和所述决策图结合,得到最终的融合结果图。
2.根据权利要求1所述的基于多尺度梯度和抠图的多聚焦图像融合方法,其特征在于,所述步骤S11中构建的多尺度结构元素为:
Figure FDA0004090123630000031
式中,SE1表示基础结构元素,半径为r,
Figure FDA0004090123630000032
表示膨胀运算,k表示尺度数量,SEj表示第j层结构元素。
3.根据权利要求2所述的基于多尺度梯度和抠图的多聚焦图像融合方法,其特征在于,所述步骤S12中,顶帽变换和底帽变换的结果如下:
Figure FDA0004090123630000033
Figure FDA0004090123630000034
式中,In表示进行聚焦测量的第n幅源图像,
Figure FDA0004090123630000035
表示第j层结构元素对第n幅源图像的开运算,In·SEj表示第j层结构元素对第n幅源图像的闭运算,
Figure FDA0004090123630000036
表示顶帽变换得到的梯度信息,
Figure FDA0004090123630000037
表示底帽变换得到的梯度信息;源图像中像素点(x,y)的梯度信息为:
Figure FDA0004090123630000038
式中,
Figure FDA0004090123630000039
表示第n幅源图像第j层的像素点(x,y)的梯度信息。
4.根据权利要求3所述的基于多尺度梯度和抠图的多聚焦图像融合方法,其特征在于,所述步骤S13中,源图像最后的聚焦测量值如下:
Figure FDA00040901236300000310
式中,ωj表示尺度j上的梯度权值,
Figure FDA00040901236300000311
Gn(x,y)表示第n幅源图像中像素点(x,y)的聚焦测量值。
5.根据权利要求1所述的基于多尺度梯度和抠图的多聚焦图像融合方法,其特征在于,所述步骤S3中,采用图像抠图算法对三分图进行细化的具体过程为:
根据三分图以及源图像数据,采用图像抠图算法求解如下模型:
I(x,y)=α(x,y)F(x,y)+(1-α(x,y)B(x,y)),
其中,I(x,y)表示像素点(x,y)的图像数值,F(x,y)表示像素点(x,y)的前景数值,B(x,y)表示像素点(x,y)的背景数值;0≤α(x,y)≤1,表示前景的不透明度,当α(x,y)=1时,表示像素点(x,y)处于前景中,当α(x,y)=0时,表示像素点(x,y)处于背景中,当0<α(x,y)<1时,表示像素点(x,y)由前景和背景混合。
6.根据权利要求5所述的基于多尺度梯度和抠图的多聚焦图像融合方法,其特征在于,所述图像抠图算法的具体过程为:
首先在确定区域选取前景和背景样本,并估计每对样本的置信度,根据置信度高于设定阈值的样本确定前景数值及背景数值,从而得到初始α值;
对于不确定区域的像素,建立能量函数:
Figure FDA0004090123630000041
式中,Z表示图像I中的不确定区域,αZ表示不确定区域的α值,
Figure FDA0004090123630000042
表示αZ的估计值,
Figure FDA0004090123630000043
表示采样过程中的置信度值,
Figure FDA0004090123630000044
表示当
Figure FDA0004090123630000045
成立时,其值为1,否则为0;J(α,a,b)表示长为a、宽为b的邻域的能量,α表示所述邻域的前景的不透明度值;λ为一自由变量,用于平衡当前能量和邻域能量,0≤λ≤1;根据所述初始α值最小化所述能量函数,得到源图像的决策图α(x,y)。
7.根据权利要求1或6所述的基于多尺度梯度和抠图的多聚焦图像融合方法,其特征在于,所述步骤S3中根据每幅源图像及对应的决策图进行图像融合:
Ii,N(x,y)=αi(x,y)Ii(x,y)+(1-αi(x,y))Ii-1,N(x,y),
式中,i=1,2,…,N-1,N表示进行图像融合的源图像数量,Ii,N(x,y)表示前i幅源图像与第N幅源图像的融合结果,αi(x,y)表示第i幅源图像对应的决策图,Ii(x,y)表示第i幅源图像;当i=1时,Ii-1,N(x,y)=I0,N(x,y)=IN(x,y)表示第N幅源图像,当i=N-1时,得到N幅源图像的最终融合结果IN-1,N(x,y)。
CN202010172291.8A 2020-03-12 2020-03-12 基于多尺度梯度和抠图的多聚焦图像融合方法 Active CN111462027B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010172291.8A CN111462027B (zh) 2020-03-12 2020-03-12 基于多尺度梯度和抠图的多聚焦图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010172291.8A CN111462027B (zh) 2020-03-12 2020-03-12 基于多尺度梯度和抠图的多聚焦图像融合方法

Publications (2)

Publication Number Publication Date
CN111462027A CN111462027A (zh) 2020-07-28
CN111462027B true CN111462027B (zh) 2023-04-18

Family

ID=71685868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010172291.8A Active CN111462027B (zh) 2020-03-12 2020-03-12 基于多尺度梯度和抠图的多聚焦图像融合方法

Country Status (1)

Country Link
CN (1) CN111462027B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113012174B (zh) * 2021-04-26 2024-02-09 中国科学院苏州生物医学工程技术研究所 一种图像融合方法、系统及设备
CN115205181B (zh) * 2022-09-15 2022-11-18 季华实验室 一种多聚焦图像融合方法、装置、电子设备及存储介质
CN116993644B (zh) * 2023-09-27 2024-01-19 广东工业大学 一种基于图像分割的多聚焦图像融合方法及装置
CN117058061B (zh) * 2023-10-12 2024-01-30 广东工业大学 一种基于目标检测的多聚焦图像融合方法及相关装置
CN117830125B (zh) * 2024-03-04 2024-06-04 厦门微图软件科技有限公司 一种快速多聚焦融合算法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006017233A1 (en) * 2004-07-12 2006-02-16 Lehigh University Image fusion methods and apparatus
CN107369148A (zh) * 2017-09-20 2017-11-21 湖北工业大学 基于改进sml与导向滤波的多聚焦图像融合方法
CN107452010A (zh) * 2017-07-31 2017-12-08 中国科学院长春光学精密机械与物理研究所 一种自动抠图算法和装置
CN110223265A (zh) * 2019-05-05 2019-09-10 中国地质大学(武汉) 基于多尺度变换分解的目标显著的图像融合方法及系统
CN110288617A (zh) * 2019-07-04 2019-09-27 大连理工大学 基于共享抠图和roi渐变的人体切片图像自动分割方法
CN110443775A (zh) * 2019-06-20 2019-11-12 吉林大学 基于卷积神经网络的离散小波变换域多聚焦图像融合方法
CN110503704A (zh) * 2019-08-27 2019-11-26 北京迈格威科技有限公司 三分图的构造方法、装置和电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411938B2 (en) * 2007-11-29 2013-04-02 Sri International Multi-scale multi-camera adaptive fusion with contrast normalization

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006017233A1 (en) * 2004-07-12 2006-02-16 Lehigh University Image fusion methods and apparatus
CN107452010A (zh) * 2017-07-31 2017-12-08 中国科学院长春光学精密机械与物理研究所 一种自动抠图算法和装置
CN107369148A (zh) * 2017-09-20 2017-11-21 湖北工业大学 基于改进sml与导向滤波的多聚焦图像融合方法
CN110223265A (zh) * 2019-05-05 2019-09-10 中国地质大学(武汉) 基于多尺度变换分解的目标显著的图像融合方法及系统
CN110443775A (zh) * 2019-06-20 2019-11-12 吉林大学 基于卷积神经网络的离散小波变换域多聚焦图像融合方法
CN110288617A (zh) * 2019-07-04 2019-09-27 大连理工大学 基于共享抠图和roi渐变的人体切片图像自动分割方法
CN110503704A (zh) * 2019-08-27 2019-11-26 北京迈格威科技有限公司 三分图的构造方法、装置和电子设备

Also Published As

Publication number Publication date
CN111462027A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111462027B (zh) 基于多尺度梯度和抠图的多聚焦图像融合方法
Zhao et al. Multi-scale optimal fusion model for single image dehazing
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
Chen et al. Multi-focus image fusion based on multi-scale gradients and image matting
CN103369209B (zh) 视频降噪装置及方法
CN110119728A (zh) 基于多尺度融合语义分割网络的遥感图像云检测方法
CN103679173B (zh) 图像显著区域检测方法
CN102034247B (zh) 一种基于背景建模对双目视觉图像的运动捕捉方法
CN108320294B (zh) 一种二代身份证照片的人像背景智能全自动替换方法
CN108537756A (zh) 基于图像融合的单幅图像去雾方法
CN114118144A (zh) 抗干扰的航空遥感图像阴影精准检测方法
CN107909560A (zh) 一种基于SiR的多聚焦图像融合方法及系统
WO2021057395A1 (zh) 一种鞋跟型号识别方法、装置及存储介质
CN113436124B (zh) 一种应用于海洋雾天环境下的单图像去雾方法
CN107798670A (zh) 一种利用图像引导滤波器的暗原色先验图像去雾方法
CN110351453A (zh) 一种计算机视频数据处理方法
CN115330653A (zh) 基于边窗滤波的多源图像融合方法
Wang et al. An efficient method for image dehazing
Pal et al. Visibility enhancement techniques for fog degraded images: a comparative analysis with performance evaluation
Wang et al. New insights into multi-focus image fusion: A fusion method based on multi-dictionary linear sparse representation and region fusion model
Tan et al. Global and Local Contrast Adaptive Enhancement Methods for Low-Quality Substation Equipment Infrared Thermal Images
Li (Retracted) Infrared image filtering and enhancement processing method based upon image processing technology
CN112508828A (zh) 一种基于稀疏表示和引导滤波的多聚焦图像融合方法
Cui et al. Single image haze removal based on luminance weight prior
Ayub et al. CNN and Gaussian Pyramid-Based Approach For Enhance Multi-Focus Image Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant