CN111127375A - 一种结合dsift和自适应图像分块的多聚焦图像融合方法 - Google Patents

一种结合dsift和自适应图像分块的多聚焦图像融合方法 Download PDF

Info

Publication number
CN111127375A
CN111127375A CN201911223803.2A CN201911223803A CN111127375A CN 111127375 A CN111127375 A CN 111127375A CN 201911223803 A CN201911223803 A CN 201911223803A CN 111127375 A CN111127375 A CN 111127375A
Authority
CN
China
Prior art keywords
image
block
focus
pair
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911223803.2A
Other languages
English (en)
Other versions
CN111127375B (zh
Inventor
朱智勤
陈强
李鹏华
李媛源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201911223803.2A priority Critical patent/CN111127375B/zh
Publication of CN111127375A publication Critical patent/CN111127375A/zh
Application granted granted Critical
Publication of CN111127375B publication Critical patent/CN111127375B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本专利提出一种基于密集尺度不变特征变换和四叉树自适应分块相结合的多聚焦图像融合。该方法基于源图像的密集尺度不变特征变换获得128维密集描述符，通过叠加所有密集描述符实现源图像活动水平的测量；在四叉树结构内对源图像进行分块，并且根据图像块对的聚焦情况决定该块对的分割，从而实现图像块大小的自适应选取，同时生成图像融合决策图；最后根据图像融合决策图直接复制源图像中的聚焦区域像素值生成完全聚焦的融合图像。该方法的融合图像的像素直接复制源图像聚焦区域的像素保留了更多源图像原始信息，自适应图像分块降低图像块方法的“块效应”，从而提高融合图像的视觉效果。

Description

一种结合DSIFT和自适应图像分块的多聚焦图像融合方法
技术领域
本发明属于图像融合处理领域，涉及一种结合DSIFT和自适应图像分块的多聚焦图像融合方法。
背景技术
现如今，随着传感器技术的进步以及在更加广泛的应用领域的使用，各种大量的数字图像通过不同的传感器获得。由于受到图像传感器自身的成像原理、应用环境以及成像对象的状态等多种因素的影响，不同传感器对同一场景获得的图像所包含的信息也不尽相同，将多个图像信息有效综合是一个提高图像信息准确性与可靠性的重要手段。多聚焦图像融合是图像融合的重要分支之一，因而受到广泛地关注和研究。
针对基于空间域图像块的多聚焦图像融合算法，其中图像清晰度的测量和图像块选取的优劣程度共同决定最终生成的融合图像的清晰度。本专利采用DSIFT方法生成图像的密集描述符实现对图像活动水平(清晰度)的测量；图像块的选取采用自适应四叉树图像块分解方法，该方法能降低由于图像块方法产生的图像块效应，从而生成较好的融合图像。
发明内容
有鉴于此，本发明的目的在于提供一种结合DSIFT(Dense Scale InvariantFeature Transform，密集尺度不变特征变换)和四叉树自适应图像分块的多聚焦图像融合方法。
为达到上述目的，本发明提供如下技术方案：
一种结合DSIFT和自适应图像分块的多聚焦图像融合方法，包括以下步骤：
S1：图像聚焦度描述；
S2：图像块分割及块对聚焦判定；
S3：图像重构。
进一步，步骤S1具体包括以下步骤：
S11：输入512*512大小源图像对其进行归一化处理，用适当数量零值像素扩展图像；生成一个5*5的高斯模板，并求出其x、y方向的梯度，然后分别与源图像作卷积运算生成源图像在x、y方向的方向梯度Gx、Gy；通过勾股定理和反正切运算分别得到梯度幅值矩阵|J(x,y)|和幅角矩阵θJ(x,y)；运算公式如下：
Figure BDA0002301008920000021
Figure BDA0002301008920000022
Figure BDA0002301008920000023
其中I(x,y)为源图像，g(x,y)为二维高斯函数；
通过图像x、y两个方向的方向梯度可以得到图像梯度幅值和梯度幅角，公式如下：
Figure BDA0002301008920000024
θJ(x,y)＝atan2(Gx,Gy) (5)
S12：生成8个方向幅值量化权值，并对图像梯度量化生成8个量化梯度矩阵；将每个量化梯度矩阵分为4*4个采样区域并得到采样中心点位置；由于每个采样区域大小相同，生成一个1*16大小高斯核加权的x方向权值，利用对称性得到16*1大小高斯核加权的y方向权值；对8个加权后的量化梯度矩阵进行16次采样生成8*16维512*512大小密集描述符矩阵；
其中幅值权值和量化梯度公式如下：
w(θJ(x,y)-θt)＝max(0,cos(θJ(x,y)-θt)) (6)
|J(x,y,θt)|＝w(θJ(x,y)-θt)|J(x,y)| (7)
其中8个方向角度用θt表示，
Figure BDA0002301008920000025
Nθ＝8
通过高斯核函数使远离中心点的重要性降低生成128维密集描述符公式如下：
Figure BDA0002301008920000026
Figure BDA0002301008920000027
Figure BDA0002301008920000028
其中
Figure BDA0002301008920000031
Figure BDA0002301008920000032
Nx＝4，Ny＝4，T＝(Tx,Ty)T；kj(y)是高斯核函数加权的y方向权值，ki(x)是高斯核函数加权的x方向权值，σwin是高斯核函数的方差，*表示卷积运算，mσ是采样范围大小控制参数；
S13：对获得的128密集描述符矩阵叠加，生成的密集描述符叠加矩阵可实现图像聚焦测量，公式如下：
Figure BDA0002301008920000033
进一步，步骤S2具体包括以下步骤：
S21：分解之前将源图像大小通过填零扩展为2的整数次幂；将源图像作为四叉树的第一级，计算最大分解级数，如果满足分解条件就分为四个图像子块；分成的子块对继续此分解过程，直到所有块对不满足分解条件为止；
S22：对于选中的图像块对，分别选择其中最大聚焦测量和最小聚焦测量生成一个全为最大值的矩阵和一个全为最小值的矩阵；计算该块对的聚焦测量值，找到最大聚焦测量值和最小聚焦测量值；
源图像的最大聚焦测量矩阵和最小聚焦测量矩阵计算公式如下：
SDDmax(x,y)＝max(SDD1(x,y),SDD2(x,y)) (14)
SDDmin(x,y)＝min(SDD1(x,y),SDD2(x,y)) (15)
源图像中选中的图像块对中最大聚焦测量矩阵和最小聚焦测量矩阵，计算公式如下：
Figure BDA0002301008920000034
Figure BDA0002301008920000035
计算一个块对中每个块的聚焦测量值，公式如下：
Figure BDA0002301008920000036
分别找出该块对中的最大聚焦测量值和最小聚焦测量值，公式如下：
FMBmax＝max(FMB1,FMB2) (19)
FMBmin＝min(FMB1,FMB2) (20)
S23：计算该块对中最大聚焦测量值和最小聚焦测量值之差；计算该块对最大密集描述符差之和；
计算该块对的聚焦测量值之差，即最大聚焦测量值与最小聚焦测量值之差，公式如下：
MDFM＝FMBmax-FMBmin (21)
计算该块对最大密集描述符差之和，公式如下：
SSDD＝∑∑(SDDBmax(x,y)-SDDBmin(x,y)) (22)
SDDBmax(x,y)和SDDBmin(x,y)是从该块对中分别选取密集描述符和的最大值和最小值，FMBmax和FMBmin是块对中最大聚焦块的聚焦测量值和最大聚焦块的聚焦测量值；
S24：判定图像块对的聚焦情况：如果满足分解情况1，当聚焦块来自源图1则融合决策图对应区域值为1，当聚焦块来自源图2则融合决策图对应区域值为-1；如果满足分解情况2则继续此分割过程；如果在最后一级满足分解情况2则为聚焦过渡区域，融合决策图对应区域值为0；
如果块对满足分解条件1，则SDDBmax(x,y)中每个值都是选取于最大聚焦块，SDDBmin(x,y)中每个值都是选取于最小聚焦块，即MDFM等于SSDD；因为图像的噪声等因素，大多数情况下SSDD大于MDFM，因此满足分解条件1的判定条件设为SSDD≥0.98×MDFM，此外就满足分解条件2。
进一步，步骤S2中，在分解过程中，块对的聚焦情况分为两类：(1)一个块为完全聚焦，另一个块为完全散焦；(2)一个块对中至少有一个块为不完全聚焦；
块对的分解条件为：符合第一种块对聚焦情况，则该块对能找到完全聚焦的块，此块对不再分割；除此外，块对符合第二种情况，该块对的图像块继续分为四个子块；
设定源图像大小为M×N为四叉树结构中的第一级，图像被分解为最小2×2大小的子块对，所以相应的最大分解级数可以由公式求得：
Levelmax＝log2{max(M-1,N-1)}+1 (13)
其中log是对数运算。
进一步，步骤S3具体包括以下步骤：
S31：通过形态学滤波消除融合决策图中聚焦区域边界的毛刺和不确定的断开情况；通过小块滤波实现聚焦区域中孤立区域的删除达到聚焦区域内部的闭合，进而生成最终融合决策图；
S32：根据得到的融合决策图，融合决策图值为1，则复制源图像1对应区域的像素值到融合图像；如果是-1则复制源图像2对应区域的像素值到融合图像对应区域；如果是0则取源图像1和2源图像对应区域的像素平均值复制到融合图像，公式如下：
Figure BDA0002301008920000051
其中Ir是源图像，IF(x,y)为融合图像。
本发明的有益效果在于：本发明是在空间域内进行多聚焦图像融合处理，融合图像像素值根据融合决策图直接复制于源图像，保留了更多源图像中的原始信息；采用图像DSIFT描述符实现图像块聚焦测量，满足聚焦检测的准确性；采用四叉树图像块分割方法实现图像块大小的自适应选取，从而降低图像块融合方法的“图像块效应”。综合所述优势实现融合图像的全局聚焦特性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明所述结合DSIFT和自适应图像分块的多聚焦图像融合方法流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
如图1所示，本发明提供一种结合DSIFT和自适应图像分块的多聚焦图像融合方法，包括以下步骤：
S1：图像聚焦度描述
S11：输入512*512大小源图像对其进行归一化处理，用适当数量零值像素扩展图像；生成一个5*5的高斯模板，并求出其x、y方向的梯度，然后分别与源图像作卷积运算生成源图像在x、y方向的方向梯度Gx、Gy；通过勾股定理和反正切运算分别得到梯度幅值矩阵|J(x,y)|和幅角矩阵θJ(x,y)；运算公式如下：
Figure BDA0002301008920000061
Figure BDA0002301008920000062
Figure BDA0002301008920000063
其中I(x,y)为源图像，g(x,y)为二维高斯函数；
通过图像x、y两个方向的方向梯度可以得到图像梯度幅值和梯度幅角，公式如下：
Figure BDA0002301008920000064
θJ(x,y)＝atan2(Gx,Gy) (5)
S12：生成8个方向幅值量化权值，并对图像梯度量化生成8个量化梯度矩阵；将每个量化梯度矩阵分为4*4个采样区域并得到采样中心点位置；由于每个采样区域大小相同，生成一个1*16大小高斯核加权的x方向权值，利用对称性得到16*1大小高斯核加权的y方向权值；对8个加权后的量化梯度矩阵进行16次采样生成8*16维512*512大小密集描述符矩阵；
其中幅值权值和量化梯度公式如下：
Figure BDA0002301008920000065
|J(x,y,θt)|＝w(θJ(x,y)-θt)|J(x,y)| (7)
其中8个方向角度用θt表示，
Figure BDA0002301008920000071
Nθ＝8
通过高斯核函数使远离中心点的重要性降低生成128维密集描述符公式如下：
Figure BDA0002301008920000072
Figure BDA0002301008920000073
Figure BDA0002301008920000074
其中
Figure BDA0002301008920000075
Figure BDA0002301008920000076
Nx＝4，Ny＝4，T＝(Tx,Ty)T；kj(y)是高斯核函数加权的y方向权值，ki(x)是高斯核函数加权的x方向权值，σwin是高斯核函数的方差，*表示卷积运算，mσ是采样范围大小控制参数；
S13：对获得的128密集描述符矩阵叠加，生成的密集描述符叠加矩阵可实现图像聚焦测量，公式如下：
Figure BDA0002301008920000077
S2：图像块分割及块对聚焦判定
S21：分解之前将源图像大小通过填零扩展为2的整数次幂；将源图像作为四叉树的第一级，计算最大分解级数，如果满足分解条件就分为四个图像子块；分成的子块对继续此分解过程，直到所有块对不满足分解条件为止；
S22：对于选中的图像块对，分别选择其中最大聚焦测量和最小聚焦测量生成一个全为最大值的矩阵和一个全为最小值的矩阵；计算该块对的聚焦测量值，找到最大聚焦测量值和最小聚焦测量值；
源图像的最大聚焦测量矩阵和最小聚焦测量矩阵计算公式如下：
SDDmax(x,y)＝max(SDD1(x,y),SDD2(x,y)) (14)
SDDmin(x,y)＝min(SDD1(x,y),SDD2(x,y)) (15)
源图像中选中的图像块对中最大聚焦测量矩阵和最小聚焦测量矩阵，计算公式如下：
Figure BDA0002301008920000081
Figure BDA0002301008920000082
计算一个块对中每个块的聚焦测量值，公式如下：
Figure BDA0002301008920000083
分别找出该块对中的最大聚焦测量值和最小聚焦测量值，公式如下：
FMBmax＝max(FMB1,FMB2) (19)
FMBmin＝min(FMB1,FMB2) (20)
S23：计算该块对中最大聚焦测量值和最小聚焦测量值之差；计算该块对最大密集描述符差之和；
计算该块对的聚焦测量值之差，即最大聚焦测量值与最小聚焦测量值之差，公式如下：
MDFM＝FMBmax-FMBmin (21)
计算该块对最大密集描述符差之和，公式如下：
SSDD＝∑∑(SDDBmax(x,y)-SDDBmin(x,y)) (22)
SDDBmax(x,y)和SDDBmin(x,y)是从该块对中分别选取密集描述符和的最大值和最小值，FMBmax和FMBmin是块对中最大聚焦块的聚焦测量值和最大聚焦块的聚焦测量值；
S24：判定图像块对的聚焦情况：如果满足分解情况1，当聚焦块来自源图1则融合决策图对应区域值为1，当聚焦块来自源图2则融合决策图对应区域值为-1；如果满足分解情况2则继续此分割过程；如果在最后一级满足分解情况2则为聚焦过渡区域，融合决策图对应区域值为0；
如果块对满足分解条件1，则SDDBmax(x,y)中每个值都是选取于最大聚焦块，SDDBmin(x,y)中每个值都是选取于最小聚焦块，即MDFM等于SSDD；因为图像的噪声等因素，大多数情况下SSDD大于MDFM，因此满足分解条件1的判定条件设为SSDD≥0.98×MDFM，此外就满足分解条件2。
在分解过程中，块对的聚焦情况分为两类：(1)一个块为完全聚焦，另一个块为完全散焦；(2)一个块对中至少有一个块为不完全聚焦；
块对的分解条件为：符合第一种块对聚焦情况，则该块对能找到完全聚焦的块，此块对不再分割；除此外，块对符合第二种情况，该块对的图像块继续分为四个子块；
设定源图像大小为M×N为四叉树结构中的第一级，图像被分解为最小2×2大小的子块对，所以相应的最大分解级数可以由公式求得：
Levelmax＝log2{max(M-1,N-1)}+1 (13)
其中log是对数运算。
S3：图像重构
S31：通过形态学滤波消除融合决策图中聚焦区域边界的毛刺和不确定的断开情况；通过小块滤波实现聚焦区域中孤立区域的删除达到聚焦区域内部的闭合，进而生成最终融合决策图；
S32：根据得到的融合决策图，融合决策图值为1，则复制源图像1对应区域的像素值到融合图像；如果是-1则复制源图像2对应区域的像素值到融合图像对应区域；如果是0则取源图像1和2源图像对应区域的像素平均值复制到融合图像，公式如下：
Figure BDA0002301008920000091
其中Ir是源图像，IF(x,y)为融合图像。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.一种结合DSIFT和自适应图像分块的多聚焦图像融合方法，其特征在于：包括以下步骤：
S1：图像聚焦度描述；
S2：图像块分割及块对聚焦判定；
S3：图像重构。
2.根据权利要求1所述的结合DSIFT和自适应图像分块的多聚焦图像融合方法，其特征在于：步骤S1具体包括以下步骤：
S11：输入512*512大小源图像对其进行归一化处理，用适当数量零值像素扩展图像；生成一个5*5的高斯模板，并求出其x、y方向的梯度，然后分别与源图像作卷积运算生成源图像在x、y方向的方向梯度Gx、Gy；通过勾股定理和反正切运算分别得到梯度幅值矩阵|J(x,y)|和幅角矩阵θJ(x,y)；运算公式如下：
Figure FDA0002301008910000011
Figure FDA0002301008910000012
Figure FDA0002301008910000013
其中I(x,y)为源图像，g(x,y)为二维高斯函数；
通过图像x、y两个方向的方向梯度可以得到图像梯度幅值和梯度幅角，公式如下：
Figure FDA0002301008910000014
θJ(x,y)＝atan2(Gx,Gy) (5)
S12：生成8个方向幅值量化权值，并对图像梯度量化生成8个量化梯度矩阵；将每个量化梯度矩阵分为4*4个采样区域并得到采样中心点位置；由于每个采样区域大小相同，生成一个1*16大小高斯核加权的x方向权值，利用对称性得到16*1大小高斯核加权的y方向权值；对8个加权后的量化梯度矩阵进行16次采样生成8*16维512*512大小密集描述符矩阵；
其中幅值权值和量化梯度公式如下：
w(θJ(x,y)-θt)＝max(0,cos(θJ(x,y)-θt)) (6)
|J(x,y,θt)|＝w(θJ(x,y)-θt)|J(x,y)| (7)
其中8个方向角度用θt表示，
Figure FDA0002301008910000027
Nθ＝8；
通过高斯核函数使远离中心点的重要性降低生成128维密集描述符公式如下：
Figure FDA0002301008910000022
Figure FDA0002301008910000023
Figure FDA0002301008910000024
其中
Figure FDA0002301008910000025
Nx＝4，Ny＝4，T＝(Tx,Ty)T；kj(y)是高斯核函数加权的y方向权值，ki(x)是高斯核函数加权的x方向权值，σwin是高斯核函数的方差，*表示卷积运算，mσ是采样范围大小控制参数；
S13：对获得的128密集描述符矩阵叠加，生成的密集描述符叠加矩阵可实现图像聚焦测量，公式如下：
Figure FDA0002301008910000026
3.根据权利要求1所述的结合DSIFT和自适应图像分块的多聚焦图像融合方法，其特征在于：步骤S2具体包括以下步骤：
S21：分解之前将源图像大小通过填零扩展为2的整数次幂；将源图像作为四叉树的第一级，计算最大分解级数，如果满足分解条件就分为四个图像子块；分成的子块对继续此分解过程，直到所有块对不满足分解条件为止；
S22：对于选中的图像块对，分别选择其中最大聚焦测量和最小聚焦测量生成一个全为最大值的矩阵和一个全为最小值的矩阵；计算该块对的聚焦测量值，找到最大聚焦测量值和最小聚焦测量值；
源图像的最大聚焦测量矩阵和最小聚焦测量矩阵计算公式如下：
SDDmax(x,y)＝max(SDD1(x,y),SDD2(x,y)) (14)
SDDmin(x,y)＝min(SDD1(x,y),SDD2(x,y)) (15)
源图像中选中的图像块对中最大聚焦测量矩阵和最小聚焦测量矩阵，计算公式如下：
Figure FDA0002301008910000031
Figure FDA0002301008910000032
计算一个块对中每个块的聚焦测量值，公式如下：
Figure FDA0002301008910000033
分别找出该块对中的最大聚焦测量值和最小聚焦测量值，公式如下：
FMBmax＝max(FMB1,FMB2) (19)
FMBmin＝min(FMB1,FMB2) (20)
S23：计算该块对中最大聚焦测量值和最小聚焦测量值之差；计算该块对最大密集描述符差之和；
计算该块对的聚焦测量值之差，即最大聚焦测量值与最小聚焦测量值之差，公式如下：
MDFM＝FMBmax-FMBmin (21)
计算该块对最大密集描述符差之和，公式如下：
SSDD＝∑∑(SDDBmax(x,y)-SDDBmin(x,y)) (22)
SDDBmax(x,y)和SDDBmin(x,y)是从该块对中分别选取密集描述符和的最大值和最小值，FMBmax和FMBmin是块对中最大聚焦块的聚焦测量值和最大聚焦块的聚焦测量值；
S24：判定图像块对的聚焦情况：如果满足分解情况1，当聚焦块来自源图1则融合决策图对应区域值为1，当聚焦块来自源图2则融合决策图对应区域值为-1；如果满足分解情况2则继续此分割过程；如果在最后一级满足分解情况2则为聚焦过渡区域，融合决策图对应区域值为0；
如果块对满足分解条件1，则SDDBmax(x,y)中每个值都是选取于最大聚焦块，SDDBmin(x,y)中每个值都是选取于最小聚焦块，即MDFM等于SSDD；满足分解条件1的判定条件设为SSDD≥0.98×MDFM，此外就满足分解条件2。
4.根据权利要求3所述的结合DSIFT和自适应图像分块的多聚焦图像融合方法，其特征在于：步骤S2中，在分解过程中，块对的聚焦情况分为两类：(1)一个块为完全聚焦，另一个块为完全散焦；(2)一个块对中至少有一个块为不完全聚焦；
块对的分解条件为：符合第一种块对聚焦情况，则该块对能找到完全聚焦的块，此块对不再分割；除此外，块对符合第二种情况，该块对的图像块继续分为四个子块；
设定源图像大小为M×N为四叉树结构中的第一级，图像被分解为最小2×2大小的子块对，所以相应的最大分解级数可以由公式求得：
Levelmax＝log2{max(M-1,N-1)}+1 (13)
其中log是对数运算。
5.根据权利要求1所述的结合DSIFT和自适应图像分块的多聚焦图像融合方法，其特征在于：步骤S3具体包括以下步骤：
S31：通过形态学滤波消除融合决策图中聚焦区域边界的毛刺和不确定的断开情况；通过小块滤波实现聚焦区域中孤立区域的删除达到聚焦区域内部的闭合，进而生成最终融合决策图；
S32：根据得到的融合决策图，融合决策图值为1，则复制源图像1对应区域的像素值到融合图像；如果是-1则复制源图像2对应区域的像素值到融合图像对应区域；如果是0则取源图像1和2源图像对应区域的像素平均值复制到融合图像，公式如下：
Figure FDA0002301008910000041
其中Ir是源图像，IF(x,y)为融合图像。
CN201911223803.2A 2019-12-03 2019-12-03 一种结合dsift和自适应图像分块的多聚焦图像融合方法 Active CN111127375B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911223803.2A CN111127375B (zh) 2019-12-03 2019-12-03 一种结合dsift和自适应图像分块的多聚焦图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911223803.2A CN111127375B (zh) 2019-12-03 2019-12-03 一种结合dsift和自适应图像分块的多聚焦图像融合方法

Publications (2)

Publication Number Publication Date
CN111127375A true CN111127375A (zh) 2020-05-08
CN111127375B CN111127375B (zh) 2023-04-07

Family

ID=70497370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911223803.2A Active CN111127375B (zh) 2019-12-03 2019-12-03 一种结合dsift和自适应图像分块的多聚焦图像融合方法

Country Status (1)

Country Link
CN (1) CN111127375B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011051134A1 (en) * 2009-10-30 2011-05-05 Siemens Aktiengesellschaft A body fluid analyzing system and an imaging processing device and method for analyzing body fluids
CN103455991A (zh) * 2013-08-22 2013-12-18 西北大学 一种多聚焦图像融合方法
CN103985108A (zh) * 2014-06-03 2014-08-13 北京航空航天大学 一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法
CN104881855A (zh) * 2015-06-10 2015-09-02 北京航空航天大学 一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法
WO2016146038A1 (en) * 2015-03-13 2016-09-22 Shenzhen University System and method for blind image quality assessment
CN106228528A (zh) * 2016-07-29 2016-12-14 华北电力大学 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN106447640A (zh) * 2016-08-26 2017-02-22 西安电子科技大学 基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置
CN106961574A (zh) * 2017-02-23 2017-07-18 武汉大学深圳研究院 融合图像在认知无线多媒体传感网络中的传输方法
CN107993218A (zh) * 2018-01-30 2018-05-04 重庆邮电大学 基于代数多重网格和分水岭分割的图像融合方法
CN109389573A (zh) * 2018-09-30 2019-02-26 湖南大学 基于四叉树分解的多聚焦图像融合的方法
CN109671044A (zh) * 2018-12-04 2019-04-23 重庆邮电大学 一种基于可变图像分解的多曝光图像融合方法
CN109801248A (zh) * 2018-12-18 2019-05-24 重庆邮电大学 一个基于非下采样剪切变换的新型图像融合方法
CN110533623A (zh) * 2019-09-06 2019-12-03 兰州交通大学 一种基于监督学习的全卷积神经网络多聚焦图像融合方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011051134A1 (en) * 2009-10-30 2011-05-05 Siemens Aktiengesellschaft A body fluid analyzing system and an imaging processing device and method for analyzing body fluids
CN103455991A (zh) * 2013-08-22 2013-12-18 西北大学 一种多聚焦图像融合方法
CN103985108A (zh) * 2014-06-03 2014-08-13 北京航空航天大学 一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法
WO2016146038A1 (en) * 2015-03-13 2016-09-22 Shenzhen University System and method for blind image quality assessment
CN104881855A (zh) * 2015-06-10 2015-09-02 北京航空航天大学 一种利用形态学和自由边界条件活动轮廓模型的多聚焦图像融合方法
CN106228528A (zh) * 2016-07-29 2016-12-14 华北电力大学 一种基于决策图与稀疏表示的多聚焦图像融合方法
CN106447640A (zh) * 2016-08-26 2017-02-22 西安电子科技大学 基于字典学习、旋转引导滤波的多聚焦图像融合方法及装置
CN106961574A (zh) * 2017-02-23 2017-07-18 武汉大学深圳研究院 融合图像在认知无线多媒体传感网络中的传输方法
CN107993218A (zh) * 2018-01-30 2018-05-04 重庆邮电大学 基于代数多重网格和分水岭分割的图像融合方法
CN109389573A (zh) * 2018-09-30 2019-02-26 湖南大学 基于四叉树分解的多聚焦图像融合的方法
CN109671044A (zh) * 2018-12-04 2019-04-23 重庆邮电大学 一种基于可变图像分解的多曝光图像融合方法
CN109801248A (zh) * 2018-12-18 2019-05-24 重庆邮电大学 一个基于非下采样剪切变换的新型图像融合方法
CN110533623A (zh) * 2019-09-06 2019-12-03 兰州交通大学 一种基于监督学习的全卷积神经网络多聚焦图像融合方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WU XIAOFENG等: "Comparative analysis of different methods for image enhancement" *
刘明君 等: "基于改进的四叉树分解多聚焦图像融合算法研究" *
叶明 等: "区域清晰度的小波变换图像融合算法研究" *
周乐 等: "基于离散Tchebichef变换和聚焦评价的多聚焦图像融合方法" *

Also Published As

Publication number Publication date
CN111127375B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN109685060B (zh) 图像处理方法和装置
KR101622344B1 (ko) 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법 및 그 시스템
CN106228528B (zh) 一种基于决策图与稀疏表示的多聚焦图像融合方法
US9338437B2 (en) Apparatus and method for reconstructing high density three-dimensional image
CN109949349B (zh) 一种多模态三维图像的配准及融合显示方法
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN114255197B (zh) 一种红外与可见光图像自适应融合对齐方法及系统
CN105335952B (zh) 匹配代价计算方法和装置、以及视差值计算方法和设备
Kaur et al. Survey on multifocus image fusion techniques
CN113421206B (zh) 一种基于红外偏振成像的图像增强方法
Pok et al. Efficient block matching for removing impulse noise
Yan et al. Multiscale fusion and aggregation pcnn for 3d shape recovery
Lim et al. Patchmatch-based robust stereo matching under radiometric changes
CN116823694B (zh) 基于多聚焦信息整合的红外与可见光图像融合方法及系统
CN116703895B (zh) 基于生成对抗网络的小样本3d视觉检测方法及其系统
Yu et al. SAR image change detection based on joint dictionary learning with iterative adaptive threshold optimization
KR102171203B1 (ko) 스테레오 영상의 정합 방법 및 이를 수행하는 장치
CN111127375B (zh) 一种结合dsift和自适应图像分块的多聚焦图像融合方法
Xu et al. A deep neural network-based intelligent detection model for manufacturing defects of automobile parts
Králik et al. Canny edge detector algorithm optimization using 2D spatial separable convolution
CN110120027B (zh) 面向机器学习系统数据的ct切片图像增强方法和装置
CN113129351A (zh) 一种基于光场傅里叶视差分层的特征检测方法
CN106405531B (zh) 基于图像处理技术的被动毫米波辐射成像系统测距方法
Chen Digital image progressive fusion method based on discrete cosine transform
CN111898396A (zh) 障碍物检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant