CN113362264B - 一种灰度图像融合方法 - Google Patents

一种灰度图像融合方法 Download PDF

Info

Publication number
CN113362264B
CN113362264B CN202110698786.9A CN202110698786A CN113362264B CN 113362264 B CN113362264 B CN 113362264B CN 202110698786 A CN202110698786 A CN 202110698786A CN 113362264 B CN113362264 B CN 113362264B
Authority
CN
China
Prior art keywords
exposure image
low
img2
img1
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110698786.9A
Other languages
English (en)
Other versions
CN113362264A (zh
Inventor
聂婷
黄�良
毕国玲
李宪圣
刘洪兴
袁航飞
付天骄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN202110698786.9A priority Critical patent/CN113362264B/zh
Publication of CN113362264A publication Critical patent/CN113362264A/zh
Application granted granted Critical
Publication of CN113362264B publication Critical patent/CN113362264B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种灰度图像融合方法。在低动态图像上使用低秩分解方法生成全局图像和局部图像部分,根据低照度成像特征构造了两种分解后图像不同的权重图,减少融合后的块效应,使得融合后图像视觉效果更符合人眼一致性;然后利用高斯金字塔权重因子将分解后的低秩图像和显著性图像在拉普拉斯空间进行融合,得到融合后的低秩图像和显著性图像;最后通过叠加低秩图像和显著性图像重建高动态图像。该方法同时保持图像较暗区域和高亮区域细节特征,提高图像的动态范围。

Description

一种灰度图像融合方法
技术领域
本发明属于高动态图像合成技术领域,具体涉及一种基于低秩分解的灰度图像融合方法。
背景技术
普通电荷耦合器件传感器的动态范围约为103,远小于真实场景的动态范围。此外,在弱光条件下拍摄的图像往往能见度较低。由于动态范围的限制,丢失的图像细节很难恢复。现有的多曝光融合方法大多数针对于彩色图像,原有构造权重图的方法不能获取过亮和过暗区域的细节信息,导致融合后图像质量不高。同时,低照度图像对比度低,不利用构建融合权重图,导致合成后图像边缘过渡不均匀,图像出现块效应。
发明内容
本发明为了解决上述问题,提供一种灰度图像融合方法,将灰度图像进行分解。在此过程中能够去除噪声影响,对于低照度成像能够提高合成后图像的信噪比,保留图像的显著信息;同时通过构造分解图像的权重因子,提高融合后图像的动态范围,保留在过亮和过暗更多细节信息,具有较强的易用性和实用性。为实现上述目的,本发明采用以下具体技术方案:
一种灰度图像融合方法,包括以下步骤:
S1、分别对原始图像的低曝光图像和高曝光图像进行分解,得到低曝光图像全局结构图和低曝光图像局部结构图;以及高曝光图像全局结构图和高曝光图像局部结构图;
S2、通过分别构建低曝光图像全局结构图和高曝光图像全局结构图的全局结构权重图Img1_LW和Img2_LW,计算低曝光图像和高曝光图像的全局结构权重图的归一化系数,记为Img1_LW'和Img2_LW';
通过分别构建低曝光图像局部结构图和高曝光图像局部结构图的局部结构权重图Img1_SW和Img2_SW,计算低曝光图像和高曝光图像的局部结构权重图的归一化系数,记为Img1_SW'和Img2_SW';
S3、建立尺度空间层数为N的、基于高斯金字塔权重因子的、关于低曝光图像全局结构图、高曝光图像全局结构图、低曝光图像局部结构图、高曝光图像局部结构图、低曝光图像的全局结构权重图的归一化系数Img1_LW'、高曝光图像的全局结构权重图的归一化系数Img2_LW'、低曝光图像的局部结构权重图的归一化系数Img1_SW'和高曝光图像的局部结构权重图的归一化系数Img2_SW'的拉普拉斯多尺度空间,N>1;
S4、计算低曝光图像全局结构图和高曝光图像全局结构图在拉普拉斯多尺度空间的、融合后的全局结构图F_L';低曝光图像局部结构图和高曝光图像局部结构图在拉普拉斯多尺度空间的、融合后的局部结构图F_S';
S5、计算最终的融合图像:
F=F_L'+F_S' (1)。
2、根据权利要求1的灰度图像融合方法,其特征在于,步骤S2包括以下步骤:
S201、利用式(2)获取低曝光图像全局结构图高频系数Img1_L1和高曝光图像全局结构图高频系数Img2_L1
Figure BDA0003128906430000021
其中,Hlaplacian代表拉普拉斯矩阵,
Figure BDA0003128906430000022
X代表低曝光图像或高曝光图像;
D代表低曝光图像全局结构图高频系数Img1_L1或高曝光图像全局结构图高频系数Img2_L1
S202、对低曝光图像全局结构图高频系数Img1_L1和高曝光图像全局结构图高频系数Img2_L1进行高斯滤波,高斯滤波后分别记为Img1_L2和Img2_L2
S203、利用式(3)获取低曝光图像全局结构图和高曝光图像全局结构图的响应度权重图,记为Img1_L3和Img2_L3
Figure BDA0003128906430000031
Figure BDA0003128906430000032
其中,X(x,y)代表低曝光图像全局结构图或高曝光图像全局结构图;
Z(x,y)代表高斯滤波后的低曝光图像全局结构图的高频系数Img1_L2或高曝光图像全局结构图高频系数Img2_L2
x和y分别代表低曝光图像全局结构图或高曝光图像全局结构图的行、列坐标;
Zmid代表低曝光图像全局结构图和高曝光图像全局结构图的归一化后的中心灰度值;
Zmax代表低曝光图像全局结构图和高曝光图像全局结构图的归一化后的最大灰度值;
Zmin代表低曝光图像全局结构图和高曝光图像全局结构图的归一化后的最小灰度值;
S204、构建低曝光图像全局结构图的全局结构权重图:Img1_LW=Img1_L2+Img1_L3
构建高曝光图像全局结构图的全局结构权重图:Img2_LW=Img2_L2+Img2_L3
利用式(4)构建低曝光图像局部结构图和高曝光图像局部结构图的局部结构权重图,记为Img1_SW和Img2_SW:
ws(x,y)=||XS(x,y)-μS||a*Vgabor(x,y)
Figure BDA0003128906430000041
其中,XS(x,y)代表低曝光图像局部结构图或高曝光图像局部结构图;
ws(x,y)代表Img1_SW或Img2_SW;
Vgabor(x,y)为Gabor变换;
||.||为低曝光图像局部结构图或高曝光图像局部结构图的二范数;
x和y分别代表低曝光图像局部结构图或高曝光图像局部结构图的行、列坐标;
μS代表低曝光图像局部结构图或高曝光图像局部结构图的灰度均值;
λ代表波长,按照像素计算;σ代表高斯滤波方差;
a取值范围为1-5;γ取值范围为0-1;
x'=xcosθ+ysinθ,y'=-xsinθ+ycosθ;
θ取值范围为0°-360°,
Figure BDA0003128906430000042
取值范围为-180°-+180°。
3、根据权利要求2的灰度图像融合方法,其特征在于,步骤S2还包括以下步骤:
S205、计算低曝光图像的全局结构图的归一化系数Img1_LW':
Img1_LW'=Img1_LW/(Img1_LW+Img2_LW) (5);
高曝光图像的全局结构图的归一化系数Img2_LW':
Img2_LW'=Img2_LW/(Img1_LW+Img2_LW) (6);
低曝光图像的局部结构图的归一化系数Img1_SW':
Img1_SW'=Img1_SW/(Img1_SW+Img2_SW) (7);
高曝光图像的局部结构图的归一化系数Img2_SW':
Img2_SW'=Img2_SW/(Img1_SW+Img2_SW) (8)。
4、根据权利要求1的灰度图像融合方法,其特征在于,步骤S4包括以下步骤:
S401、对低曝光图像全局结构图和高曝光图像全局结构图在拉普拉斯多尺度空间的每一层进行融合:
F_Li=Img1_LWi'*Img1_Li+Img2_LWi'*Img2_Li (9);
其中,i表示N层拉普拉斯多尺度空间的第i层;
对低曝光图像局部结构图和高曝光图像局部结构图在拉普拉斯多尺度空间的每一层进行融合:
F_Si=Img1_SWi'*Img1_Si+Img2_SWi'*Img2_Si (10);
S402、将式(9)得到的F_Li按照低曝光图像的大小在拉普拉斯多尺度空间上进行采样,得到第i层的输出图像F_L'i
将式(10)得到的F_Si按照高曝光图像的大小在拉普拉斯多尺度空间上采样到,得到第i层的输出图像F_S'i
S403、利用下式计算低曝光图像全局结构图在拉普拉斯多尺度空间的全局结构图像F_L':
Figure BDA0003128906430000051
利用下式计算高曝光图像全局结构图在拉普拉斯多尺度空间的局部结构图像F_S':
Figure BDA0003128906430000052
本发明能够取得以下技术效果:
1、在低动态图像上利用低秩分解方法生成全局结构图和局部结构图两部分,降低融合后的噪声。
2、根据低照度成像特征构造了两种分解后图像不同的权重图,减少融合后的块效应,使得融合后图像视觉效果更符合人眼一致性。
3、利用高斯金字塔权重因子将分解后的全局结构图和局部结构图在拉普拉斯空间融合得到的全局结构图像F_L'和局部结构图像F_S'进行叠加,能够保持图像较暗区域和高亮区域的细节特征,提高图像的动态范围。
附图说明
图1是本发明一个实施例的基于星地相机成像系统的视轴指向的一种灰度图像融合方法的流程图;
图2a是本发明一个实施例的原始图像的低曝光图像Img1;
图2b是本发明一个实施例的原始图像的高曝光图像Img2;
图2c是将图2a和图2b融合后的高动态图像F;
图3a是图2b低秩分解后的全局结构图;
图3b是图2b低秩分解后的局部结构图;
图4a是图3a的全局结构权重图;
图4b是图3b的局部结构权重图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,而不构成对本发明的限制。
本发明的目的是提供一种灰度图像融合方法,根据分解后图像的特征,构造不同的权重图像并建立高斯金字塔多尺度空间,通过采用Laplacian融合的方式,完成全局结构图和局部结构图的融合。最后,对于融合后的全局结构图和局部结构图进行加合,得到最终的融合后的高动态图像。下面将对本发明提供的一种灰度图像融合方法,通过具体实施例来进行详细说明。
图1示出了本发明在低照度成像下,基于低秩分解的灰度图像融合的流程图,主要包括五个步骤:
S1、对输入的两幅曝光量不同的灰度原始图像,即低曝光图像Img1和高曝光图像Img2,采用低秩分解的方法,得到低曝光图像全局结构图Img1_L和高曝光图像全局结构图Img2_L以及低曝光图像局部结构图Img1_S和高曝光图像局部结构图Img2_S,用以降低融合后图像的噪声。
S2、通过分别构建低曝光图像Img1和高曝光图像Img2的全局结构权重图Img1_LW和Img2_LW以及低曝光图像Img1和高曝光图像Img2的局部结构权重图Img1_SW和Img2_SW减少融合后图像的块效应,并计算其归一化系数:Img1_LW'、Img2_LW'、Img1_SW'和Img2_SW':
在本发明的一个实施例中,低曝光图像Img1和高曝光图像Img2的全局结构权重图和局部结构权重图通过以下步骤获取:
S201、利用如下公式获取低曝光图像全局结构图高频系数Img1_L1和高曝光图像全局结构图高频系数Img2_L1
Figure BDA0003128906430000071
其中,Hlaplacian代表拉普拉斯矩阵,
Figure BDA0003128906430000072
X代表低曝光图像Img1或高曝光图像Img2;
D代表低曝光图像全局结构图高频系数Img1_L1或高曝光图像全局结构图高频系数Img2_L1
因此可以得到:
Figure BDA0003128906430000073
Figure BDA0003128906430000074
S202、对低曝光图像全局结构图高频系数Img1_L1和高曝光图像全局结构图高频系数Img2_L1进行高斯滤波:
在本发明的另一个实施例中,高斯滤波的方差σ=0.5,得到高斯滤波后的结果为Img1_L2和Img2_L2
S203、利用如下公式获取低曝光图像全局结构图Img1_L和低曝光图像全局结构图Img2_L的响应度权重图:
Figure BDA0003128906430000075
Figure BDA0003128906430000076
其中,X(x,y)代表低曝光图像全局结构图Img1_L或高曝光图像全局结构图Img2_L;
Z(x,y)代表高斯滤波后的低曝光图像全局结构图高频系数Img1_L2或高斯滤波后的高曝光图像全局结构图高频系数Img2_L2
x和y分别代表低曝光图像全局结构图Img1_L或高曝光图像全局结构图Img2_L的行、列坐标;
Zmid代表低曝光图像全局结构图Img1_L和高曝光图像全局结构图Img2_L的归一化后的中心灰度值;
Zmax代表低曝光图像全局结构图Img1_L和高曝光图像全局结构图Img2_L的归一化后的最大灰度值;
Zmin代表低曝光图像全局结构图Img1_L和高曝光图像全局结构图Img2_L的归一化后的最小灰度值;
在本发明的另一个实施例中,Zmax和Zmin分别为1和0;σ=0.5。
因此可以得到:低曝光图像全局结构图的响应度权重图Img1_L3和高曝光图像全局结构图的响应度权重图Img2_L3
S204、构建低曝光图像全局结构图Img1_L和高曝光图像全局结构图Img2_L的全局结构权重图:
Img1_LW=Img1_L2+Img1_L3
Img2_LW=Img2_L2+Img2_L3
以及利用式(4)构建低曝光图像局部结构图的局部结构权重图Img1_SW和高曝光图像局部结构图的局部结构权重图Img2_SW:
ws(x,y)=||XS(x,y)-μS||a*Vgabor(x,y)
Figure BDA0003128906430000081
其中,XS(x,y)代表低曝光图像局部结构图Img1_S或高曝光图像局部结构图Img2_S;
ws(x,y)代表低曝光图像局部结构图的局部结构权重图Img1_SW或高曝光图像局部结构图的局部结构权重图Img2_SW;
Vgabor(x,y)为Gabor变换;
||.||为低曝光图像局部结构图Img1_S或高曝光图像局部结构图Img2_S的二范数;
x和y分别代表低曝光图像局部结构图Img1_S或高曝光图像局部结构图Img2_S的行、列坐标;
μS代表低曝光图像局部结构图Img1_S和高曝光图像局部结构图Img2_S的灰度均值;
x'=xcosθ+ysinθ,y'=-xsinθ+ycosθ;
在本发明的另一个实施例中,a=3,λ=2,θ=45°,γ=0.5,
Figure BDA0003128906430000091
σ=0.5;
因此可以得到低曝光图像局部结构图的局部结构权重图Img1_SW和高曝光图像局部结构图的局部结构权重图Img2_SW。
S205、利用步骤203和步骤S204获得的低曝光图像局部结构图的局部结构权重图Img1_SW和高曝光图像局部结构图的局部结构权重图Img2_SW,计算低曝光图像Img1、高曝光图像Img2的全局结构图的归一化系数以及局部结构图的归一化系数:
Img1_LW'=Img1_LW/(Img1_LW+Img2_LW) (5);
Img2_LW'=Img2_LW/(Img1_LW+Img2_LW) (6);
Img1_SW'=Img1_SW/(Img1_SW+Img2_SW) (7);
Img2_SW'=Img2_SW/(Img1_SW+Img2_SW) (8)。
S3、将步骤S1、S2得到的图像基于高斯金字塔空间,建立N层的拉普拉斯(Laplacian)多尺度空间:
在本发明的一个实施例中,利用高斯金字塔权重因子将分解后的低曝光图像全局结构图Img1_L、高曝光图像全局结构图Img2_L、低曝光图像局部结构图Img1_S、高曝光图像局部结构图Img2_S及其对应的全局结构权重图和局部结构权重图在N层的多尺度拉普拉斯空间的每一层进行融合,将得到融合后全局结构图F_Li和局部结构图F_Si
低曝光图像全局结构图Img1_L的拉普拉斯多尺度空间为:{Img1_L1,Img1_L2,…,Img1_LN};
高曝光图像全局结构图Img2_L的拉普拉斯多尺度空间为:{Img2_L1,Img2_L2,…,Img2_LN};
低曝光图像局部结构图Img1_S的拉普拉斯多尺度空间为:{Img1_S1,Img1_S2,…,Img1_SN};
高曝光图像局部结构图Img2_S的拉普拉斯多尺度空间为:{Img2_S1,Img2_S2,…,Img2_SN};
低曝光图像全局结构图的归一化系数Img1_LW'的拉普拉斯多尺度空间为:{Img1_LW1',Img1_LW2',...,Img1_LWN'};
低曝光图像全局结构图的归一化系数Img2_LW'的拉普拉斯多尺度空间为:{Img2_LW1',Img2_LW2',...,Img2_LWN'};
高曝光图像局部结构图的归一化系数Img1_SW'的拉普拉斯多尺度空间为:{Img1_SW1',Img1_SW2',...,Img1_SWN'};
高曝光图像局部结构图的归一化系数Img2_SW'的拉普拉斯多尺度空间为:{Img2_SW1',Img2_SW2',...,Img2_SWN'}。
S4、获取融合后的全局结构图F_L'和局部结构图F_S';
S401、对低曝光图像全局结构图Img1_L和高曝光图像全局结构图Img2_L在拉普拉斯多尺度空间的每一层进行融合,得到第i层的融合结果为:
F_Li=Img1_LWi'*Img1_Li+Img2_LWi'*Img2_Li(9);
对低曝光图像局部结构图Img1_S和高曝光图像局部结构图Img2_S在拉普拉斯多尺度空间的每一层进行融合,得到第i层的融合结果为:
F_Si=Img1_SWi'*Img1_Si+Img2_SWi'*Img2_Si(10);
S402、将融合后的F_Li按照低曝光图像Img1的大小在拉普拉斯多尺度空间上进行采样,得到第i层的输出图像F_L'i
将F_Si按照高曝光图像Img2的大小在拉普拉斯多尺度空间上采样到,得到第i层的输出图像F_S'i
S403、分别将得到的每一层输出图像F_L'i和F_S'i进行融合,得到最终融合后的全局结构图F_L'i和局部结构图F_S'i
Figure BDA0003128906430000101
Figure BDA0003128906430000111
S5、将得到的全局结构图F_L'i和局部结构图F_S'i进行叠加得到最终融合后的图像F:
F=F_L'+F_S' (1)。
在本发明的另一个优选实施例中,图2a和图2b分别对应原始的低照度图像的低曝光图像Img1和高曝光图像Img2,以高曝光图像Img2为例,将图2b进行低秩分解后得到如图3a所示的高曝光图像全局结构图Img2_L和如图3b所示的高曝光图像局部结构图Img2_S;构建如图4a和如图4b所示的高曝光图像的全局结构权重图Img2_LW和局部结构权重图Img2_SW。
在利用高斯金字塔权重因子将分解后的低曝光图像和高曝光图像在拉普拉斯空间进行融合,得到融合后的低曝光图像和高曝光图像。最后,通过叠加重建得到如图2c所示的高动态图像F。该方法能够同时保持图像较暗区域和高亮区域细节特征,提高图像的动态范围。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
以上本发明的具体实施方式,并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形,均应包含在本发明权利要求的保护范围内。

Claims (4)

1.一种灰度图像融合方法,其特征在于,包括以下步骤:
S1、分别对原始图像的低曝光图像和高曝光图像进行分解,得到低曝光图像全局结构图和低曝光图像局部结构图,以及高曝光图像全局结构图和高曝光图像局部结构图;
S2、通过分别构建所述低曝光图像全局结构图和所述高曝光图像全局结构图的全局结构权重图Img1_LW和Img2_LW,计算所述低曝光图像的全局结构权重图的归一化系数Img1_LW'和所述高曝光图像的全局结构权重图的归一化系数Img2_LW';
通过分别构建所述低曝光图像局部结构图和所述高曝光图像局部结构图的局部结构权重图Img1_SW和Img2_SW,计算所述低曝光图像的局部结构权重图的归一化系数Img1_SW'和所述高曝光图像的局部结构权重图的归一化系数Img2_SW';
S3、建立尺度空间层数为N的、基于高斯金字塔权重因子的、关于所述低曝光图像全局结构图、所述高曝光图像全局结构图、所述低曝光图像局部结构图、所述高曝光图像局部结构图、所述低曝光图像的全局结构权重图的归一化系数Img1_LW'、所述高曝光图像的全局结构权重图的归一化系数Img2_LW'、所述低曝光图像的局部结构权重图的归一化系数Img1_SW'和所述高曝光图像的局部结构权重图的归一化系数Img2_SW'的拉普拉斯多尺度空间,N>1;
S4、计算所述低曝光图像全局结构图和所述高曝光图像全局结构图在所述拉普拉斯多尺度空间的、融合后的全局结构图F_L';所述低曝光图像局部结构图和所述高曝光图像局部结构图在所述拉普拉斯多尺度空间的、融合后的局部结构图F_S';
S5、计算最终的融合图像:
F=F_L'+F_S' (1)。
2.根据权利要求1所述的灰度图像融合方法,其特征在于,步骤S2包括以下步骤:
S201、利用式(2)获取低曝光图像全局结构图高频系数Img1_L1和高曝光图像全局结构图高频系数Img2_L1
Figure FDA0003128906420000021
其中,Hlaplacian代表拉普拉斯矩阵,
Figure FDA0003128906420000022
X代表所述低曝光图像或所述高曝光图像;
D代表所述低曝光图像全局结构图高频系数Img1_L1或所述高曝光图像全局结构图高频系数Img2_L1
S202、对所述低曝光图像全局结构图高频系数Img1_L1和所述高曝光图像全局结构图高频系数Img2_L1进行高斯滤波,高斯滤波后分别记为Img1_L2和Img2_L2
S203、利用式(3)获取所述低曝光图像全局结构图和所述高曝光图像全局结构图的响应度权重图,记为Img1_L3和Img2_L3
Figure FDA0003128906420000023
Figure FDA0003128906420000024
其中,X(x,y)代表所述低曝光图像全局结构图或所述高曝光图像全局结构图;
Z(x,y)代表高斯滤波后的所述低曝光图像全局结构图高频系数Img1_L2或所述高曝光图像全局结构图高频系数Img2_L2
x和y分别代表所述低曝光图像全局结构图或所述高曝光图像全局结构图的行、列坐标;
Zmid代表所述低曝光图像全局结构图和所述高曝光图像全局结构图的归一化后的中心灰度值;
Zmax代表所述低曝光图像全局结构图和所述高曝光图像全局结构图的归一化后的最大灰度值;
Zmin代表所述低曝光图像全局结构图和所述高曝光图像全局结构图的归一化后的最小灰度值;
S204、构建所述低曝光图像全局结构图的全局结构权重图:Img1_LW=Img1_L2+Img1_L3
构建所述高曝光图像全局结构图的全局结构权重图:Img2_LW=Img2_L2+Img2_L3
利用式(4)构建所述低曝光图像局部结构图和所述高曝光图像局部结构图的局部结构权重图,记为Img1_SW和Img2_SW:
ws(x,y)=||XS(x,y)-μS||a*Vgabor(x,y)
Figure FDA0003128906420000031
其中,XS(x,y)代表所述低曝光图像局部结构图或所述高曝光图像局部结构图;
ws(x,y)代表所述低曝光图像局部结构图的局部结构权重图Img1_SW或所述高曝光图像局部结构图的局部结构权重图Img2_SW;
Vgabor(x,y)为Gabor变换;
||.||为所述低曝光图像局部结构图或所述高曝光图像局部结构图的二范数;
x和y分别代表所述低曝光图像局部结构图或所述高曝光图像局部结构图的行、列坐标;
μS代表所述低曝光图像局部结构图或所述高曝光图像局部结构图的灰度均值;
λ代表波长,按照像素计算;σ代表高斯滤波方差;
a取值范围为1-5;γ取值范围为0-1;
x'=xcosθ+ysinθ,y'=-xsinθ+ycosθ;
θ取值范围为0°-360°,
Figure FDA0003128906420000032
取值范围为-180°-+180°。
3.根据权利要求2所述的灰度图像融合方法,其特征在于,步骤S2还包括以下步骤:
S205、计算所述低曝光图像全局结构图的归一化系数Img1_LW':
Img1_LW'=Img1_LW/(Img1_LW+Img2_LW) (5);
所述高曝光图像全局结构图的归一化系数Img2_LW':
Img2_LW'=Img2_LW/(Img1_LW+Img2_LW) (6);
所述低曝光图像局部结构图的归一化系数Img1_SW':
Img1_SW'=Img1_SW/(Img1_SW+Img2_SW) (7);
所述高曝光图像局部结构图的归一化系数Img2_SW':
Img2_SW'=Img2_SW/(Img1_SW+Img2_SW) (8)。
4.根据权利要求1所述的灰度图像融合方法,其特征在于,步骤S4包括以下步骤:
S401、对所述低曝光图像全局结构图和所述高曝光图像全局结构图在所述拉普拉斯多尺度空间的每一层进行融合:
F_Li=Img1_LW′i*Img1_Li+Img2_LW′i*Img2_Li (9);
其中,i表示N层拉普拉斯多尺度空间的第i层;
对所述低曝光图像局部结构图和所述高曝光图像局部结构图在所述拉普拉斯多尺度空间的每一层进行融合:
F_Si=Img1_SW′i*Img1_Si+Img2_SW′i*Img2_Si (10);
S402、将式(9)得到的融合结果F_Li按照所述低曝光图像的大小在所述拉普拉斯多尺度空间上进行采样,得到第i层的输出图像F_L′i
将式(10)得到的融合结果F_Si按照所述高曝光图像的大小在所述拉普拉斯多尺度空间上采样到,得到第i层的输出图像F_S′i
S403、利用下式计算所述低曝光图像全局结构图在所述拉普拉斯多尺度空间的全局结构图像F_L':
Figure FDA0003128906420000041
利用下式计算所述高曝光图像全局结构图在所述拉普拉斯多尺度空间的局部结构图像F_S':
Figure FDA0003128906420000042
CN202110698786.9A 2021-06-23 2021-06-23 一种灰度图像融合方法 Active CN113362264B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110698786.9A CN113362264B (zh) 2021-06-23 2021-06-23 一种灰度图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110698786.9A CN113362264B (zh) 2021-06-23 2021-06-23 一种灰度图像融合方法

Publications (2)

Publication Number Publication Date
CN113362264A CN113362264A (zh) 2021-09-07
CN113362264B true CN113362264B (zh) 2022-03-18

Family

ID=77535810

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110698786.9A Active CN113362264B (zh) 2021-06-23 2021-06-23 一种灰度图像融合方法

Country Status (1)

Country Link
CN (1) CN113362264B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077759A (zh) * 2014-02-28 2014-10-01 西安电子科技大学 一种基于色觉感知及全局质量因子的多曝光度图像融合方法
CN104835130A (zh) * 2015-04-17 2015-08-12 北京联合大学 一种多曝光图像融合方法
CN109218613A (zh) * 2018-09-18 2019-01-15 Oppo广东移动通信有限公司 高动态范围图像合成方法、装置、终端设备和存储介质
CN110035239A (zh) * 2019-05-21 2019-07-19 北京理工大学 一种基于灰度—梯度优化的多积分时间红外图像融合方法
CN110599433A (zh) * 2019-07-30 2019-12-20 西安电子科技大学 一种基于动态场景的双曝光图像融合方法
CN112070692A (zh) * 2020-08-26 2020-12-11 西安理工大学 一种基于虚拟曝光的单幅逆光图像增强方法
CN112819736A (zh) * 2021-01-13 2021-05-18 浙江理工大学 一种基于多曝光的工件字符图像局部细节增强融合方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5896788B2 (ja) * 2012-03-07 2016-03-30 キヤノン株式会社 画像合成装置及び画像合成方法
US9916655B2 (en) * 2013-06-07 2018-03-13 Paul Scherrer Institut Image fusion scheme for differential phase contrast imaging
KR102145201B1 (ko) * 2013-08-12 2020-08-18 삼성전자주식회사 이미지의 동적 범위 향상을 위한 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104077759A (zh) * 2014-02-28 2014-10-01 西安电子科技大学 一种基于色觉感知及全局质量因子的多曝光度图像融合方法
CN104835130A (zh) * 2015-04-17 2015-08-12 北京联合大学 一种多曝光图像融合方法
CN109218613A (zh) * 2018-09-18 2019-01-15 Oppo广东移动通信有限公司 高动态范围图像合成方法、装置、终端设备和存储介质
CN110035239A (zh) * 2019-05-21 2019-07-19 北京理工大学 一种基于灰度—梯度优化的多积分时间红外图像融合方法
CN110599433A (zh) * 2019-07-30 2019-12-20 西安电子科技大学 一种基于动态场景的双曝光图像融合方法
CN112070692A (zh) * 2020-08-26 2020-12-11 西安理工大学 一种基于虚拟曝光的单幅逆光图像增强方法
CN112819736A (zh) * 2021-01-13 2021-05-18 浙江理工大学 一种基于多曝光的工件字符图像局部细节增强融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于小波变换和一致性检验的多模态医学图像融合算法;高清河等;《北京生物医学工程》;20180411(第02期);第76-81页 *
高动态范围图像融合过程中的噪声抑制算法;陈晔曜等;《光电工程》;20180715(第07期);第74-84页 *

Also Published As

Publication number Publication date
CN113362264A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
Chen et al. Gated context aggregation network for image dehazing and deraining
Hai et al. R2rnet: Low-light image enhancement via real-low to real-normal network
Pan et al. Physics-based generative adversarial models for image restoration and beyond
Jian et al. Multi-scale image fusion through rolling guidance filter
CN111402146B (zh) 图像处理方法以及图像处理装置
CN112767289A (zh) 图像融合方法、装置、介质及电子设备
Liu et al. Survey of natural image enhancement techniques: Classification, evaluation, challenges, and perspectives
Shi et al. Low-light image enhancement algorithm based on retinex and generative adversarial network
WO2016139260A9 (en) Method and system for real-time noise removal and image enhancement of high-dynamic range images
CN111275638B (zh) 基于多通道注意力选择生成对抗网络的人脸修复方法
CN112734650A (zh) 一种基于虚拟多曝光融合的不均匀光照图像增强方法
DE102019131971A1 (de) Ein Bildverarbeitungsmodul
CN111986134A (zh) 面阵相机遥感成像方法及装置
Zhao et al. Deep pyramid generative adversarial network with local and nonlocal similarity features for natural motion image deblurring
CN110930311A (zh) 一种提高红外图像与可见光图像融合的信噪比方法与装置
Zhu et al. Low-light image enhancement network with decomposition and adaptive information fusion
Liu et al. Low-light image enhancement network based on recursive network
Li et al. Low-light hyperspectral image enhancement
CN110246086B (zh) 彩色图像增强的图像处理方法及其图像处理系统
CN113362264B (zh) 一种灰度图像融合方法
Wang et al. Single low-light image brightening using learning-based intensity mapping
CN117830134A (zh) 基于混合滤波分解和图像融合的红外图像增强方法及系统
Wang et al. Rapid nighttime haze removal with color-gray layer decomposition
CN110400270B (zh) 一种利用图像分解和多重校正融合的车牌去雾方法
CN117058019A (zh) 一种基于金字塔增强网络的低光照下目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant