CN115578304B - 一种结合显著性区域检测的多波段图像融合方法和系统 - Google Patents
一种结合显著性区域检测的多波段图像融合方法和系统 Download PDFInfo
- Publication number
- CN115578304B CN115578304B CN202211589011.9A CN202211589011A CN115578304B CN 115578304 B CN115578304 B CN 115578304B CN 202211589011 A CN202211589011 A CN 202211589011A CN 115578304 B CN115578304 B CN 115578304B
- Authority
- CN
- China
- Prior art keywords
- layer
- representing
- image
- infrared
- visible light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 18
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 121
- 238000012545 processing Methods 0.000 claims abstract description 23
- 230000001131 transforming effect Effects 0.000 claims abstract description 6
- 238000004364 calculation method Methods 0.000 claims description 44
- 239000000126 substance Substances 0.000 claims description 25
- 238000000354 decomposition reaction Methods 0.000 claims description 12
- 230000002708 enhancing effect Effects 0.000 claims description 11
- 238000013508 migration Methods 0.000 claims description 10
- 230000005012 migration Effects 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 7
- 230000010365 information processing Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004321 preservation Methods 0.000 claims description 6
- 230000007480 spreading Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 2
- 125000001475 halogen functional group Chemical group 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000003331 infrared imaging Methods 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 4
- 238000003333 near-infrared imaging Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000007499 fusion processing Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/90—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
本发明提供了一种结合显著性区域检测的多波段图像融合方法和系统,包括:对红外图像进行增强处理,得到增强红外图像;分别对所述增强红外图像和可见光图像进行分解,得到红外基础层、红外细节层和红外显著层以及可见光基础层、可见光细节层和可见光显著层;对所述红外基础层和所述可见光基础层进行融合,得到融合基础层;基于细节权重图,对所述红外细节层和所述可见光细节层进行融合,得到融合细节层;基于显著权重图,对所述红外显著层和所述可见光显著层进行融合,得到融合显著层;对所述融合基础层、所述融合细节层和所述融合显著层进行变换,得到融合图像;以克服光晕效应和梯度伪影问题,有效增强源图像的对比度和细节信息。
Description
技术领域
本发明涉及图像处理和计算机视觉技术领域,具体而言,涉及一种结合显著性区域检测的多波段图像融合方法和系统。
背景技术
图像融合的目标是从多种源图像中生成一幅包含重要和有意义信息的融合图像,提高对场景描述的完整性和准确性。和任意单一源图像相比,融合图像能为人类视觉系统或其他应用提供更为全面的信息。在众多种类的图像融合中,红外与可见光图像融合是其中的重要分支,原因在于可见光图像与红外图像具有很强互补性。
红外与可见光图像融合的关键是将尽可能多的目标强度信息和细节信息传递到融合图像中。目前,红外与可见光图像融合算法有很多,其中基于多尺度变换的融合算法和基于显著区域分析的融合算法是两类很重要的算法。基于多尺度变换融合方法将源图像分解为若干层,根据特定规则融合相应的层,最后重建目标图像。其中以双边滤波器,引导滤波器,加权最小二乘法滤波器及其变形的边缘保持滤波器得到广泛应用。对于显著性检测的融合算法,显著辐射目标是红外图像中最有价值的特征,需要整体保存到融合图像中,基于显著性的融合方法可以突出物体区域的完整性,并改善融合图像的视觉质量。
然而,大多数基于多尺度变换的方法保留了大量细节和视觉信息,失真较小,但图像细节可能会变得模糊。一方面,由于图像滤波器和融合权重选择不当,这些融合规则更有可能在图像边缘产生伪影,并损失红外突出目标的辐射亮度。另一方面,许多方法都非常注重细节信息的提取,而忽视了目标热信息的保存。
有鉴于此,本发明提出了一种结合显著性区域检测的多波段图像融合方法和系统,以克服光晕效应和梯度伪影问题,有效增强源图像的对比度和细节信息。
发明内容
本发明的目的在于提供一种结合显著性区域检测的多波段图像融合方法,包括:对红外图像进行增强处理,得到增强红外图像;分别对所述增强红外图像和可见光图像进行分解,得到红外基础层、红外细节层和红外显著层以及可见光基础层、可见光细节层和可见光显著层;对所述红外基础层和所述可见光基础层进行融合,得到融合基础层;基于细节权重图,对所述红外细节层和所述可见光细节层进行融合,得到融合细节层;基于显著权重图,对所述红外显著层和所述可见光显著层进行融合,得到融合显著层;对所述融合基础层、所述融合细节层和所述融合显著层进行变换,得到融合图像。
进一步的,所述增强处理为增强所述红外图像的热信息;其中,所述增强所述红外图像的热信息的计算公式为:
其中,表示增强热信息后得到的增强红外图像;表示所述
红外图像中坐标处的像素值;表示预定义的领域运算模板大小;表示图
像大小;表示存储在映射矩阵中的像素块的平均值;和
分别表示整个红外图像和可见光图像的平均像素值。
进一步的,得到可见光基础层和红外基础层的计算公式为:
其中,表示滤波后的可见光基础层;表示滤波后的红外基础
层;表示每个图像块的保存因子,;表示以像素k为中心的领域运算模板;表示以像素k为中心的滤波器定义的局部域;表示第i个像素的强度;表示滤波器定
义的局部域;表示与所述可见光图像相关的图像;表示与所述增强红外图像相关的图
像。
进一步的,红外细节层和可见光细节层通过计算原始图像与基础层的差值得到;其中,计算所述细节层的公式为:
进一步的,得到红外显著层和可见光显著层的计算公式为:
其中,表示可见光显著层;表示红外显著层;表示像素窗口
面积;表示待处理图像;m和n分别表示所述待处理图像的横坐标和纵坐标;表示
像素点的横坐标;表示像素点的纵坐标;表示横轴方向的迁移距离;表示纵轴方向的
迁移距离;表示与所述可见光图像相关的图像;表示与所述增强红外图像相关的图
像。
进一步的,所述得到融合基础层的计算公式为:
进一步的,所述细节权重图通过提取细节层的特征得到,提取所述细节层的特征的计算公式为:
其中,表示细节层的特征;表示图像中像素点的坐标;表示小波
分解尺度;表示基于频率扩展的权重因子;表示坐标处的振幅;表示坐标处的相位;表示常数;表示噪声阈值表示;表示封闭量,当
其值为正时,封闭量等于自身,否则等于0;表示与所述可见光图像相关的图像;表示
与所述增强红外图像相关的图像;
得到细节权重图的计算公式为:
所述得到融合细节层的计算公式为:
进一步的,所述显著权重图的计算公式为:
所述得到融合细节层的计算公式为:
进一步的,所述得到融合图像的计算公式为:
本发明的目的在于提供一种结合显著性区域检测的多波段图像融合系统,包括信息处理模块和信息输出模块;所述信息处理模块包括增强处理单元、分解单元、基础层融合单元、细节层融合单元、显著层融合单元和图像融合单元;所述增强处理单元用于对红外图像进行增强处理,得到增强红外图像;所述分解单元用于分别对所述增强红外图像和可见光图像进行分解,得到红外基础层、红外细节层和红外显著层以及可见光基础层、可见光细节层和可见光显著层;所述基础层融合单元用于对所述红外基础层和所述可见光基础层进行融合,得到融合基础层;所述细节层融合单元用于基于细节权重图,对所述红外细节层和所述可见光细节层进行融合,得到融合细节层;所述显著层融合单元用于基于显著权重图,对所述红外显著层和所述可见光显著层进行融合,得到融合显著层;所述图像融合单元用于对所述融合基础层、所述融合细节层和所述融合显著层进行变换,得到融合图像;所述信息输出模块用于输出所述融合图像。
本发明实施例的技术方案至少具有如下优点和有益效果:
通过动态阈值热信息滤波器(DTTIF)调整热目标和背景区域的像素值,扩大热目标与背景区域之间的相对像素差,可以实现热目标增强。其次,采用最大对称环绕显著性检测和子窗口方差滤波器(SVF)将源图像分解为显著层、细节层和基础层,使融合图像中的目标边缘不会模糊,从而确保源图像中的显著区域能够得到很好的保留。基于相位一致性(PC)的细节层权重构造方法对噪声和照明不良具有鲁棒性,可以更好保留细节信息。引入的非线性函数可以突出图像成分中较大的显著性。通过本发明技术方案能较好地增强源图像的对比度和细节,此外,还可以有效避免融合过程中热信息丢失的风险。
附图说明
图1为本发明一些实施例提供的一种结合显著性区域检测的多波段图像融合方法的示例性流程图;
图2为本发明一些实施例提供的一种结合显著性区域检测的多波段图像融合方法的示例性示意图;
图3为本发明一些实施例提供的一种结合显著性区域检测的多波段图像融合系统的示例性模块图;
图4为本发明一些实施例提供的获取可见光图像和红外图像的图像采集装置的示例性装置图;
图标:1-主镜,2-次镜,3-分光板,4-反射镜,5-可见光+近红外成像透镜组,6-长波红外成像透镜组,7-中波红外成像透镜组,8-中红外CCD摄像机,9-可见光+近红外CCD摄像机,10-长波红外CCD摄像机。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
图1为本发明一些实施例提供的一种结合显著性区域检测的多波段图像融合方法的示例性流程图。在一些实施例中,流程100可以由系统300执行。如图1所示,流程100包括以下步骤:
步骤S110,获取可见光图像和不同波段的红外图像,并对可见光图像和红外图像进行预处理。在一些实施例中,步骤S110可以由图像采集模块310执行。
不同波段的红外图像可以包括近红外波段图像、中红外波段图像和长红外波段图像。在一些实施例中,可以同时获取同一视野的可见光图像和不同波段的红外图像。例如,使用图4所示的图像采集装置400获取,该图像采集装置可以通过一次拍照获取到可见光图像和其对应的不同波段的红外图像。
预处理可以是指分别对可见光图像和不同波段的红外图像进行处理,以使其符合后续处理要求。预处理的方式可以包括但不限于裁剪图像、对图像进行灰度处理等中的一种或多种。
步骤S120,对红外图像进行增强处理,得到增强红外图像。在一些实施例中,步骤S120可以由增强处理单元320-1执行。
增强红外图像可以是指增强图中热信息后得到的红外图像。在一些实施例中,可以通过动态阈值热信息滤波器(DTTIF)增强红外图像的热信息,以得到增强红外图像。
在一些实施例中,增强红外图像的热信息的计算公式为:
其中,表示增强红外图像;表示红外图像中坐标处
的像素值;表示预定义的领域运算模板大小;表示图像大小,例如,可见光图像
或红外图像的长和宽;表示存储在映射矩阵中的像素块的平均值,例如,运算模
板大小可以被预先被定义为个像素点,将该领域运算模板映射到红外图像中可以得到
映射矩阵为的像素块,对该像素块中81个像素点的亮度取平均值可以得到映射矩阵中
像素块的平均值;和分别表示整个红外图像和可见光图像的平均像
素值,例如,对红外图像或可见光图像中的每个像素点的亮度取平均值。
步骤S130,分别对增强红外图像和可见光图像进行分解,得到红外基础层、红外细节层和红外显著层以及可见光基础层、可见光细节层和可见光显著层。在一些实施例中,步骤S130可以由分解单元320-2执行。
红外基础层可以是指保有增强红外图像中基础信息的图层。红外细节层可以是指保有增强红外图像中细节信息的图层。红外显著层可以是指保有增强红外图像中显著信息的图层。可见光基础层可以是指保有可见光图像中基础信息的图层。可见光细节层可以是指保有可见光图像中细节信息的图层。可见光显著层可以是指保有可见光图像中显著信息的图层。在一些实施例中,可以通过子窗口方差滤波器(SVF)和最大对称环绕显著性检测(MSSS)将增强红外图像分解为红外基础层、红外细节层和红外显著层;将可见光图像分解为可见光基础层、可见光细节层和可见光显著层。
在一些实施例中,得到基础层(包括可见光基础层和红外基础层)的计算公式为:
其中,表示滤波后的基础层,包括红外基础层和可见光基础层,其中,红外基础层至少可以包括近红外波段基础层、中红外波段基础
层和长红外波段基础层;表示每个图像块的保存因子,,
该因子控制原始图像块的贡献程度;表示以像素k为中心的领域运算模板,例如,领域运
算模板可以为的像素块,处于(3,3)位置处的像素点可以被认为是中心像素k,在一些
实施例中,中心像素也可以包括多个像素点;表示以像素k为中心的滤波器定义的局部
域,例如,以位置为(10,10)的像素点为中心,领域运算模板为的像素块,可以为横
坐标为8-12,纵坐标为8-12的正方形像素块;表示第i个像素的强度,例如,第i个像素的
亮度值;表示滤波器定义的局部域,例如,的像素块;和为下标,用于表示图像
是与可见光图像相关还是与红外图像相关;表示与所述可见光图像相关的图像;表示
与所述增强红外图像相关的图像。
在一些实施例中,细节层通过计算原始图像与基础层的差值得到;原始图像可以是包括多张增强红外图像和可见光图像,不同的原始图像对应不同的基础层,其中,计算细节层(包括可见光细节层和红外细节层)的公式为:
在一些实施例中,得到显著层(包括可见光显著层和红外显著层)的计算公式为:
其中,表示显著层;表示像素窗口面积;表示待处理图像,其
中,待处理图像可以是指可见光图像和增强红外图像中的一小块图像;m和n分别表示待处
理图像的横坐标和纵坐标,例如,待处理图像中心位置处的像素点的坐标可以被认为是待
处理图像的坐标;表示像素点的横坐标;表示像素点的纵坐标;表示横轴方向的迁移
距离;表示纵轴方向的迁移距离;表示与可见光图像相关的图像;表示与增强红外
图像相关的图像。
步骤S140,对红外基础层和可见光基础层进行融合,得到融合基础层。在一些实施例中,步骤S140可以由基础层融合单元320-3执行。
融合基础层可以是指融合了红外图像和可见光图像的基础信息的图层。在一些实施例中,可以采用平均融合规则得到融合基础层。其中,得到融合基础层的计算公式为:
步骤S150,基于细节权重图,对红外细节层和可见光细节层进行融合,得到融合细节层。在一些实施例中,步骤S150可以由细节层融合单元320-4执行。
融合细节层可以是指融合了红外图像和可见光图像的细节信息的图层。细节权重图可以是指细节层中每个像素点的权重分布情况。在一些实施例中,可以基于所要提取的细节层的特征,得到细节权重图。其中,提取细节层的特征的计算公式为:
其中,表示细节层的特征;表示图像中像素点的坐标;表示小波
分解尺度;表示基于频率扩展的权重因子;表示坐标处的振幅;表示坐标处的相位;表示常数;表示噪声阈值表示;表示封闭量,当
其值为正时,封闭量等于自身,否则等于0;表示与可见光图像相关的图像;表示与增
强红外图像相关的图像。
得到细节权重图的计算公式为:
在一些实施例中,可以采用加权平均规则来融合红外细节层和可见光细节层,得到融合细节层,其中,得到融合细节层的计算公式为:
步骤S160,基于显著权重图,对红外显著层和可见光显著层进行融合,得到融合显著层。在一些实施例中,步骤S160可以由显著层融合单元320-5执行。
融合显著层可以是指融合了红外图像和可见光图像的显著信息的图层。显著权重图可以是指显著层中每个像素点的权重分布情况。在一些实施例中,可以通过非线性函数计算得到显著权重图。其中,得到显著权重图的计算公式为:
在一些实施例中,可以采用加权平均规则来融合红外显著层和可见光显著层。其中,得到融合显著层的计算公式为:
步骤S170,对融合基础层、融合细节层和融合显著层进行变换,得到融合图像。在一些实施例中,步骤S170可以由图像融合单元320-6执行。
融合图像可以是指进行融合处理后得到的图像,融合图像相对于一般图像能突出物体区域的完整性,并改善图像的视觉质量,且消除伪影等。在一些实施例中,得到融合图像的计算公式为:
图2为本发明一些实施例提供的一种结合显著性区域检测的多波段图像融合方法的示例性示意图。如图2所示,示意的流程200的内容可以包括:
通过图像采集装置采集可见光图像和多张多个波段的红外图像。然后对采集的可见光图像和多张红外图像进行图像预处理,得到预处理后的可见光图像和多张红外图像。对于预处理后的红外图像,还通过DTTIF增强多张红外图像的热信息,得到多张增强红外图像。然后对预处理后的可见光图像进行SVF处理,得到可见光基础层,并基于可见光基础层和预处理后的可见光图像的差值,得到可见光细节层,最后通过对预处理后的可见光图像进行MSSS处理,得到可见光显著层。同时,以处理预处理后的可见光图像的方式分别处理多张增强红外图像,得到多张红外基础层、多张红外细节层和多张红外显著层;然后对多张红外基础层和可见光基础层任意两两执行加权平均融合,得到一张融合基础层。对多张红外细节层和可见光细节层任意两两执行加权平均融合,得到一张融合细节层。对多张红外显著层和可见光显著层任意两两执行平均融合,得到一张融合显著层。最后,将融合基础层、融合细节层和融合显著层进行和计算,得到最终的融合图像。
图3为本发明一些实施例提供的一种结合显著性区域检测的多波段图像融合系统的示例性模块图。如图3所示,系统300可以包括图像采集模块310,信息处理模块320和信息输出模块330;信息处理模块320包括增强处理单元320-1、分解单元320-2、基础层融合单元320-3、细节层融合单元320-4、显著层融合单元320-5和图像融合单元320-6;
图像采集模块310用于采集可见光图像和多张红外图像。关于图像采集模块310的更多内容,参见图1及其相关描述。
增强处理单元320-1用于对红外图像进行增强处理,得到增强红外图像。关于增强处理单元320-1的更多内容,参见图1及其相关描述。
分解单元320-2用于分别对增强红外图像和可见光图像进行分解,得到红外基础层、红外细节层和红外显著层以及可见光基础层、可见光细节层和可见光显著层。关于分解单元320-2的更多内容,参见图1及其相关描述。
基础层融合单元320-3用于对红外基础层和可见光基础层进行融合,得到融合基础层。关于基础层融合单元320-3的更多内容,参见图1及其相关描述。
细节层融合单元320-4用于基于细节权重图,对红外细节层和可见光细节层进行融合,得到融合细节层。关于细节层融合单元320-4的更多内容,参见图1及其相关描述。
显著层融合单元320-5用于基于显著权重图,对红外显著层和可见光显著层进行融合,得到融合显著层。关于显著层融合单元320-5的更多内容,参见图1及其相关描述。
图像融合单元320-6用于对融合基础层、融合细节层和融合显著层进行变换,得到融合图像。关于图像融合单元320-6的更多内容,参见图1及其相关描述。
信息输出模块330用于输出融合图像。关于信息输出模块330的更多内容,参见图1及其相关描述。
图4为本发明一些实施例提供的获取可见光图像和红外图像的图像采集装置的示例性装置图。如图4所示,装置400可以包括主镜1、次镜2、分光板3、反射镜4、可见光+近红外成像透镜组5、长波红外成像透镜组6、中波红外成像透镜组7、中红外CCD摄像机8、可见光+近红外CCD摄像机9和长波红外CCD摄像机10。
远距离目标通过次镜2和主镜1到达分光板3和反射镜4,可见光+近红外CCD摄像机9通过可见光+近红外成像透镜组5获取分光板3反射的远距离目标的可见光图像和近红外波段图像;长波红外CCD摄像机10通过长波红外成像透镜组6获取分光板3反射的远距离目标的长红外波段图像;中红外CCD摄像机8通过中波红外成像透镜组7获取反射镜4反射的远距离目标的中红外波段图像。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种结合显著性区域检测的多波段图像融合方法,其特征在于,包括:
对红外图像进行增强处理,得到增强红外图像;所述增强处理为增强所述红外图像的热信息;其中,所述增强所述红外图像的热信息的计算公式为:
其中,表示增强热信息后得到的增强红外图像;表示所述红外图像中坐标处的像素值;表示预定义的领域运算模板大小;表示图像大小;表示存储在映射矩阵中的像素块的平均值;和分别表示整个红外图像和可见光图像的平均像素值;
分别对所述增强红外图像和可见光图像进行分解,得到红外基础层、红外细节层和红外显著层以及可见光基础层、可见光细节层和可见光显著层;
其中,得到红外基础层和可见光基础层的计算公式为:
其中,表示滤波后的可见光基础层;表示滤波后的红外基础层;表示每个图像块的保存因子,;表示以像素k为中心的领域运算模板;表示以像素k为中心的滤波器定义的局部域;表示第i个像素的强度;表示滤波器定义的局部域;表示与所述可见光图像相关的图像;表示与所述增强红外图像相关的图像;表示当i为vis时,计算得到可见光基础层,当i为ir时,计算得到红外基础层;
红外细节层和可见光细节层通过计算原始图像与基础层的差值得到;其中,计算所述细节层的公式为:
得到红外显著层和可见光显著层的计算公式为:
其中,表示可见光显著层;表示红外显著层;表示像素窗口面积;表示待处理图像;m和n分别表示所述待处理图像的横坐标和纵坐标;表示像素点的横坐标;表示像素点的纵坐标;表示横轴方向的迁移距离;表示纵轴方向的迁移距离;表示与所述可见光图像相关的图像;表示与所述增强红外图像相关的图像;
对所述红外基础层和所述可见光基础层进行融合,得到融合基础层;其中,得到融合基础层的计算公式为:
基于细节权重图,对所述红外细节层和所述可见光细节层进行融合,得到融合细节层;其中,所述细节权重图通过提取细节层的特征得到,提取所述细节层的特征的计算公式为:
其中,表示细节层的特征;表示图像中像素点的坐标;表示小波分解尺度;表示基于频率扩展的权重因子;表示坐标处的振幅;表示坐标处的相位;表示常数;表示噪声阈值表示;表示封闭量,当其值为正时,封闭量等于自身,否则等于0;表示与所述可见光图像相关的图像;表示与所述增强红外图像相关的图像;
得到细节权重图的计算公式为:
所述得到融合细节层的计算公式为:
基于显著权重图,对所述红外显著层和所述可见光显著层进行融合,得到融合显著层;其中,所述显著权重图的计算公式为:
所述得到融合细节层的计算公式为:
对所述融合基础层、所述融合细节层和所述融合显著层进行变换,得到融合图像;其中,所述得到融合图像的计算公式为:
2.一种结合显著性区域检测的多波段图像融合系统,其特征在于,包括信息处理模块和信息输出模块;所述信息处理模块包括增强处理单元、分解单元、基础层融合单元、细节层融合单元、显著层融合单元和图像融合单元;
所述增强处理单元用于对红外图像进行增强处理,得到增强红外图像;所述增强处理为增强所述红外图像的热信息;其中,所述增强所述红外图像的热信息的计算公式为:
其中,表示增强热信息后得到的增强红外图像;表示所述红外图像中坐标处的像素值;表示预定义的领域运算模板大小;表示图像大小;表示存储在映射矩阵中的像素块的平均值;和分别表示整个红外图像和可见光图像的平均像素值;
所述分解单元用于分别对所述增强红外图像和可见光图像进行分解,得到红外基础层、红外细节层和红外显著层以及可见光基础层、可见光细节层和可见光显著层;其中,得到红外基础层和可见光基础层的计算公式为:
其中,表示滤波后的可见光基础层;表示滤波后的红外基础层;表示每个图像块的保存因子,;表示以像素k为中心的领域运算模板;表示以像素k为中心的滤波器定义的局部域;表示第i个像素的强度;表示滤波器定义的局部域;表示与所述可见光图像相关的图像;表示与所述增强红外图像相关的图像;表示当i为vis时,计算得到可见光基础层,当i为ir时,计算得到红外基础层;
红外细节层和可见光细节层通过计算原始图像与基础层的差值得到;其中,计算所述细节层的公式为:
得到红外显著层和可见光显著层的计算公式为:
其中,表示可见光显著层;表示红外显著层;表示像素窗口面积;表示待处理图像;m和n分别表示所述待处理图像的横坐标和纵坐标;表示像素点的横坐标;表示像素点的纵坐标;表示横轴方向的迁移距离;表示纵轴方向的迁移距离;表示与所述可见光图像相关的图像;表示与所述增强红外图像相关的图像;
所述基础层融合单元用于对所述红外基础层和所述可见光基础层进行融合,得到融合基础层;其中,得到融合基础层的计算公式为:
所述细节层融合单元用于基于细节权重图,对所述红外细节层和所述可见光细节层进行融合,得到融合细节层;其中,所述细节权重图通过提取细节层的特征得到,提取所述细节层的特征的计算公式为:
其中,表示细节层的特征;表示图像中像素点的坐标;表示小波分解尺度;表示基于频率扩展的权重因子;表示坐标处的振幅;表示坐标处的相位;表示常数;表示噪声阈值表示;表示封闭量,当其值为正时,封闭量等于自身,否则等于0;表示与所述可见光图像相关的图像;表示与所述增强红外图像相关的图像;
得到细节权重图的计算公式为:
所述得到融合细节层的计算公式为:
所述显著层融合单元用于基于显著权重图,对所述红外显著层和所述可见光显著层进行融合,得到融合显著层;其中,所述显著权重图的计算公式为:
所述得到融合细节层的计算公式为:
所述图像融合单元用于对所述融合基础层、所述融合细节层和所述融合显著层进行变换,得到融合图像;其中,所述得到融合图像的计算公式为:
所述信息输出模块用于输出所述融合图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211589011.9A CN115578304B (zh) | 2022-12-12 | 2022-12-12 | 一种结合显著性区域检测的多波段图像融合方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211589011.9A CN115578304B (zh) | 2022-12-12 | 2022-12-12 | 一种结合显著性区域检测的多波段图像融合方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115578304A CN115578304A (zh) | 2023-01-06 |
CN115578304B true CN115578304B (zh) | 2023-03-10 |
Family
ID=84590349
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211589011.9A Active CN115578304B (zh) | 2022-12-12 | 2022-12-12 | 一种结合显著性区域检测的多波段图像融合方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115578304B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681637B (zh) * | 2023-08-03 | 2024-01-02 | 国网安徽省电力有限公司超高压分公司 | 特高压换流变压器红外与可见光监测图像融合方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103455982A (zh) * | 2013-08-31 | 2013-12-18 | 四川川大智胜软件股份有限公司 | 一种基于虚实融合机场场面监视视觉增强的方法 |
CN108389158A (zh) * | 2018-02-12 | 2018-08-10 | 河北大学 | 一种红外和可见光的图像融合方法 |
CN112419212A (zh) * | 2020-10-15 | 2021-02-26 | 卡乐微视科技(云南)有限公司 | 一种基于侧窗引导滤波的红外与可见光图像融合方法 |
CN112801927A (zh) * | 2021-01-28 | 2021-05-14 | 中国地质大学(武汉) | 一种基于三尺度分解的红外和可见光图像融合方法 |
CN114119439A (zh) * | 2021-11-12 | 2022-03-01 | 武汉大学 | 红外与可见光图像融合方法、装置、设备及存储介质 |
CN114529488A (zh) * | 2022-02-21 | 2022-05-24 | 合肥英睿系统技术有限公司 | 图像融合方法、装置及设备、存储介质 |
CN114612359A (zh) * | 2022-03-09 | 2022-06-10 | 南京理工大学 | 基于特征提取的可见光与红外图像融合方法 |
CN115330653A (zh) * | 2022-08-16 | 2022-11-11 | 西安电子科技大学 | 基于边窗滤波的多源图像融合方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106327459B (zh) * | 2016-09-06 | 2019-03-12 | 四川大学 | 基于udct和pcnn的可见光与红外图像融合方法 |
CN112767289A (zh) * | 2019-10-21 | 2021-05-07 | 浙江宇视科技有限公司 | 图像融合方法、装置、介质及电子设备 |
CN111080724B (zh) * | 2019-12-17 | 2023-04-28 | 大连理工大学 | 一种红外和可见光的融合方法 |
CN113379661B (zh) * | 2021-06-15 | 2023-03-07 | 中国工程物理研究院流体物理研究所 | 红外与可见光图像融合的双分支卷积神经网络装置 |
-
2022
- 2022-12-12 CN CN202211589011.9A patent/CN115578304B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103455982A (zh) * | 2013-08-31 | 2013-12-18 | 四川川大智胜软件股份有限公司 | 一种基于虚实融合机场场面监视视觉增强的方法 |
CN108389158A (zh) * | 2018-02-12 | 2018-08-10 | 河北大学 | 一种红外和可见光的图像融合方法 |
CN112419212A (zh) * | 2020-10-15 | 2021-02-26 | 卡乐微视科技(云南)有限公司 | 一种基于侧窗引导滤波的红外与可见光图像融合方法 |
CN112801927A (zh) * | 2021-01-28 | 2021-05-14 | 中国地质大学(武汉) | 一种基于三尺度分解的红外和可见光图像融合方法 |
CN114119439A (zh) * | 2021-11-12 | 2022-03-01 | 武汉大学 | 红外与可见光图像融合方法、装置、设备及存储介质 |
CN114529488A (zh) * | 2022-02-21 | 2022-05-24 | 合肥英睿系统技术有限公司 | 图像融合方法、装置及设备、存储介质 |
CN114612359A (zh) * | 2022-03-09 | 2022-06-10 | 南京理工大学 | 基于特征提取的可见光与红外图像融合方法 |
CN115330653A (zh) * | 2022-08-16 | 2022-11-11 | 西安电子科技大学 | 基于边窗滤波的多源图像融合方法 |
Non-Patent Citations (3)
Title |
---|
Infrared and visible image fusion via rolling guidance filter and convolutional sparse representation;Liu FQ,et al;《Journal of intelligent & fuzzy systems》;20211231;第40卷(第6期);10603-10616 * |
基于GAN的红外与可见光图像融合算法;周祎楠等;《现代计算机》;20210630;94-97 * |
基于图像增强和滚动引导滤波的红外与可见光图像融合;梁佳明等;《激光与光电子学进展》;20220715;23 * |
Also Published As
Publication number | Publication date |
---|---|
CN115578304A (zh) | 2023-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108596849B (zh) | 一种基于天空区域分割的单幅图像去雾方法 | |
Li et al. | Single image dehazing using the change of detail prior | |
US20200273154A1 (en) | Image enhancement method and system | |
Shin et al. | Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing | |
Rajkumar et al. | A comparative analysis on image quality assessment for real time satellite images | |
CN108090888B (zh) | 基于视觉注意模型的红外图像和可见光图像的融合检测方法 | |
KR101161471B1 (ko) | 비선형 및/또는 공간적으로 변하는 이미지 프로세싱을 이용한 광학 이미징 시스템 및 방법 | |
CN106296670B (zh) | 一种基于Retinex-分水岭-Canny算子的红外图像边缘检测方法 | |
CN113837974B (zh) | 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法 | |
CN114519808A (zh) | 图像融合方法、装置及设备、存储介质 | |
CN112801927B (zh) | 一种基于三尺度分解的红外和可见光图像融合方法 | |
CN115578304B (zh) | 一种结合显著性区域检测的多波段图像融合方法和系统 | |
Arivazhagan et al. | A modified statistical approach for image fusion using wavelet transform | |
Duan et al. | Infrared and visible image fusion using multi-scale edge-preserving decomposition and multiple saliency features | |
Chang | Single underwater image restoration based on adaptive transmission fusion | |
TW202230279A (zh) | 圖像增強方法和圖像增強裝置 | |
CN117152016A (zh) | 基于改进暗通道先验的图像去雾方法及其系统 | |
Bavirisetti et al. | Multi-focus image fusion using maximum symmetric surround saliency detection | |
Donia et al. | Infrared image enhancement based on both histogram matching and wavelet fusion | |
Chaudhuri et al. | Frequency and spatial domains adaptive-based enhancement technique for thermal infrared images | |
Huang et al. | A novel image dehazing algorithm based on dual-tree complex wavelet transform | |
Goud et al. | Evaluation of image fusion of multi focus images in spatial and frequency domain | |
Owusu-Agyeman et al. | A concise review on Image Dehazing Techniques | |
CN109801253A (zh) | 一种对高分辨率光学遥感图像的自适应云区检测方法 | |
Lu | Local Defogging Algorithm for Improving Visual Impact in Image Based on Multiobjective Optimization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |