CN115358963A - 基于扩展高斯差分和引导滤波的图像融合方法 - Google Patents

基于扩展高斯差分和引导滤波的图像融合方法 Download PDF

Info

Publication number
CN115358963A
CN115358963A CN202211279027.XA CN202211279027A CN115358963A CN 115358963 A CN115358963 A CN 115358963A CN 202211279027 A CN202211279027 A CN 202211279027A CN 115358963 A CN115358963 A CN 115358963A
Authority
CN
China
Prior art keywords
image
fusion
source
source image
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211279027.XA
Other languages
English (en)
Other versions
CN115358963B (zh
Inventor
李小松
接玉婵
谭海曙
程晓琦
周富强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ji Hua Laboratory
Original Assignee
Ji Hua Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ji Hua Laboratory filed Critical Ji Hua Laboratory
Priority to CN202211279027.XA priority Critical patent/CN115358963B/zh
Publication of CN115358963A publication Critical patent/CN115358963A/zh
Application granted granted Critical
Publication of CN115358963B publication Critical patent/CN115358963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及图像处理技术领域，提供了一种基于扩展高斯差分和引导滤波的图像融合方法，方法包括：获取多张第一源图像；基于绝对值取大的融合规则，对多张第一源图像两两进行初步融合，以获取初始融合图像；使用均值滤波方法将初始融合图像和初始融合图像对应的两张第二源图像进行分离处理，以获取初始融合图像的第一能量层和两张第二源图像的第二细节层；第二源图像为生成初始融合图像的第一源图像；根据各第二细节层分别获取对应的第一最终决策图；分别对各第一最终决策图进行引导滤波，以获取对应的第二最终决策图；根据第二最终决策图、第二细节层和第一能量层获取对应的最终融合图像。本发明具有融合效果好和信息保留完整的有益效果。

Description

基于扩展高斯差分和引导滤波的图像融合方法
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种基于扩展高斯差分和引导滤波的图像融合方法。
背景技术
像素级图像融合的算法一般可以分为基于变换域的图像融合、基于空间域的图像融合以及基于深度学习的图像融合。基于变换域的图像融合着重使用多尺度变换的方法，一般包括三个步骤：第一，将源图像分解成为高频成分和低频成分；其次，使用特定的融合方案对两种成分分别进行融合；最后，通过逆MST变换重构融合图像。基于变换域方法的关键在于分解工具的选择和融合方案的选择。最早的多尺度变换工具包括梯度金字塔、拉普拉斯金字塔等。随着小波变换技术的发展，大量的MST分解工具不断涌现，一些方法也被广泛使用：离散小波变换、双树复小波变换、非下采样轮廓波变换、非下采样剪切波变换、形态学小波变换等。
除了基于变换域的方法，基于空间域的方法是另一种重要的图像融合方法，这种方法直接在像素点上对源图像进行处理。空间域的方法主要基于像素、区域和块分割，可以充分提取图像中的特征信息，同时考虑了局部区域像素间的相关性，提高了有用信息提取的准确性。但是，基于空间域的大多数方法一定程度上依赖于复杂且低效的分割算法，如果处理不当，会在融合图像中引入错误信息。
基于深度学习的方法在人脸识别、图像分割、图像分类和图像去噪等领域应用广泛。随着图像融合技术的发展，深度学习在该领域也得到了一些应用。虽然基于CNN的图像融合方法、基于GAN的图像融合方法在红外可见光图像融合、多聚焦图像融合等应用场合有一定的效果。但是，由于现有数据集是有限的，所以基于深度学习的方案还有一定可以改进的空间。
基于上述问题，目前尚未有有效的解决方法。
发明内容
本申请的目的在于提供一种基于扩展高斯差分和引导滤波的图像融合方法，可以提取出源图像中丰富的能量信息和完整保留源图像中完整的边缘信息，在图像融合任务中有良好的融合效果。
本申请提供了一种基于扩展高斯差分和引导滤波的图像融合方法，其中，包括以下步骤：
S1.获取多张第一源图像；
S2.基于绝对值取大的融合规则，对多张所述第一源图像两两进行初步融合，以获取初始融合图像；
S3.使用均值滤波方法将所述初始融合图像和所述初始融合图像对应的两张第二源图像进行分离处理，以获取所述初始融合图像的第一能量层和两张所述第二源图像的第二细节层；所述第二源图像为生成所述初始融合图像的第一源图像；
S4.根据各所述第二细节层分别获取对应的第一最终决策图；
S5.分别对各所述第一最终决策图进行引导滤波，以获取对应的第二最终决策图；
S6.根据所述第二最终决策图、所述第二细节层和所述第一能量层获取对应的最终融合图像。
本申请的基于扩展高斯差分和引导滤波的图像融合方法，通过获取多张第一源图像；基于绝对值取大的融合规则，对多张第一源图像两两进行初步融合，以获取初始融合图像；使用均值滤波方法将初始融合图像和初始融合图像对应的两张第二源图像进行分离处理，以获取初始融合图像的第一能量层和两张第二源图像的第二细节层；第二源图像为生成初始融合图像的第一源图像；根据各第二细节层分别获取对应的第一最终决策图；分别对各第一最终决策图进行引导滤波，以获取对应的第二最终决策图；根据第二最终决策图、第二细节层和第一能量层获取对应的最终融合图像。本申请提供的基于扩展高斯差分和引导滤波的图像融合方法，可以提取源图像中丰富的能量信息和完整保留源图像中完整的边缘信息，在图像融合任务中有良好的融合效果。
可选地，本申请提供的基于扩展高斯差分和引导滤波的图像融合方法，步骤S2中，根据以下公式计算，以获取初始融合图像：
Figure 100002_DEST_PATH_IMAGE001
其中，i和j 分别为像素点的横坐标值和纵坐标值；A和B分别表示第一源图像A和第一源图像B的标识;
Figure 957290DEST_PATH_IMAGE002
为初始融合图像的
Figure 100002_DEST_PATH_IMAGE003
像素点的像素值；
Figure 76293DEST_PATH_IMAGE004
为第一源图像A的
Figure 778670DEST_PATH_IMAGE003
像素点的像素值；
Figure 100002_DEST_PATH_IMAGE005
为第一源图像B的
Figure 15747DEST_PATH_IMAGE003
像素点的像素值；
Figure 196193DEST_PATH_IMAGE006
为二值决策图的
Figure 497599DEST_PATH_IMAGE003
像素点的像素值。
可选地，本申请提供的基于扩展高斯差分和引导滤波的图像融合方法，步骤S3包括：
S301.获取所述初始融合图像的第一能量层和所述第二源图像的第二能量层；
S302.根据所述第二能量层和所述第二源图像计算所述第二细节层。
在实际应用中，为了使得最终融合图像含有更加丰富的能量层信息，本发明直接将初始融合图像的第一能量层作为最终融合图像的能量层。通过使用均值滤波方法，可以提高分离的效率。
可选地，本申请提供的基于扩展高斯差分和引导滤波的图像融合方法，步骤S4包括：
S401.基于边缘特征提取算子，分别对各所述第二细节层进行边缘特征提取，以生成对应的边缘信息决策图；
S402.基于空间频率算子，分别对各所述边缘信息决策图进行优化，以获取对应的第一最终决策图。
可选地，本申请提供的基于扩展高斯差分和引导滤波的图像融合方法，步骤S401包括：
使用扩展高斯差分分别对各所述第二细节层进行边缘特征提取，以生成对应的所述边缘信息决策图。
通过这种方式，可以使最终融合图像的边界更加清晰。
可选地，本申请提供的基于扩展高斯差分和引导滤波的图像融合方法，步骤S401中，根据以下公式计算高斯差分变体：
Figure DEST_PATH_IMAGE007
其中，
Figure 511823DEST_PATH_IMAGE008
为高斯差分变体；
Figure DEST_PATH_IMAGE009
和
Figure 767355DEST_PATH_IMAGE010
均为高斯平滑滤波函数；
Figure 100002_DEST_PATH_IMAGE011
为检测出的物体边缘轮廓的权重；
Figure 453289DEST_PATH_IMAGE012
为空间域内高斯分布的标准差；
Figure 100002_DEST_PATH_IMAGE013
代表像素点的二维坐标，即像素点
Figure 48349DEST_PATH_IMAGE003
；
Figure 92528DEST_PATH_IMAGE014
为该像素点
Figure 632094DEST_PATH_IMAGE003
的向量的模；k为精确近似和合适灵敏度之间的权衡参数。
可选地，本申请提供的基于扩展高斯差分和引导滤波的图像融合方法，步骤S402包括：
S4021.对所述空间频率算子进行优化计算，以分别获取各所述第二源图像对应的能量空间频率算子；
S4022.分别使用各所述能量空间频率算子对各所述边缘信息决策图进行优化，以获取对应的所述第一最终决策图。
可选地，本申请提供的基于扩展高斯差分和引导滤波的图像融合方法，所述能量空间频率算子的计算公式如下：
Figure 100002_DEST_PATH_IMAGE015
其中，
Figure 590561DEST_PATH_IMAGE016
为第二源图像的
Figure 368024DEST_PATH_IMAGE003
像素点的能量空间频率算子；
Figure 100002_DEST_PATH_IMAGE017
为第二源图像的
Figure 957006DEST_PATH_IMAGE003
像素点的空间频率算子；
Figure 718288DEST_PATH_IMAGE018
为第二源图像的
Figure 513069DEST_PATH_IMAGE003
像素点的能量算子；i为像素点的横坐标值；j为像素点的纵坐标值。
通过这种方式，相较于空间频率算子，本申请的能量空间频率算子不仅能够有效检测细节层中的梯度信息，还能有效检测到其中的能量信息，使得融合图像能在最大程度上保留细节层图像中的非显著边缘信息。
可选地，本申请提供的基于扩展高斯差分和引导滤波的图像融合方法，最终融合图像的计算公式如下：
Figure 676197DEST_PATH_IMAGE020
其中，
Figure DEST_PATH_IMAGE021
为最终融合图像的
Figure 999862DEST_PATH_IMAGE003
像素点的像素值；
Figure 215818DEST_PATH_IMAGE022
为最终融合图像的细节层图像的
Figure 345448DEST_PATH_IMAGE003
像素点的像素值;
Figure 363082DEST_PATH_IMAGE024
代表第一源图像A的第二最终决策图的
Figure 100002_DEST_PATH_IMAGE025
像素点的像素值；
Figure 100002_DEST_PATH_IMAGE027
代表第一源图像B的第二最终决策图的
Figure 293867DEST_PATH_IMAGE025
像素点的像素值；
Figure 498583DEST_PATH_IMAGE028
为第一源图像A的第二细节层的
Figure 104008DEST_PATH_IMAGE025
像素点的像素值；
Figure 100002_DEST_PATH_IMAGE029
为第一源图像B的第二细节层的
Figure 710570DEST_PATH_IMAGE025
像素点的像素值；
Figure 703934DEST_PATH_IMAGE030
为第一能量层的
Figure 386761DEST_PATH_IMAGE025
像素点的像素值。
本申请提供的基于扩展高斯差分和引导滤波的图像融合方法，通过获取多张第一源图像；基于绝对值取大的融合规则，对多张第一源图像两两进行初步融合，以获取初始融合图像；使用均值滤波方法将初始融合图像和初始融合图像对应的两张第二源图像进行分离处理，以获取初始融合图像的第一能量层和两张第二源图像的第二细节层；第二源图像为生成初始融合图像的第一源图像；根据各第二细节层分别获取对应的第一最终决策图；分别对各第一最终决策图进行引导滤波，以获取对应的第二最终决策图；根据第二最终决策图、第二细节层和第一能量层获取对应的最终融合图像。本申请提供的基于扩展高斯差分和引导滤波的图像融合方法，可以提取源图像中丰富的能量信息和完整保留源图像中完整的边缘信息，在图像融合任务中有良好的融合效果。
综上，本申请的基于扩展高斯差分和引导滤波的图像融合方法，可以提取源图像中丰富的能量信息和完整保留源图像中完整的边缘信息，在图像融合任务中有良好的融合效果，能得到一幅能量信息丰富和边缘信息较为完整的融合图像。
附图说明
图1为本申请提供的基于扩展高斯差分和引导滤波的图像融合方法的一种流程图。
具体实施方式
下面将结合本申请实施方式中附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。通常在此处附图中描述和示出的本申请实施方式的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施方式的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施方式。基于本申请的实施方式，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施方式中的基于扩展高斯差分和引导滤波的图像融合方法的流程图，其中，包括以下步骤：
S1.获取多张第一源图像；
S2.基于绝对值取大的融合规则，对多张第一源图像两两进行初步融合，以获取初始融合图像；
S3.使用均值滤波方法将初始融合图像和初始融合图像对应的两张第二源图像进行分离处理，以获取初始融合图像的第一能量层和两张第二源图像的第二细节层；第二源图像为生成初始融合图像的第一源图像；
S4.根据各第二细节层分别获取对应的第一最终决策图；
S5.分别对各第一最终决策图进行引导滤波，以获取对应的第二最终决策图；
S6.根据第二最终决策图、第二细节层和第一能量层获取对应的最终融合图像。
本申请的基于扩展高斯差分和引导滤波的图像融合方法，通过获取多张第一源图像；基于绝对值取大的融合规则，对多张第一源图像两两进行初步融合，以获取初始融合图像；使用均值滤波方法将初始融合图像和初始融合图像对应的两张第二源图像进行分离处理，以获取初始融合图像的第一能量层和两张第二源图像的第二细节层；第二源图像为生成初始融合图像的第一源图像；根据各第二细节层分别获取对应的第一最终决策图；分别对各第一最终决策图进行引导滤波，以获取对应的第二最终决策图；根据第二最终决策图、第二细节层和第一能量层获取对应的最终融合图像。本申请提供的基于扩展高斯差分和引导滤波的图像融合方法，可以提取源图像中丰富的能量信息和完整保留源图像中完整的边缘信息，在图像融合任务中有良好的融合效果。
步骤S1中，第一源图像的获取方式为现有技术，在此本申请不再赘述。
步骤S2中，绝对值取大的融合规则具体如下：以第一源图像A和第一源图像B为例，首先通过比较第一源图像A和第一源图像B的像素尺寸，生成一张初始的二值决策图（初始的二值决策图的各像素点的像素值可以为预设值，例如均为0，但不限于此），具体的，该二值决策图中包含多个第一像素点，第一源图像A包含多个第二像素点，第一源图像B包含多个第三像素点，其中第一像素点、第二像素点和第三像素点的位置和数量均相同；然后开始对二值决策图的第一像素点进行赋值，具体的，选取其中一个第一像素点，找到对应位置的第二像素点和第三像素点，比较第二像素点和第三像素点的像素值大小，若第二像素点的像素值大小＞第三像素点的像素值大小，则将第一像素点（的像素值）赋值为1，其他情况则将第一像素点赋值为0。重复以上操作，便可以获得一张二值决策图，然后根据以下公式计算，以获取初始融合图像：
Figure DEST_PATH_IMAGE031
其中，i和j 分别为像素点的横坐标值和纵坐标值；
Figure 795876DEST_PATH_IMAGE032
为初始融合图像的
Figure 788103DEST_PATH_IMAGE025
像素点（即第一像素点）的像素值；
Figure DEST_PATH_IMAGE033
为第一源图像A的
Figure 155630DEST_PATH_IMAGE025
像素点（即第二像素点）的像素值；
Figure 567895DEST_PATH_IMAGE034
为第一源图像B的
Figure 577439DEST_PATH_IMAGE025
像素点（即第三像素点）的像素值；
Figure DEST_PATH_IMAGE035
为二值决策图的
Figure 158593DEST_PATH_IMAGE025
像素点的像素值。
通过使用绝对值取大的方法，可以使得初始融合图像结合两张第一源图像中的像素点，从而使初始融合图像包含更多的能量信息。
在一些实施方式中，步骤S3包括：
S301.获取初始融合图像的第一能量层和第二源图像的第二能量层；
S302.根据第二能量层和第二源图像计算第二细节层。
步骤S301中，获取第二源图像的第二能量层可通过均值滤波方法，具体先根据以下公式实现对初始融合图像和初始融合图像对应的两张第二源图像（即第一源图像A和第一源图像B）的分离处理：
Figure 228181DEST_PATH_IMAGE036
Figure DEST_PATH_IMAGE037
Figure 363627DEST_PATH_IMAGE038
其中，
Figure DEST_PATH_IMAGE039
为第一源图像A的第二能量层的
Figure 144239DEST_PATH_IMAGE025
像素点的像素值；
Figure 111058DEST_PATH_IMAGE040
为第一源图像B的第二能量层的
Figure 85967DEST_PATH_IMAGE025
像素点的像素值；
Figure 771026DEST_PATH_IMAGE030
为第一能量层的
Figure 122373DEST_PATH_IMAGE025
像素点的像素值；*为卷积符号；Z为均值滤波器函数,为现有技术。
然后根据以下公式获取两张第二源图像（即第一源图像A和第一源图像B）的第二细节层：
Figure DEST_PATH_IMAGE041
Figure 209278DEST_PATH_IMAGE042
其中，
Figure 355088DEST_PATH_IMAGE028
为第一源图像A的第二细节层的
Figure 760400DEST_PATH_IMAGE025
像素点的像素值；
Figure 915437DEST_PATH_IMAGE029
为第一源图像B的第二细节层的
Figure 591269DEST_PATH_IMAGE025
像素点的像素值。
在实际应用中，为了使得最终融合图像含有更加丰富的能量层信息，本发明直接将初始融合图像的第一能量层作为最终融合图像的能量层。通过使用均值滤波方法，可以提高分离的效率。
在一些实施方式中，步骤S4包括：
S401.基于边缘特征提取算子，分别对各第二细节层进行边缘特征提取，以生成对应的边缘信息决策图；
S402.基于空间频率算子，分别对各边缘信息决策图进行优化，以获取对应的第一最终决策图。
在进一步的实施方式中，步骤S401包括：
使用扩展高斯差分分别对各第二细节层进行边缘特征提取，以生成对应的边缘信息决策图。
具体的，根据以下公式计算高斯差分变体：
Figure DEST_PATH_IMAGE043
其中，
Figure 376823DEST_PATH_IMAGE044
为高斯差分变体；
Figure DEST_PATH_IMAGE045
和
Figure 239737DEST_PATH_IMAGE046
均为高斯平滑滤波函数；
Figure 932886DEST_PATH_IMAGE047
为检测出的物体边缘轮廓的权重；
Figure DEST_PATH_IMAGE048
为空间域内高斯分布的标准差；
Figure 696181DEST_PATH_IMAGE049
代表像素点的二维坐标，即像素点
Figure 449373DEST_PATH_IMAGE025
；
Figure DEST_PATH_IMAGE050
为该像素点的向量的模；k为精确近似和合适灵敏度之间的权衡参数。
优选地，
Figure 330741DEST_PATH_IMAGE047
取0.98；k取1.6；
Figure 827582DEST_PATH_IMAGE048
取0.8。高斯平滑滤波函数和像素点的二维坐标的获取方式为现有技术。
在实际应用中，扩展高斯差分滤波描述了是否捕捉到了邻近边缘的形状和结构，从而使得每个像素都比它的邻域像素更亮。因此可以设定一个阈值，具体如下：
Figure 478006DEST_PATH_IMAGE051
其中，
Figure DEST_PATH_IMAGE052
是
Figure 870941DEST_PATH_IMAGE025
像素点的高斯的差分变体和第一源图像A的
Figure 472561DEST_PATH_IMAGE025
像素点的乘积，为
Figure 507514DEST_PATH_IMAGE053
；
Figure 12444DEST_PATH_IMAGE054
为连续斜坡因子,
Figure 107439DEST_PATH_IMAGE055
为设定好的阈值，此处取200；
Figure 697820DEST_PATH_IMAGE056
是一个预设值，取0.1；
Figure 802043DEST_PATH_IMAGE057
为双曲正切函数；
Figure 427059DEST_PATH_IMAGE058
为第一源图像A的扩展高斯差分滤波；
Figure DEST_PATH_IMAGE059
为
Figure 394753DEST_PATH_IMAGE025
像素点的高斯差分变体；
Figure 472430DEST_PATH_IMAGE033
为第一源图像A的
Figure 849185DEST_PATH_IMAGE025
像素点（即第二像素点）的像素值。
同理，可以得到第一源图像B的扩展高斯差分滤波:
Figure 328708DEST_PATH_IMAGE060
其中，
Figure 765505DEST_PATH_IMAGE052
是
Figure 127217DEST_PATH_IMAGE025
像素点的高斯的差分变体和第一源图像B的
Figure 307662DEST_PATH_IMAGE025
像素点的乘积，为
Figure DEST_PATH_IMAGE061
；
Figure 376112DEST_PATH_IMAGE054
为连续斜坡因子,
Figure 482346DEST_PATH_IMAGE055
为设定好的阈值，此处取200；
Figure 269037DEST_PATH_IMAGE056
取0.1；
Figure 253173DEST_PATH_IMAGE062
为第一源图像B的扩展高斯差分滤波；
Figure 707288DEST_PATH_IMAGE059
为
Figure 220309DEST_PATH_IMAGE025
像素点的高斯差分变体；
Figure 759875DEST_PATH_IMAGE034
为第一源图像B的
Figure 577396DEST_PATH_IMAGE025
像素点（即第三像素点）的像素值。
最后，通过比较两个扩展高斯差分滤波得到的图像，可以得到第一源图像A和第一源图像B分别对应的边缘信息决策图，具体计算公式如下：
Figure DEST_PATH_IMAGE063
其中，
Figure 259919DEST_PATH_IMAGE064
为第一源图像A的边缘信息决策图的
Figure 475000DEST_PATH_IMAGE025
像素点的像素值。
同理，可以得到第一源图像B的边缘信息决策图
Figure DEST_PATH_IMAGE065
：
Figure 970703DEST_PATH_IMAGE066
其中，
Figure 31063DEST_PATH_IMAGE065
为第二源图像B的边缘信息决策图的
Figure 459770DEST_PATH_IMAGE025
像素点的像素值。
通过这种方式，可以使最终融合图像的边界更加清晰。
在一些实施方式中，由于空间频率源于人类视觉系统，可以表示图像的整体活动水平，并且能够提取细节层图像中的梯度信息。
因此，步骤S402中，可以直接使用空间频率算子，对各边缘信息决策图进行优化，具体操作为现有技术，以获取对应的第一最终决策图。
虽然空间频率算子可以检测图像的大量梯度信息，但是，一些细节层中的能量信息难以检测识别。为了解决这个不足之处，本发明对传统的空间频率算子进行优化，提出能量空间频率算子。
因此在一些优选的实施方式中，步骤S402包括：
S4021.对空间频率算子进行优化计算，分别获取各第二源图像对应的能量空间频率算子；
S4022.分别使用各能量空间频率算子对各边缘信息决策图进行优化，以获取对应的第一最终决策图。
其中，能量空间频率算子的计算公式如下：
Figure DEST_PATH_IMAGE067
Figure 547550DEST_PATH_IMAGE068
其中，
Figure DEST_PATH_IMAGE069
代表第一源图像A的
Figure 468232DEST_PATH_IMAGE025
像素点的能量空间频率算子;
Figure 801125DEST_PATH_IMAGE070
代表第一源图像A的
Figure 84339DEST_PATH_IMAGE025
像素点的空间频率算子；
Figure DEST_PATH_IMAGE071
代表第一源图像A的
Figure 343019DEST_PATH_IMAGE025
像素点的能量算子；x和y分别表示离第一源图像A的像素点
Figure 78894DEST_PATH_IMAGE025
处的水平像素距离和垂直像素距离；w为第一源图像A的像素点
Figure 12215DEST_PATH_IMAGE025
处的邻域大小。其中，能量算子和空间频率算子为现有技术。
同理，可以获得第一源图像B的能量空间频率算子：
Figure 149935DEST_PATH_IMAGE072
Figure 612141DEST_PATH_IMAGE073
其中，
Figure 835312DEST_PATH_IMAGE074
代表第一源图像B的
Figure 306744DEST_PATH_IMAGE025
像素点的能量空间频率算子;
Figure 298971DEST_PATH_IMAGE075
代表第一源图像B的
Figure 430613DEST_PATH_IMAGE025
像素点的空间频率算子；
Figure 141080DEST_PATH_IMAGE076
代表第一源图像B的
Figure 150624DEST_PATH_IMAGE025
像素点的能量算子；x和y分别表示离第一源图像B的像素点
Figure 997358DEST_PATH_IMAGE025
处的水平像素距离和垂直像素距离；w为第一源图像B的像素点
Figure 270207DEST_PATH_IMAGE025
处的邻域大小。其中，能量算子和空间频率算子为现有技术。
根据以下公式获取对应的第一最终决策图：
Figure 999129DEST_PATH_IMAGE078
其中，
Figure 15626DEST_PATH_IMAGE079
代表第一源图像A的第一最终决策图的
Figure 513604DEST_PATH_IMAGE025
像素点的像素值。
同理，可以获得第一源图像B的第一最终决策图
Figure 455890DEST_PATH_IMAGE080
的
Figure 672107DEST_PATH_IMAGE025
像素点的像素值：
Figure 23454DEST_PATH_IMAGE082
通过这种方式，相较于空间频率算子，本申请的能量空间频率算子不仅能够有效检测细节层中的梯度信息，还能有效检测到其中的能量信息，使得融合图像能在最大程度上保留细节层图像中的非显著边缘信息。
步骤S5中，分别对各第一最终决策图进行引导滤波的具体计算公式如下：
Figure 844780DEST_PATH_IMAGE084
其中，
Figure DEST_PATH_IMAGE085
代表第一源图像A的第二最终决策图的
Figure 725011DEST_PATH_IMAGE025
像素点的像素值；
Figure DEST_PATH_IMAGE087
为引导滤波函数；
Figure 835049DEST_PATH_IMAGE088
取7；
Figure DEST_PATH_IMAGE089
取
Figure 957464DEST_PATH_IMAGE090
。
同理，可以获得第一源图像B的第二最终决策图:
Figure 633296DEST_PATH_IMAGE092
其中，
Figure DEST_PATH_IMAGE093
代表第一源图像B的第二最终决策图的
Figure 684429DEST_PATH_IMAGE025
像素点的像素值；
Figure 78501DEST_PATH_IMAGE087
为引导滤波函数；
Figure 37230DEST_PATH_IMAGE088
取7；
Figure 833147DEST_PATH_IMAGE089
取
Figure 842733DEST_PATH_IMAGE090
。
通过这种方式，可以使得得到的第二最终决策图的边缘更加平滑，较好地保留输入图像中的有用信息，且不引入任何伪影。
步骤S6中，最终融合图像的计算公式如下：
Figure DEST_PATH_IMAGE095
其中，
Figure 192943DEST_PATH_IMAGE096
为最终融合图像的
Figure 424204DEST_PATH_IMAGE025
像素点的像素值；
Figure DEST_PATH_IMAGE097
为最终融合图像的细节层图像的
Figure 543470DEST_PATH_IMAGE025
像素点的像素值。
由上可知，本申请的基于扩展高斯差分和引导滤波的图像融合方法，通过获取多张第一源图像；基于绝对值取大的融合规则，对多张第一源图像两两进行初步融合，以获取初始融合图像；使用均值滤波方法将初始融合图像和初始融合图像对应的两张第二源图像进行分离处理，以获取初始融合图像的第一能量层和两张第二源图像的第二细节层；第二源图像为生成初始融合图像的第一源图像；根据各第二细节层分别获取对应的第一最终决策图；分别对各第一最终决策图进行引导滤波，以获取对应的第二最终决策图；根据第二最终决策图、第二细节层和第一能量层获取对应的最终融合图像。本申请提供的基于扩展高斯差分和引导滤波的图像融合方法，可以提取源图像中丰富的能量信息和完整保留源图像中完整的边缘信息，在图像融合中有良好的融合效果。
在本申请所提供的实施方式中，应该理解到，所揭露系统和方法，可以通过其它的方式实现。以上所描述的系统实施方式仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施方式而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于扩展高斯差分和引导滤波的图像融合方法，其特征在于，包括以下步骤：
S1.获取多张第一源图像；
S2.基于绝对值取大的融合规则，对多张所述第一源图像两两进行初步融合，以获取初始融合图像；
S3.使用均值滤波方法将所述初始融合图像和所述初始融合图像对应的两张第二源图像进行分离处理，以获取所述初始融合图像的第一能量层和两张所述第二源图像的第二细节层；所述第二源图像为生成所述初始融合图像的第一源图像；
S4.根据各所述第二细节层分别获取对应的第一最终决策图；
S5.分别对各所述第一最终决策图进行引导滤波，以获取对应的第二最终决策图；
S6.根据所述第二最终决策图、所述第二细节层和所述第一能量层获取对应的最终融合图像。
2.根据权利要求1所述的基于扩展高斯差分和引导滤波的图像融合方法，其特征在于，步骤S2中，根据以下公式计算，以获取初始融合图像：
Figure DEST_PATH_IMAGE001
其中，i和j 分别为像素点的横坐标值和纵坐标值；A和B分别表示第一源图像A和第一源图像B的标识;
Figure 807900DEST_PATH_IMAGE002
为初始融合图像的
Figure DEST_PATH_IMAGE003
像素点的像素值；
Figure 513688DEST_PATH_IMAGE004
为第一源图像A的
Figure 691598DEST_PATH_IMAGE003
像素点的像素值；
Figure DEST_PATH_IMAGE005
为第一源图像B的
Figure 482836DEST_PATH_IMAGE003
像素点的像素值；
Figure 30492DEST_PATH_IMAGE006
为二值决策图的
Figure 872677DEST_PATH_IMAGE003
像素点的像素值。
3.根据权利要求1所述的基于扩展高斯差分和引导滤波的图像融合方法，其特征在于，步骤S3包括：
S301.获取所述初始融合图像的第一能量层和所述第二源图像的第二能量层；
S302.根据所述第二能量层和所述第二源图像计算所述第二细节层。
4.根据权利要求3所述的基于扩展高斯差分和引导滤波的图像融合方法，其特征在于，步骤S4包括：
S401.基于边缘特征提取算子，分别对各所述第二细节层进行边缘特征提取，以生成对应的边缘信息决策图；
S402.基于空间频率算子，分别对各所述边缘信息决策图进行优化，以获取对应的第一最终决策图。
5.根据权利要求4所述的基于扩展高斯差分和引导滤波的图像融合方法，其特征在于，步骤S401包括：
使用扩展高斯差分分别对各所述第二细节层进行边缘特征提取，以生成对应的所述边缘信息决策图。
6.根据权利要求5所述的基于扩展高斯差分和引导滤波的图像融合方法，其特征在于，步骤S401中，根据以下公式计算高斯差分变体：
Figure 113166DEST_PATH_IMAGE008
其中，
Figure 657280DEST_PATH_IMAGE010
为高斯差分变体；
Figure DEST_PATH_IMAGE011
和
Figure 851369DEST_PATH_IMAGE012
均为高斯平滑滤波函数；
Figure DEST_PATH_IMAGE013
为检测出的物体边缘轮廓的权重；
Figure 266170DEST_PATH_IMAGE014
为空间域内高斯分布的标准差；
Figure DEST_PATH_IMAGE015
代表像素点的二维坐标，即像素点
Figure 21768DEST_PATH_IMAGE003
；
Figure 928544DEST_PATH_IMAGE016
为该像素点
Figure 942636DEST_PATH_IMAGE003
的向量的模；k为精确近似和合适灵敏度之间的权衡参数。
7.根据权利要求4所述的基于扩展高斯差分和引导滤波的图像融合方法，其特征在于，步骤S402包括：
S4021.对所述空间频率算子进行优化计算，以分别获取各所述第二源图像对应的能量空间频率算子；
S4022.分别使用各所述能量空间频率算子对各所述边缘信息决策图进行优化，以获取对应的所述第一最终决策图。
8.根据权利要求7所述的基于扩展高斯差分和引导滤波的图像融合方法，其特征在于，所述能量空间频率算子的计算公式如下：
Figure DEST_PATH_IMAGE017
其中，
Figure 726790DEST_PATH_IMAGE018
为第二源图像的
Figure 309081DEST_PATH_IMAGE003
像素点的能量空间频率算子；
Figure DEST_PATH_IMAGE019
为第二源图像的
Figure 296629DEST_PATH_IMAGE003
像素点的空间频率算子；
Figure 865145DEST_PATH_IMAGE020
为第二源图像的
Figure 395483DEST_PATH_IMAGE003
像素点的能量算子。
9.根据权利要求1所述的基于扩展高斯差分和引导滤波的图像融合方法，其特征在于，最终融合图像的计算公式如下：
Figure 273309DEST_PATH_IMAGE022
其中，
Figure DEST_PATH_IMAGE023
为最终融合图像的
Figure 997421DEST_PATH_IMAGE003
像素点的像素值；
Figure 494261DEST_PATH_IMAGE024
为最终融合图像的细节层图像的
Figure 3740DEST_PATH_IMAGE003
像素点的像素值;
Figure DEST_PATH_IMAGE025
代表第一源图像A的第二最终决策图的
Figure 6462DEST_PATH_IMAGE003
像素点的像素值；
Figure 640706DEST_PATH_IMAGE026
代表第一源图像B的第二最终决策图的
Figure 800292DEST_PATH_IMAGE003
像素点的像素值；
Figure DEST_PATH_IMAGE027
为第一源图像A的第二细节层的
Figure 413544DEST_PATH_IMAGE003
像素点的像素值；
Figure 242960DEST_PATH_IMAGE028
为第一源图像B的第二细节层的
Figure 223554DEST_PATH_IMAGE003
像素点的像素值；
Figure DEST_PATH_IMAGE029
为第一能量层的
Figure 406405DEST_PATH_IMAGE003
像素点的像素值。
CN202211279027.XA 2022-10-19 2022-10-19 基于扩展高斯差分和引导滤波的图像融合方法 Active CN115358963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211279027.XA CN115358963B (zh) 2022-10-19 2022-10-19 基于扩展高斯差分和引导滤波的图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211279027.XA CN115358963B (zh) 2022-10-19 2022-10-19 基于扩展高斯差分和引导滤波的图像融合方法

Publications (2)

Publication Number Publication Date
CN115358963A true CN115358963A (zh) 2022-11-18
CN115358963B CN115358963B (zh) 2022-12-27

Family

ID=84008125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211279027.XA Active CN115358963B (zh) 2022-10-19 2022-10-19 基于扩展高斯差分和引导滤波的图像融合方法

Country Status (1)

Country Link
CN (1) CN115358963B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339998A (zh) * 2016-08-18 2017-01-18 南京理工大学 基于对比度金字塔变换的多聚焦图像融合方法
CN107689038A (zh) * 2017-08-22 2018-02-13 电子科技大学 一种基于稀疏表示和循环引导滤波的图像融合方法
AU2020100178A4 (en) * 2020-02-04 2020-03-19 Huang, Shuying DR Multiple decision maps based infrared and visible image fusion
US20210372938A1 (en) * 2020-05-29 2021-12-02 The Board Of Trustee Of The University Of Alabama Deep learning-based crack segmentation through heterogeneous image fusion
CN113822828A (zh) * 2021-08-18 2021-12-21 吉林大学 一种多聚焦图像融合方法
CN115205181A (zh) * 2022-09-15 2022-10-18 季华实验室 一种多聚焦图像融合方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339998A (zh) * 2016-08-18 2017-01-18 南京理工大学 基于对比度金字塔变换的多聚焦图像融合方法
CN107689038A (zh) * 2017-08-22 2018-02-13 电子科技大学 一种基于稀疏表示和循环引导滤波的图像融合方法
AU2020100178A4 (en) * 2020-02-04 2020-03-19 Huang, Shuying DR Multiple decision maps based infrared and visible image fusion
US20210372938A1 (en) * 2020-05-29 2021-12-02 The Board Of Trustee Of The University Of Alabama Deep learning-based crack segmentation through heterogeneous image fusion
CN113822828A (zh) * 2021-08-18 2021-12-21 吉林大学 一种多聚焦图像融合方法
CN115205181A (zh) * 2022-09-15 2022-10-18 季华实验室 一种多聚焦图像融合方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李树涛等: ""多源遥感图像融合发展现状与未来展望"", 《遥感学报》 *

Also Published As

Publication number Publication date
CN115358963B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
Varish et al. Image retrieval scheme using quantized bins of color image components and adaptive tetrolet transform
Mushrif et al. Color image segmentation: Rough-set theoretic approach
CN107392141B (zh) 一种基于显著性检测和lsd直线检测的机场提取方法
CN111144366A (zh) 一种基于联合人脸质量评估的陌生人脸聚类方法
EP3073443B1 (en) 3d saliency map
CN105809651A (zh) 基于边缘非相似性对比的图像显著性检测方法
Vardhan et al. Unsupervised approach for object matching using speeded up robust features
CN112801031A (zh) 静脉图像识别方法、装置、电子设备及可读存储介质
CN112101283A (zh) 一种交通标志智能识别方法及系统
Kim et al. Generalized facial manipulation detection with edge region feature extraction
Feng Mobile terminal video image fuzzy feature extraction simulation based on SURF virtual reality technology
Recio et al. Three-step approach to edge detection of texts
Grigoryan et al. Color facial image representation with new quaternion gradients
CN115358963B (zh) 基于扩展高斯差分和引导滤波的图像融合方法
CN113361321A (zh) 一种红外小目标检测方法及装置
Dixit et al. Copy-move image forgery detection a review
CN115063578B (zh) 芯片图像中目标对象检测与定位方法、装置及存储介质
Varkonyi-Koczy Fuzzy logic supported corner detection
Dixit et al. Copy-move image forgery detection using frequency-based techniques: a review
Nasr-Isfahani et al. A new approach for touching cells segmentation
Rhee Gaussian filtering detection using band pass residual and contrast of forgery image
Youssef et al. Color image edge detection method based on multiscale product using Gaussian function
Salau An effective graph-cut segmentation approach for license plate detection
Kale et al. Lung cancer prognosis by implementing various evolutionary Image processing steps
Smacki et al. The lip print recognition using Hough transform

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant