CN111681198A - 一种形态学属性滤波多模融合成像方法、系统及介质 - Google Patents
一种形态学属性滤波多模融合成像方法、系统及介质 Download PDFInfo
- Publication number
- CN111681198A CN111681198A CN202010798176.1A CN202010798176A CN111681198A CN 111681198 A CN111681198 A CN 111681198A CN 202010798176 A CN202010798176 A CN 202010798176A CN 111681198 A CN111681198 A CN 111681198A
- Authority
- CN
- China
- Prior art keywords
- image
- infrared image
- fused
- filtering
- weight map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 74
- 230000004927 fusion Effects 0.000 title claims abstract description 61
- 238000003384 imaging method Methods 0.000 title claims abstract description 43
- 230000000877 morphologic effect Effects 0.000 title claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 29
- 230000011218 segmentation Effects 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 125000004432 carbon atom Chemical group C* 0.000 claims description 10
- 230000003044 adaptive effect Effects 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002054 transplantation Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种形态学属性滤波多模融合成像方法，包括对待融合的红外图像进行形态学属性的滤波操作、求取自适应分割阈值、进行二值化，得到红外图像权重图；对红外图像权重图进行边缘保持滤波；根据红外图像权重图计算得到可见光图像权重图，分别对待融合的可见光图像、待融合的红外图像、红外图像权重图、可见光图像权重图构建图像金字塔；对待融合的可见光图像、红外图像、权重的图像金字塔融合得到融合、重构得到最终融合结果。本发明形态学属性滤波多模融合成像方法能够利用图像处理手段进行快速稳定的多模融合成像，融合成像结果能够有效保留红外图像中的显著目标以及可见图像中的边缘和纹理细节，同时具有计算效率高、通用性好的优点。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种形态学属性滤波多模融合成像方法、系统及介质。
背景技术
融合成像技术是一种图像增强技术，其目的是综合利用不同类型传感器获取的多源图像，生成具有鲁棒性同时信息丰富的融合图像，以便于后续处理和决策。随着传感器技术的飞速发展，各类复杂应用需求的出现，需要相关场景的全面信息，以增强对各种条件的理解。而同一类型的传感器仅能从一个方面获取信息，无法提供所有必需的信息，因此，融合成像技术在计算机视觉等应用中发挥着越来越重要的作用。
一个优秀的融合成像方法的关键是有效的图像信息提取和适当的融合原则，它允许从源图像中提取有用的信息并集成到融合图像中，而不会在融合过程中引入任何伪影。现有的图像融合成像方法可以大致分为多尺度转换法、稀疏表示法、子空间法、显著性图法和近年发展迅猛的深度学习法，它们都有具有各自的特点，但是计算效率低、难以同时保留红外图像中的显著目标以及可见图像中的边缘和纹理细节等缺陷的存在，一定程度上影响了融合成像方法在真实场景中的应用。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种形态学属性滤波多模融合成像方法、系统及介质，本发明形态学属性滤波多模融合成像方法能够利用图像处理手段进行快速稳定的多模融合成像，能够有效保留红外图像中的显著目标以及可见图像中的边缘和纹理细节，同时具有计算效率高、通用性好的优点。
为了解决上述技术问题，本发明采用的技术方案为：
一种形态学属性滤波多模融合成像方法，该方法包括：
1）对待融合的红外图像进行形态学属性的滤波操作；
2）对滤波操作后的红外图像求取自适应分割阈值；
3）根据自适应分割阈值对滤波操作后的红外图像进行二值化，得到红外图像权重图W ir ；
4）对红外图像权重图W ir 进行边缘保持滤波；
5）根据红外图像权重图W ir 确定可见光图像权重图W vis ，分别对待融合的可见光图像、待融合的红外图像、红外图像权重图W ir 、可见光图像权重图W vis 构建图像金字塔；
6）对待融合的可见光图像、待融合的红外图像、红外图像权重图W ir 、可见光图像权重图W vis 的图像金字塔的每一层进行融合得到融合结果；
7）将融合结果的图像金字塔进行重构，得到最终的融合结果。
可选地，步骤1）中进行形态学属性的滤波操作具体包括：对待融合的红外图像获取各个连通区域的面积，并将连通区域的面积小于等于预设阈值的连通区域过滤。
可选地，步骤2）中求取自适应分割阈值具体是指对滤波操作后的红外图像，根据灰度的取值区间遍历计算类间方差，找到类间方差取值最大时对应的灰度阈值T作为自适应分割阈值；
其中类间方差的计算函数表达式如下式所示：
上式中，g表示类间方差，以灰度阈值T将滤波操作后的红外图像分割为前景和背景时，ω 1为前景像素点数与整幅图像像素点数的比值，μ 1为前景像素点的平均灰度值；ω 2为背景像素点数与整幅图像像素点的比值，μ 2为背景像素点的平均灰度值；μ为滤波操作后的红外图像的平均灰度；
或者类间方差的计算函数表达式如下式所示：
上式中，g表示类间方差，以灰度阈值T将滤波操作后的红外图像分割为前景和背景时，ω 1为前景像素点数与整幅图像像素点数的比值，μ 1为前景像素点的平均灰度值；ω 2为背景像素点数与整幅图像像素点的比值，μ 2为背景像素点的平均灰度值。
可选地，步骤3）中得到的红外图像权重图W ir 为M×N的矩阵，其中每一个元素为对应坐标点的二值化结果，且二值化结果为1或0；其中M为待融合的红外图像的长度，N为待融合的红外图像的宽度。
可选地，步骤4）中对红外图像权重图W ir 进行边缘保持滤波具体是指利用原始的待融合的红外图像作为引导图像，对得到的红外图像权重图W ir 进行边缘保持滤波操作以使得边缘平滑。
可选地，步骤5）中根据红外图像权重图W ir 确定可见光图像权重图W vis 具体为通过W vis =1-W ir 得到。
可选地，步骤5）中构建图像金字塔时，待融合的可见光图像、待融合的红外图像采用拉普拉斯金字塔分解构建图像金字塔、红外图像权重图W ir 、可见光图像权重图W vis 采用高斯金字塔分解构建图像金字塔，且图像金字塔的层数设置为4～6层。
可选地，步骤6）中每一层进行融合的函数表达式如下式所示：
上式中，I F 表示该层的融合结果，I vis 为待融合的可见光图像，I ir 为待融合的红外图像，W vis 为可见光图像权重图，W ir 为红外图像权重图。
此外，本发明还提供一种形态学属性滤波多模融合成像系统，包括计算机设备，该计算机设备被编程或配置以执行所述形态学属性滤波多模融合成像方法的步骤，或该计算机设备的存储器中存储有被编程或配置以执行所述形态学属性滤波多模融合成像方法的计算机程序。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述形态学属性滤波多模融合成像方法的计算机程序。
和现有技术相比，本发明具有下述优点：
1）目标提取效率高。形态学属性滤波能够有效地提取亮或暗的连通域，而红外图像中的重要目标都是以较亮和较暗的连通域形式存在，因此形态学属性滤波非常适合处理红外图像中的重要目标，能够极大地提高图像的处理效率。
2）融合图像质量高。本发明成像结果能够有效保留红外图像中的显著目标以及可见图像中的边缘和纹理细节。
3）计算效率高。本发明与传统基于图像处理的融合成像方法相比，只需对图像进行计算复杂度较低的形态学滤波，因此在处理速度方面具有明显的优势。
4）通用性高。本发明的方法对硬件和软件环境依赖低，通用性高，便于移植。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为本发明实施例方法的基本流程图。
图2 为本发明实施例中待融合的可见光图像。
图3 为本发明实施例中待融合的红外图像。
图4为本发明实施例中的融合成像结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合流程图与实施例，对本发明实施例中的技术方案进行详尽的说明与描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本实施例形态学属性滤波多模融合成像方法包括：
1）对待融合的红外图像（参见图3）进行形态学属性的滤波操作；
2）对滤波操作后的红外图像求取自适应分割阈值；
3）根据自适应分割阈值对滤波操作后的红外图像进行二值化，得到红外图像权重图W ir ；
4）对红外图像权重图W ir 进行边缘保持滤波；
5）根据红外图像权重图W ir 确定可见光图像权重图W vis ，分别对待融合的可见光图像、待融合的红外图像、红外图像权重图W ir 、可见光图像权重图W vis 构建图像金字塔；
6）对待融合的可见光图像（参见图2，源图为彩色，此处已灰度化处理）、待融合的红外图像、红外图像权重图W ir 、可见光图像权重图W vis 的图像金字塔的每一层进行融合得到融合结果；
7）将融合结果的图像金字塔进行重构，得到最终的融合结果（参见图4，源图为彩色，此处已灰度化处理）。
本实施例中，步骤1）中进行形态学属性的滤波操作具体包括：对待融合的红外图像获取各个连通区域的面积，并将连通区域的面积小于等于预设阈值的连通区域过滤。本实施例中使用的属性滤波方法是面积属性滤波，可通过像素点递归或边界链码获得一个连通区域的面积。面积滤波ΦA准则具体如式（4）所示：
上式中，当连通区域的面积A x 大于预设阈值T area 时，该连通区域X保留; 当连通区域的面积A x 小于等于预设阈值T area 时，该连通区域X将被滤除，即设置为空集。
阈值分割是一种基于区域的图像分割技术，将图像像素点分为若干类。它是一种传统的最常用的图像分割方法，具有实现简单、计算量小、性能较稳定的优点，适用于目标和背景占据不同灰度级范围的图像。本实施例，步骤2）中求取自适应分割阈值具体是指对滤波操作后的红外图像，根据灰度的取值区间遍历计算类间方差，找到类间方差取值最大时对应的灰度阈值T作为自适应分割阈值；
其中类间方差的计算函数表达式如下式所示：
上式中，g表示类间方差，以灰度阈值T将滤波操作后的红外图像分割为前景和背景时，ω 1为前景像素点数与整幅图像像素点数的比值，μ 1为前景像素点的平均灰度值；ω 2为背景像素点数与整幅图像像素点的比值，μ 2为背景像素点的平均灰度值；μ为滤波操作后的红外图像的平均灰度；
或者类间方差的计算函数表达式如下式所示：
上式中，g表示类间方差，以灰度阈值T将滤波操作后的红外图像分割为前景和背景时，ω 1为前景像素点数与整幅图像像素点数的比值，μ 1为前景像素点的平均灰度值；ω 2为背景像素点数与整幅图像像素点的比值，μ 2为背景像素点的平均灰度值。
在本实施例中使用的阈值分割方法是最大类间方差法，对于红外图像，前景和背景的分割阈值为T时，ω 1为前景像素点数与整幅图像像素点数的比值，μ 1为前景像素点的平均灰度值；ω 2为背景像素点数与整幅图像像素点的比值，μ 2为背景像素点的平均灰度值。图像的平均灰度记为μ，类间方差记为g。图像的大小为M×N，图像中像素的灰度值小于灰度阈值T的像素个数记作N 1 ,像素灰度大于灰度阈值T的像素个数记作N 2 ，既可以采用遍历的方法寻找式（5）的类间方差最大值，对应的阈值，即为所求。此外，为了降低计算量，还可以采用等价公式（6）计算自适应阈值。
二值化方式即为遍历红外图像的每一个点，将像素值大于自适应分割阈值的点标记为1，其他小于自适应阈值的点标为0。本实施例中，步骤3）中得到的红外图像权重图W ir 为M×N的矩阵，其中每一个元素为对应坐标点的二值化结果，且二值化结果为1或0；其中M为待融合的红外图像的长度，N为待融合的红外图像的宽度。
本实施例中，步骤4）中对红外图像权重图W ir 进行边缘保持滤波具体是指利用原始的待融合的红外图像作为引导图像，对得到的红外图像权重图W ir 进行边缘保持滤波操作以使得边缘平滑。由于形态学属性滤波获得的初始权重图与对象边缘的边界没有很好地对齐，如果将该权重图直接应用于融合，则会在融合图像中引入噪声或物体边缘伪影。为了克服这个问题，应该考虑权重图的空间一致性。边缘保持滤波是一种在保留边缘的同时平滑图像的过滤技术，利用原始的待融合的红外图像作为引导图像，对得到的红外图像权重图W ir 进行边缘保持滤波操作以使得边缘平滑，有利于消除融合目标部分的边缘突变效应，使融合结果更自然。具体而言，本实施例中采用的滤波器如下式所示：
上式中，U i 表示滤波结果图像的第i个像素点，I表示输入图像，δ s 和δ r 是两个用于调整滤波平滑度的参数，i为图像的像素点个数，G j 是引导图像的第j个像素点，G j-1 是引导图像的第j-1个像素点，G是引导图像，用以指导需要保留的图像边缘。
本实施例中，步骤5）中根据红外图像权重图W ir 确定可见光图像权重图W vis 具体为通过W vis =1-W ir 得到。
本实施例中，步骤5）中构建图像金字塔时，待融合的可见光图像、待融合的红外图像采用拉普拉斯金字塔分解构建图像金字塔、红外图像权重图W ir 、可见光图像权重图W vis 采用高斯金字塔分解构建图像金字塔，图像金字塔分解的层数将根据图像大小自动设置。可选的，为了提升融合成像结果中红外目标的显示度，根据多次实验所获得的经验，本实施例中将图像金字塔的层数设置为4～6层。
本实施例中，步骤6）中每一层进行融合的函数表达式如下式所示：
上式中，I F 表示该层的融合结果，I vis 为待融合的可见光图像，I ir 为待融合的红外图像，W vis 为可见光图像权重图，W ir 为红外图像权重图。
本实施例形态学属性滤波多模融合成像方法是在Microsoft Visual Studio2015集成开发环境下，结合开源的OpenCV机器视觉图像处理库，采用C++编写程序的算法代码，可在WINDOWS 7及以上操作系统，包括嵌入式系统环境中稳定运行。本实施例形态学属性滤波多模融合成像方法能够利用图像处理手段进行快速稳定的多模融合成像，能够有效保留红外图像中的显著目标以及可见图像中的边缘和纹理细节，同时具有计算效率高、通用性好的优点。
此外，本实施例还提供一种形态学属性滤波多模融合成像系统，包括计算机设备，该计算机设备被编程或配置以执行前述形态学属性滤波多模融合成像方法的步骤，或者该计算机设备的存储器中存储有被编程或配置以执行前述形态学属性滤波多模融合成像方法的计算机程序。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述形态学属性滤波多模融合成像方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种形态学属性滤波多模融合成像方法，其特征在于，该方法包括：
1）对待融合的红外图像进行形态学属性的滤波操作；
2）对滤波操作后的红外图像求取自适应分割阈值；
3）根据自适应分割阈值对滤波操作后的红外图像进行二值化，得到红外图像权重图W ir ；
4）对红外图像权重图W ir 进行边缘保持滤波；
5）根据红外图像权重图W ir 确定可见光图像权重图W vis ，分别对待融合的可见光图像、待融合的红外图像、红外图像权重图W ir 、可见光图像权重图W vis 构建图像金字塔；
6）对待融合的可见光图像、待融合的红外图像、红外图像权重图W ir 、可见光图像权重图W vis 的图像金字塔的每一层进行融合得到融合结果；
7）将融合结果的图像金字塔进行重构，得到最终的融合结果。
2.根据权利要求1所述的形态学属性滤波多模融合成像方法，其特征在于，步骤1）中进行形态学属性的滤波操作具体包括：对待融合的红外图像获取各个连通区域的面积，并将连通区域的面积小于等于预设阈值的连通区域过滤。
3.根据权利要求1所述的形态学属性滤波多模融合成像方法，其特征在于，步骤2）中求取自适应分割阈值具体是指对滤波操作后的红外图像，根据灰度的取值区间遍历计算类间方差，找到类间方差取值最大时对应的灰度阈值T作为自适应分割阈值；
其中类间方差的计算函数表达式如下式所示：
上式中，g表示类间方差，以灰度阈值T将滤波操作后的红外图像分割为前景和背景时，ω 1为前景像素点数与整幅图像像素点数的比值，μ 1为前景像素点的平均灰度值；ω 2为背景像素点数与整幅图像像素点的比值，μ 2为背景像素点的平均灰度值；μ为滤波操作后的红外图像的平均灰度；
或者类间方差的计算函数表达式如下式所示：
上式中，g表示类间方差，以灰度阈值T将滤波操作后的红外图像分割为前景和背景时，ω 1为前景像素点数与整幅图像像素点数的比值，μ 1为前景像素点的平均灰度值；ω 2为背景像素点数与整幅图像像素点的比值，μ 2为背景像素点的平均灰度值。
4.根据权利要求1所述的形态学属性滤波多模融合成像方法，其特征在于，步骤3）中得到的红外图像权重图W ir 为M×N的矩阵，其中每一个元素为对应坐标点的二值化结果，且二值化结果为1或0；其中M为待融合的红外图像的长度，N为待融合的红外图像的宽度。
5.根据权利要求1所述的形态学属性滤波多模融合成像方法，其特征在于，步骤4）中对红外图像权重图W ir 进行边缘保持滤波具体是指利用原始的待融合的红外图像作为引导图像，对得到的红外图像权重图W ir 进行边缘保持滤波操作以使得边缘平滑。
6.根据权利要求1所述的形态学属性滤波多模融合成像方法，其特征在于，步骤5）中根据红外图像权重图W ir 确定可见光图像权重图W vis 具体为通过W vis =1-W ir 得到。
7.根据权利要求1所述的形态学属性滤波多模融合成像方法，其特征在于，步骤5）中构建图像金字塔时，待融合的可见光图像、待融合的红外图像采用拉普拉斯金字塔分解构建图像金字塔、红外图像权重图W ir 、可见光图像权重图W vis 采用高斯金字塔分解构建图像金字塔，且图像金字塔的层数设置为4～6层。
8.根据权利要求1所述的形态学属性滤波多模融合成像方法，其特征在于，步骤6）中每一层进行融合的函数表达式如下式所示：
上式中，I F 表示该层的融合结果，I vis 为待融合的可见光图像，I ir 为待融合的红外图像，W vis 为可见光图像权重图，W ir 为红外图像权重图。
9.一种形态学属性滤波多模融合成像系统，包括计算机设备，其特征在于，该计算机设备被编程或配置以执行权利要求1～8中任意一项所述形态学属性滤波多模融合成像方法的步骤，或者该计算机设备的存储器中存储有被编程或配置以执行权利要求1～8中任意一项所述形态学属性滤波多模融合成像方法的计算机程序。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述形态学属性滤波多模融合成像方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010798176.1A CN111681198A (zh) | 2020-08-11 | 2020-08-11 | 一种形态学属性滤波多模融合成像方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010798176.1A CN111681198A (zh) | 2020-08-11 | 2020-08-11 | 一种形态学属性滤波多模融合成像方法、系统及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111681198A true CN111681198A (zh) | 2020-09-18 |
Family
ID=72458220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010798176.1A Pending CN111681198A (zh) | 2020-08-11 | 2020-08-11 | 一种形态学属性滤波多模融合成像方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111681198A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634183A (zh) * | 2020-11-05 | 2021-04-09 | 北京迈格威科技有限公司 | 图像处理方法及装置 |
| CN113643219A (zh) * | 2021-08-03 | 2021-11-12 | 武汉三江中电科技有限责任公司 | 一种基于三光融合的图像成像方法及装置 |
| CN113781375A (zh) * | 2021-09-10 | 2021-12-10 | 厦门大学 | 一种基于多曝光融合的车载视觉增强方法 |
| CN114529794A (zh) * | 2022-04-20 | 2022-05-24 | 湖南大学 | 一种红外与可见光图像融合方法、系统及介质 |
| CN116681637A (zh) * | 2023-08-03 | 2023-09-01 | 国网安徽省电力有限公司超高压分公司 | 特高压换流变压器红外与可见光监测图像融合方法及系统 |
| CN117146780A (zh) * | 2023-10-31 | 2023-12-01 | 季华实验室 | 成像方法、终端设备及介质 |
| CN117664351A (zh) * | 2023-11-16 | 2024-03-08 | 湖南元智电集控科技有限公司 | 基于双目成像仪的电力设备温度监测方法及系统 |
| CN117893870A (zh) * | 2024-03-14 | 2024-04-16 | 大连云智信科技发展有限公司 | 基于ir热成像的畜牧兽医用动物体温检测系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103714548A (zh) * | 2013-12-27 | 2014-04-09 | 西安电子科技大学 | 基于视觉注意的红外图像与可见光图像配准方法 |
| CN107784642A (zh) * | 2016-08-26 | 2018-03-09 | 北京航空航天大学 | 一种红外视频和可见光视频自适应融合方法 |
| CN108364272A (zh) * | 2017-12-30 | 2018-08-03 | 广东金泽润技术有限公司 | 一种高性能红外-可见光融合探测方法 |
| CN109035189A (zh) * | 2018-07-17 | 2018-12-18 | 桂林电子科技大学 | 基于柯西模糊函数的红外与弱可见光图像融合方法 |
| CN111080724A (zh) * | 2019-12-17 | 2020-04-28 | 大连理工大学 | 一种红外和可见光的融合方法 |
-
2020
- 2020-08-11 CN CN202010798176.1A patent/CN111681198A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103714548A (zh) * | 2013-12-27 | 2014-04-09 | 西安电子科技大学 | 基于视觉注意的红外图像与可见光图像配准方法 |
| CN107784642A (zh) * | 2016-08-26 | 2018-03-09 | 北京航空航天大学 | 一种红外视频和可见光视频自适应融合方法 |
| CN108364272A (zh) * | 2017-12-30 | 2018-08-03 | 广东金泽润技术有限公司 | 一种高性能红外-可见光融合探测方法 |
| CN109035189A (zh) * | 2018-07-17 | 2018-12-18 | 桂林电子科技大学 | 基于柯西模糊函数的红外与弱可见光图像融合方法 |
| CN111080724A (zh) * | 2019-12-17 | 2020-04-28 | 大连理工大学 | 一种红外和可见光的融合方法 |
Non-Patent Citations (4)
| Title |
|---|
| 朱浩然 等: "基于对比度增强与多尺度边缘保持分解的红外与可见光图像融合", 《电子与信息学报》 * |
| 王立国，赵春晖著: "《高光谱图像处理技术[M]》", 31 May 2013 * |
| 秦琴 等: "基于边缘增强的红外图像二值化算法", 《科学技术与工程》 * |
| 陈峰 等: "基于滚动引导滤波的红外与可见光图像融合算法", 《红外技术》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634183B (zh) * | 2020-11-05 | 2024-10-15 | 北京迈格威科技有限公司 | 图像处理方法及装置 |
| CN112634183A (zh) * | 2020-11-05 | 2021-04-09 | 北京迈格威科技有限公司 | 图像处理方法及装置 |
| CN113643219A (zh) * | 2021-08-03 | 2021-11-12 | 武汉三江中电科技有限责任公司 | 一种基于三光融合的图像成像方法及装置 |
| CN113643219B (zh) * | 2021-08-03 | 2023-11-24 | 武汉三江中电科技有限责任公司 | 一种基于三光融合的图像成像方法及装置 |
| CN113781375A (zh) * | 2021-09-10 | 2021-12-10 | 厦门大学 | 一种基于多曝光融合的车载视觉增强方法 |
| CN113781375B (zh) * | 2021-09-10 | 2023-12-08 | 厦门大学 | 一种基于多曝光融合的车载视觉增强方法 |
| CN114529794A (zh) * | 2022-04-20 | 2022-05-24 | 湖南大学 | 一种红外与可见光图像融合方法、系统及介质 |
| CN116681637A (zh) * | 2023-08-03 | 2023-09-01 | 国网安徽省电力有限公司超高压分公司 | 特高压换流变压器红外与可见光监测图像融合方法及系统 |
| CN116681637B (zh) * | 2023-08-03 | 2024-01-02 | 国网安徽省电力有限公司超高压分公司 | 特高压换流变压器红外与可见光监测图像融合方法及系统 |
| CN117146780A (zh) * | 2023-10-31 | 2023-12-01 | 季华实验室 | 成像方法、终端设备及介质 |
| CN117146780B (zh) * | 2023-10-31 | 2024-01-09 | 季华实验室 | 成像方法、终端设备及介质 |
| CN117664351A (zh) * | 2023-11-16 | 2024-03-08 | 湖南元智电集控科技有限公司 | 基于双目成像仪的电力设备温度监测方法及系统 |
| CN117893870A (zh) * | 2024-03-14 | 2024-04-16 | 大连云智信科技发展有限公司 | 基于ir热成像的畜牧兽医用动物体温检测系统 |
| CN117893870B (zh) * | 2024-03-14 | 2024-06-07 | 大连云智信科技发展有限公司 | 基于ir热成像的畜牧兽医用动物体温检测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111681198A (zh) | 一种形态学属性滤波多模融合成像方法、系统及介质 | |
| CN111209952B (zh) | 基于改进ssd和迁移学习的水下目标检测方法 | |
| Fu et al. | Removing rain from single images via a deep detail network | |
| Fu et al. | Clearing the skies: A deep network architecture for single-image rain removal | |
| Xiao et al. | Fast image dehazing using guided joint bilateral filter | |
| Jiao et al. | Local stereo matching with improved matching cost and disparity refinement | |
| US9117262B2 (en) | Learned piece-wise patch regression for image enhancement | |
| Lu et al. | Deep texture and structure aware filtering network for image smoothing | |
| KR100846513B1 (ko) | 영상 처리 방법 및 장치 | |
| Zhu et al. | Edge-preserving guided filtering based cost aggregation for stereo matching | |
| Karaali et al. | Deep multi-scale feature learning for defocus blur estimation | |
| Salem | A Survey on Various Image Inpainting Techniques. | |
| Meng et al. | A hybrid algorithm for underwater image restoration based on color correction and image sharpening | |
| Wang et al. | An efficient method for image dehazing | |
| Alenezi | Image Dehazing Based on Pixel Guided CNN with PAM via Graph Cut. | |
| CN114897741A (zh) | 基于深度残差傅里叶变换的图像盲去模糊方法 | |
| CN116152087A (zh) | 无限制对抗样本生成方法、装置、电子设备及存储介质 | |
| Kratzwald et al. | Improving video generation for multi-functional applications | |
| Mosleh et al. | Video completion using bandlet transform | |
| CN117196937B (zh) | 一种基于人脸识别模型的视频换脸方法、设备及存储介质 | |
| Mahajan et al. | A survey on shadow detection and removal based on single light source | |
| Mutaqin et al. | Increase dehazing process using fast guided filter on the dark channel prior | |
| Tran et al. | Encoder–decoder network with guided transmission map: Robustness and applicability | |
| Shuai et al. | Depth recovery from a single defocused image based on depth locally consistency | |
| Seychell et al. | Intra-object segmentation using depth information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200918 |