CN109447909A - 基于视觉显著性的红外与可见光图像融合方法及系统 - Google Patents
基于视觉显著性的红外与可见光图像融合方法及系统 Download PDFInfo
- Publication number
- CN109447909A CN109447909A CN201811159038.8A CN201811159038A CN109447909A CN 109447909 A CN109447909 A CN 109447909A CN 201811159038 A CN201811159038 A CN 201811159038A CN 109447909 A CN109447909 A CN 109447909A
- Authority
- CN
- China
- Prior art keywords
- image
- infrared
- visible light
- scale
- frequency sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 17
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 83
- 238000001514 detection method Methods 0.000 claims abstract description 60
- 230000004927 fusion Effects 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 15
- 230000009466 transformation Effects 0.000 claims abstract description 8
- 238000007499 fusion processing Methods 0.000 claims description 36
- 238000012545 processing Methods 0.000 claims description 23
- 230000000007 visual effect Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 10
- 238000002156 mixing Methods 0.000 abstract 1
- 230000003595 spectral effect Effects 0.000 abstract 1
- 238000003384 imaging method Methods 0.000 description 7
- 238000003331 infrared imaging Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于视觉显著性的红外与可见光图像融合方法，包括：对红外图像和可见光图像进行多尺度分解；对每个尺度下的红外高频子带图像和可见光高频子带图像进行多方向分解；对红外图像和可见光图像进行显著性检测；根据红外图像和可见光图像的显著性检测结果对红外低频子带图像和可见光低频子带图像进行融合处理；依次对同一尺度下的同一方向的红外高频子带图像和可见光高频子带图像进行融合处理；对融合后的低频子带图像和每个尺度下的每个方向的融合后的高频子带图像进行多尺度逆变换得到最终的融合图像。本发明的图像融合方法得到了红外与可见光的视频图像融合后的光谱信息，使视频图像中提供的信息更加丰富。
Description
技术领域
本发明涉及图像处理技术领域，尤其是基于视觉显著性的红外与可见光图像融合方法及系统。
背景技术
随着全国各地智慧城市如火如荼的开展，视频监控行业得到了快速的发展。伴随着智慧城市市场的兴起，整个安防行业市场规模迅速壮大。目前夜间视频监控已成为需要越来越重视。
可见光成像传感器是最常用的成像传感器，由于光成像传感器获取的图像空间分辨率较高，因此能保留重要的几何和纹理细节信息，帮助观察者形成对场景的全面感知。然而，受不良环境因素的影响，如多云多雾的恶劣天气、照明条件较差的夜间、波光粼粼的海面等，可见光传感器成像能力较差。
红外成像传感器探测能力好，穿透能力较强，主要通过感知景物之间温度差成像，在恶劣天气或照明不良的夜间也能照常使用，获取景物的轮廓，发现重要的目标，此外，红外成像传感器还具有识别伪装能力，通过探测目标与背景间的热辐射差异甄别隐匿的非自然目标，如人员、车辆等。然而，红外成像传感器受其成像原理的影响，红外成像传感器对场景亮度变化不敏感，成像不清晰，缺乏对细部特征的描述，不利于人眼判读。
发明内容
为了克服上述现有技术中的缺陷，本发明提供基于视觉显著性的红外与可见光图像融合方法，得到了红外与可见光的视频图像融合后的光谱信息，使视频图像中提供的信息更加丰富。
为实现上述目的，本发明采用以下技术方案：
基于视觉显著性的红外与可见光图像融合方法，包括以下步骤：
S1，对红外图像进行多尺度分解，红外图像的多尺度分解的分解层数为J，得到一个红外低频子带图像CIR和J个不同尺度下的红外高频子带图像j＝1,2…J；并得到红外低频子带图像CIR在(x,y)处的低频系数CIR(x,y)；得到第j个尺度下的红外高频子带图像在(x,y)处的高频系数
对可见光图像进行多尺度分解，且可见光图像的多尺度分解的分解层数同样为J，得到一个可见光低频子带图像CVI和J个不同尺度下的可见光高频子带图像j＝1,2…J；并得到可见光低频子带图像CVI在(x,y)处的低频系数CVI(x,y)；得到第j个尺度下的可见光高频子带图像在(x,y)处的高频系数
其中，IR表示红外图像，VI表示可见光图像；j表示第j个尺度，j＝1,2…J；表示第j个尺度下的红外高频子带图像；表示第j个尺度下的可见光高频子带图像；x,y分别表示图像的行和列；
S2，分别对J个不同尺度下的红外高频子带图像进行多方向分解即方向滤波，第j个尺度下的红外高频子带图像的多方向分解的分解层数为Lj，得到第j个尺度下的Lj个不同方向的红外高频子带图像j＝1,2…J，l＝1,2…Lj；并得到第j个尺度下第l个方向的红外高频子带图像在(x,y)处的高频系数
分别对J个不同尺度下的可见光高频子带图像进行多方向分解即方向滤波，且每个尺度下的可见光高频子带图像的多方向分解的分解层数与该尺度下的红外高频子带图像的多方向分解的分解层数相同，即第j个尺度下的可见光高频子带图像的多方向分解的分解层数也为Lj，得到第j个尺度下的Lj个不同方向的可见光高频子带图像j＝1,2…J，l＝1,2…L；并得到第j个尺度下第l个方向的可见光高频子带图像在(x,y)处的高频系数
其中，l表示第l个方向；
S3，分别对红外图像和可见光图像进行显著性检测，分别得到红外图像的显著性检测结果SIR(x,y)和可见光图像的显著性检测结果SVI(x,y)；
S4，根据红外图像的显著性检测结果SIR(x,y)和可见光图像的显著性检测结果SVI(x,y)，对红外低频子带图像CIR和可见光低频子带图像CVI进行融合处理，得到融合后的低频子带图像CF；
S5，依次对同一尺度下的同一方向的红外高频子带图像和可见光高频子带图像进行融合处理，得到每个尺度下的每个方向的融合后的高频子带图像
S6，对融合后的低频子带图像CF和每个尺度下的每个方向的融合后的高频子带图像进行多尺度逆变换得到最终的融合图像。
步骤S1中，利用引导滤波器对红外图像和可见光图像进行多尺度分解。
步骤S2中，利用非下采样方向滤波器组对每个尺度下的红外高频子带图像和可见光高频子带图像进行多方向分解。
步骤S3中，红外图像的显著性检测的方式，包括以下步骤：
S311，对每个尺度下的红外高频子带图像均进行切分，将每个尺度下的红外高频子带图像均切分为K个图像块；
S312，对每个尺度下的红外高频子带图像，分别计算第i个图像块与其他图像块之间的差异值计算方式为：
其中，j表示第j个尺度，j＝1,2,…J；IR表示红外图像；
表示在第j个尺度下的红外高频子带图像中的第i个图像块；i表示第i个图像块，i＝1,2,3…K；
为除第i个图像块之外的其他图像块，表示在第j个尺度下的红外高频子带图像中第k个图像块；k表示第k个图像块，k＝1，2，3…K且k≠i；
为第i个图像块与除第i个图像块之外的其他图像块之间的差异值；为两个图像块之间的亮度差，为两个图像块之间的空间距离，且亮度差与空间距离均需归一化为[0,1]，c为固定常数；
S313，对每个尺度下的红外高频子带图像，分别计算第i个图像块的局部显著性，计算方式为：
其中，表示在第j个尺度下的红外高频子带图像中的第i个图像块的局部显著性；
S314，计算红外图像中的第i个图像块IRpi的全局显著性计算方式为：
其中，M表示图像块长度，即表示单个图像块在长度方向上的像素点数量；
S315，红外图像的第i个图像块的中心像素在红外图像上的位置为(IRxi,IRyi)，(IRxi,IRyi)∈(x,y)，故红外图像在(IRxi,IRyi)处的显著性检测结果SIR(IRxi,IRyi)等于该第i个图像块IRpi的全局显著性依次类推，根据红外图像中的每个图像块的全局显著性，得到红外图像的显著性检测结果SIR(x,y)；
其中，SIR(x,y)表示红外图像在(x,y)处的显著性检测结果。
步骤S3中，可见光图像的显著性检测方式与红外图像的显著性检测方式相同，具体方式包括以下步骤：
S321，对每个尺度下的可见光高频子带图像均进行切分，将每个尺度下的可见光高频子带图像同样切分为K个图像块；
S322，对每个尺度下的可见光高频子带图像，分别计算第i个图像块与其他图像块之间的差异值计算方式为：
其中，j表示第j个尺度，j＝1,2…J；VI表示可见光图像；
表示在第j个尺度下的可见光高频子带图像中的第i个图像块；i表示第i个图像块，i＝1,2,3…K；
为除第i个图像块之外的其他图像块，表示在第j个尺度下的可见光高频子带图像中第k个图像块；k表示第k个图像块，k＝1，2，3…K且k≠i；
为第i个图像块与除第i个图像块之外的其他图像块之间的差异值；为两个图像块之间的亮度差，为两个图像块之间的空间距离，且亮度差与空间距离均需归一化为[0,1]，c为固定常数；
S323，对每个尺度下的可见光高频子带图像，分别计算第i个图像块的局部显著性，计算方式为：
其中，表示在第j个尺度下的可见光高频子带图像中的第i个图像块的局部显著性；
S324，计算可见光图像中的第i个图像块VIpi的全局显著性计算方式为：
其中，M表示图像块的长度，即表示单个图像块在长度方向上的像素点数量；
S325，可见光图像的第i个图像块的中心像素在可见光图像上的位置为(VIxi,VIyi)，(VIxi,VIyi)∈(x,y)，故可见光图像在(VIxi,VIyi)处的显著性检测结果SVI(VIxi,VIyi)等于该第i个图像块VIpi的全局显著性依次类推，根据可见光图像中的每个图像块的全局显著性得到可见光图像的显著性检测结果SVI(x,y)；
其中，SVI(x,y)表示可见光图像在(x,y)处的显著性检测结果。
步骤S4中，根据红外图像的显著性检测结果SIR(x,y)和可见光图像的显著性检测结果SVI(x,y)，采用加权平均融合规则对红外低频子带图像和可见光低频子带图像进行融合处理，融合处理的方式如下所示：
CF(x,y)＝W1(x,y)*CIR(x,y)+W2(x,y)*CVI(x,y)
W2(x,y)＝1-W1(x,y)
其中，CF(x,y)表示融合后的低频子带图像在(x,y)处的低频系数；CIR(x,y)表示红外低频子带图像在(x,y)处的低频系数；CVI(x,y)表示可见光低频子带图像在(x,y)处的低频系数；
W1(x,y)表示(x,y)处的红外低频子带图像的加权平均融合规则的系数；W2(x,y)表示(x,y)处的可见光低频子带图像的加权平均融合规则的系数。
步骤S5中，采用局部方差比较法对同一尺度下的同一方向的红外高频子带图像和可见光高频子带图像进行融合处理，具体包括以下步骤：
S51，对每个尺度下的每个方向的红外高频子带图像的局部均值和局部方差进行计算，计算方式为：
局部均值；M,N分别表示图像块的长和宽，即分别表示单个图像块在长度方向和宽度方向上的像素点数量；m,n为公式中的两个变量；表示第j个尺度下的第l个方向的红外高频子带图像在(x+m,y+n)处的高频系数；
表示第j个尺度下的第l方向的红外高频子带图像在(x,y)处的局部方差；
S52，对每个尺度下的每个方向的可见光高频子带图像的局部均值和局部方差进行计算，且计算方式和步骤S51相同，计算方式为：
其中，表示第j个尺度下的第l方向的可见光高频子带图像在(x,y)处的局部均值；即分别表示单个图像块在长度方向和宽度方向上的像素点数量；m,n为公式中的两个变量；表示第j个尺度下的第l个方向的可见光高频子带图像在(x+m,y+n)处的高频系数；
表示第j个尺度下的第l方向的可见光高频子带图像在(x,y)处的局部方差；
S53，利用局部方差最大融合规则进行对每个尺度下的每个方向的红外低频子带图像和可见光低频子带图像进行融合处理，得到每个尺度下的每个方向的融合后的高频子带图像所述局部方差最大融合规则的具体方式为：
其中，为融合后的第j个尺度下的第l方向的高频子带图像在(x,y)处的高频系数。
本发明还提供了一种基于视觉显著性的红外与可见光图像融合系统，包括如下组成部分：视频图像获取模块、视频图像处理模块、视频图像显示模块；
其中，所述视频图像获取模块包括红外图像传感器和可见光图像传感器，分别用于获取红外图像和可见光图像；所述视频图像获取模块将红外图像和可见光图像发送至视频图像处理模块；
所述视频图像处理模块用于将红外图像和可见光图像进行融合处理，得到最终的融合图像；所述视频图像处理模块将最终的融合图像发送至视频图像显示模块；
所述视频图像显示模块将最终的融合图像发送至显示设备显示。
所述红外图像传感器和所述可见光图像传感器安装在同一位置处，获取相同场景的图像；所述视频图像获取模块分别将红外图像传感器和可见光图像传感器获取的图像进行编号，每一个编号均对应某一时刻的图像，所述视频图像获取模块向所述视频图像处理模块发送的红外图像和可见光图像为同一编号；所述视频图像处理模块所融合的红外图像和可见光图像为同一位置的同一时刻下的图像。
所述视频图像处理单元包括：引导滤波器、非下采样方向滤波器组、显著性检测单元、低频融合处理单元、高频融合处理单元、高低频融合处理单元；
其中，所述引导滤波器分别对同一位置的同一时刻下的红外图像和可见光图像进行多尺度分解，且多尺度分解的分解层数均为J，得到一个红外低频子带图像和J个不同尺度下的红外高频子带图像，还得到一个可见光低频子带图像和J个不同尺度下的可见光高频子带图像；
所述非下采样方向滤波器组分别对J个不同尺度下的红外高频子带图像和J个不同尺度下的可见光高频子带图像均进行方向滤波即多方向分解，且第j个尺度下的红外高频子带图像和第j个尺度下的可见光高频子带图像的多方向分解的分解层数均为Lj，j＝1,2…J，得到第j个尺度下的Lj个不同方向的红外高频子带图像，还得到得到第j个尺度下的Lj个不同方向的可见光高频子带图像；
所述显著性检测单元分别对红外图像和可见光图像进行显著性检测，分别得到红外图像和可见光图像的显著性检测结果；
所述低频融合处理单元根据红外图像的显著性检测结果和可见光图像的显著性检测结果对红外低频子带图像和可见光低频子带图像进行融合处理，得到融合后的低频子带图像；
所述高频融合处理根据局部方差比较法依次对同一尺度下的同一方向的红外高频子带图像和可见光高频子带图像进行融合处理，得到每个尺度下的每个方向的融合后的高频子带图像；
所述高低频融合处理单元对融合后的低频子带图像和每个尺度下的每个方向的融合后的高频子带图像进行多尺度逆变换，得到最终的融合图像。
本发明的优点在于：
(1)本发明采用引导滤波器对图像进行多尺度分解，以便深层次平滑图像细节，保持图像的边缘完整性，从整体上提高了图像的对比度和视觉效果。
(2)本发明采用的非下采样方向滤波器组具有多方向性，有利于很好保持图像的方向信息。
(3)本发明的显著性检测在多个尺度上进行显著性检测，并利用不同尺度下的显著性进行融合，实现图像的局部和全局的显著性检测，以区分显著性目标和围绕目标的背景信息。
(4)本发明根据红外图像和可见光图像各自的显著性检测结果计算加权平均融合规则系数，提取感兴趣的目标区域，从而极大程度地提高融合后的低频图像图像的视觉效果。
(5)本发明计算图像在多个尺度下显著性，并取平均值来进一步提高显著性区域和非显著性区域的对比度。
(6)通过本发明的图像融合方法，得到了红外与可见光的视频图像融合后的光谱信息，使视频图像中提供的信息更加丰富。
附图说明
图1为本发明的基于视觉显著性的红外与可见光图像融合方法的方法流程图。
图2为本发明的基于视觉显著性的红外与可见光图像融合系统的系统架构图。
图3为本发明的视频图像处理单元的处理流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
由图1所示，一种基于视觉显著性的红外与可见光图像融合方法，包括以下步骤：
S1，对红外图像进行多尺度分解，且红外图像的多尺度分解的分解层数为J，得到一个红外低频子带图像CIR和J个红外高频子带图像j＝1,2…J；所述J个红外高频子带图像分别为J个不同尺度下的红外高频子带图像；并得到红外低频子带图像CIR在(x,y)处的低频系数CIR(x,y)；得到第j个尺度下的红外高频子带图像在(x,y)处的高频系数
对可见光图像进行多尺度分解，且可见光图像的多尺度分解的分解层数与红外图像的多尺度分解的分解层数相同，也为J，得到一个可见光低频子带图像CVI和J个可见光高频子带图像j＝1,2…J；所述J个可见光高频子带图像分别为J个不同尺度下的可见光高频子带图像；并得到可见光低频子带图像在(x,y)处的低频系数CVI(x,y)；得到第j个尺度下的可见光高频子带图像在(x,y)处的高频系数
其中，IR表示红外图像，VI表示可见光图像；x,y分别表示图像的行和列；j表示第j个尺度，j＝1,2…J；表示第j个尺度下的红外高频子带图像；表示第j个尺度下的可见光高频子带图像；本发明中，J＝4。
步骤S1中，利用引导滤波器对红外图像和可见光图像进行多尺度分解。
所述引导滤波器为一种边缘保持滤波器，引导滤波器需要引导图，引导图可以是单独的图像或者是输入图像，当引导图为输入图像时，引导滤波就成为一个保持边缘的滤波操作，用于图像重建的滤波。所述多尺度分解指的是先将源图像分解成高、低分量，再将分解后低频分量继续分解，如此迭代进行下去，这样图像就被分解到各个尺度的子图上。所述引导滤波器和多尺度分解具体参见现有技术。
S2，分别对J个不同尺度下的红外高频子带图像进行多方向分解即方向滤波，第j个尺度下的红外高频子带图像的多方向分解的分解层数为Lj，得到第j个尺度下的Lj个不同方向的红外高频子带图像j＝1,2…J，l＝1,2…Lj；并得到第j个尺度下第l个方向的红外高频子带图像在(x,y)处的高频系数
分别对J个不同尺度下的可见光高频子带图像进行多方向分解即方向滤波，且每个尺度下的可见光高频子带图像的多方向分解的分解层数与该尺度下的红外高频子带图像的多方向分解的分解层数相同，即第j个尺度下的可见光高频子带图像的多方向分解的分解层数也为Lj，得到第j个尺度下的Lj个不同方向的可见光高频子带图像j＝1,2…J，l＝1,2…L；并得到第j个尺度下第l个方向的可见光高频子带图像在(x,y)处的高频系数
其中，l表示第l个方向。
步骤S2中，利用非下采样方向滤波器组对每个尺度下的红外高频子带图像和可见光高频子带图像进行多方向分解；
本发明中，第1个尺度下的红外高频子带图像和可见光高频子带图像的多方向分解的分解层数均为8，即L1＝8；
第2个尺度下的红外高频子带图像和可见光高频子带图像的多方向分解的分解层数均为8，即L2＝8；
第3个尺度下的红外高频子带图像和可见光高频子带图像的多方向分解的分解层数均为16，即L3＝16；
第4个尺度下的红外高频子带图像和可见光高频子带图像的多方向分解的分解层数均为16，即L4＝16。
所述非下采样方向滤波器组包括两个模块，第一个模块是Quincunx滤波器组用扇形滤波器将2维图像分成两个主要方向，即垂直方向和水平方向；第二模块是剪切操作，在Quincunx滤波分解截断前进行，并在合成阶段后进行一个反剪切操作，其作用是重新排序图像的采样。非下采样方向滤波器组是把高通子带分成几个方向的子带,该操作通过在低通子带上反复迭代实现，方向的数目随着频率的增加而增加。所述非下采样方向滤波器组具体参见现有技术。非下采样方向滤波器组具有多方向性，能很好保持图像的方向信息。
S3，分别对红外图像和可见光图像进行显著性检测。
步骤S3中，根据Context-aware的显著性检测方法分别对红外图像和可见光图像进行显著性检测，分别得到红外图像的显著性检测结果SIR(x,y)和可见光图像的显著性检测结果SVI(x,y)；
所述Context-aware的显著性检测方法主要是以图像块之间做比较，将图片切分成多个图像块，将某个图像块与其他的所有图像在Lab颜色空间做对比，如果该图像块与其他的所有图像块均具有较大差距，则说明是该图像块是图片的显著性特征。所述Context-aware的显著性检测方法具体参见现有技术。显著性检测是在多个尺度上进行显著性检测，并对不同尺度的显著性进行融合，实现局部和全局性的显著性检测，以区分显著性目标和围绕目标的背景信息。
本实施例中，采用四个图像尺度来计算显著性，且原图像的百分比R分别为R＝{100％，80％，50％，30％}。
红外图像的显著性检测的具体方式包括以下步骤：
S311，对每个尺度下的红外高频子带图像均进行切分，将每个尺度下的红外高频子带图像均切分为K个图像块；本实施例中，K＝64。
S312，对每个尺度下的红外高频子带图像，分别计算第i个图像块与其他图像块之间的差异值计算方式为：
其中，j表示第j个尺度，j＝1,2,…J；IR表示红外图像；
表示在第j个尺度下的红外高频子带图像中的第i个图像块；i表示第i个图像块，i＝1,2,3…K；
为除第i个图像块之外的其他图像块，表示在第j个尺度下的红外高频子带图像中第k个图像块；k表示第k个图像块，k＝1，2，3…K且k≠i；
为第i个图像块与除第i个图像块之外的其他图像块之间的差异值；为两个图像块之间的亮度差，为两个图像块之间的空间距离，且亮度差与空间距离均需归一化为[0,1]，c为固定常数，值为3；
S313，对每个尺度下的红外高频子带图像，分别计算第i个图像块的局部显著性，计算方式为：
其中，表示在第j个尺度下的红外高频子带图像中的第i个图像块的局部显著性；
S314，计算红外图像中的第i个图像块IRpi的全局显著性计算方式为：
其中，M表示图像块长度，即表示单个图像块在长度方向上的像素点数量，M＝5；
S315，红外图像的第i个图像块的中心像素在红外图像上的位置为(IRxi,IRyi)，(IRxi,IRyi)∈(x,y)，故红外图像在(IRxi,IRyi)处的显著性检测结果SIR(IRxi,IRyi)等于该第i个图像块IRpi的全局显著性依次类推，根据红外图像中的每个图像块的全局显著性，得到红外图像的显著性检测结果SIR(x,y)；
其中，SIR(x,y)表示红外图像在(x,y)处的显著性检测结果。
可见光图像的显著性检测方式与红外图像的显著性检测方式相同，具体方式包括以下步骤：
S321，对每个尺度下的可见光高频子带图像均进行切分，将每个尺度下的可见光高频子带图像同样切分为K个图像块；本实施例中，K＝64；
S322，对每个尺度下的可见光高频子带图像，分别计算第i个图像块与其他图像块之间的差异值计算方式为：
其中，j表示第j个尺度，j＝1,2…J；VI表示可见光图像；
表示在第j个尺度下的可见光高频子带图像中的第i个图像块；i表示第i个图像块，i＝1,2,3…K；
为除第i个图像块之外的其他图像块，表示在第j个尺度下的可见光高频子带图像中第k个图像块；k表示第k个图像块，k＝1，2，3…K且k≠i；
为第i个图像块与除第i个图像块之外的其他图像块之间的差异值；为两个图像块之间的亮度差，为两个图像块之间的空间距离，且亮度差与空间距离均需归一化为[0,1]，c为固定常数，值为3；
S323，对每个尺度下的可见光高频子带图像，分别计算第i个图像块的局部显著性，计算方式为：
其中，表示在第j个尺度下的可见光高频子带图像中的第i个图像块的局部显著性；
S324，计算可见光图像中的第i个图像块VIpi的全局显著性计算方式为：
其中，M表示图像块的长度，即表示单个图像块在长度方向上的像素点数量，M＝5；
S325，可见光图像的第i个图像块的中心像素在可见光图像上的位置为(VIxi,VIyi)，(VIxi,VIyi)∈(x,y)，故可见光图像在(VIxi,VIyi)处的显著性检测结果SVI(VIxi,VIyi)等于该第i个图像块VIpi的全局显著性依次类推，根据可见光图像中的每个图像块的全局显著性得到可见光图像的显著性检测结果SVI(x,y)；
其中，SVI(x,y)表示可见光图像在(x,y)处的显著性检测结果。
S4，对红外低频子带图像和可见光低频子带图像进行融合处理，得到融合后的低频子带图像CF。
步骤S4中，根据红外图像的显著性检测结果SIR(x,y)和可见光图像的显著性检测结果SVI(x,y)，采用加权平均融合规则对红外低频子带图像和可见光低频子带图像进行融合处理，所述视觉显著性引导融合规则为首先通过计算图像的显著性检测结果，再根据显著性检测结果计算加权系数，从而指导低频图像融合。具体融合方式如下所示：
CF(x,y)＝W1(x,y)*CIR(x,y)+W2(x,y)*CVI(x,y)
W2(x,y)＝1-W1(x,y)
其中，CF(x,y)表示融合后的低频子带图像在(x,y)处的低频系数；CIR(x,y)表示红外低频子带图像在(x,y)处的低频系数；CVI(x,y)表示可见光低频子带图像在(x,y)处的低频系数；
W1(x,y)表示(x,y)处的红外低频子带图像的加权平均融合规则的系数；W2(x,y)表示(x,y)处的可见光低频子带图像的加权平均融合规则的系数。
S5，依次对同一尺度下的同一方向的红外高频子带图像和可见光高频子带图像进行融合处理，得到每个尺度下的每个方向的融合后的高频子带图像。
步骤S5中，采用局部方差比较法对同一尺度下的同一方向的红外高频子带图像和可见光高频子带图像进行融合处理，由非下采样方向滤波器组分解得到的高频子带图像的高频系数表示图像的细节信息，而局部方差越大的高频子带图像，其对应区域的源图像信息量也越高，因此可根据源图像的高频子带图像的高频系数的局部方差信息来指导选择融合后的高频子带图像的高频系数，即局部方差比较法。
步骤S5，具体包括以下步骤：
S51，对每个尺度下的每个方向的红外高频子带图像的局部均值和局部方差进行计算，计算方式为：
其中，表示第j个尺度下的第l方向的红外高频子带图像在(x,y)处的局部均值；M,N分别表示图像块的长和宽，即分别表示单个图像块在长度方向和宽度方向上的像素点数量，M＝5，N＝5，M×N为5×5大小的图像块，即单个图像块中有25个像素点；m,n为公式中的两个变量；表示第j个尺度下的第l个方向的红外高频子带图像在(x+m,y+n)处的高频系数；
表示第j个尺度下的第l方向的红外高频子带图像在(x,y)处的局部方差；
S52，对每个尺度下的每个方向的可见光高频子带图像的局部均值和局部方差进行计算，且计算方式和步骤S51相同，计算方式为：
其中，表示第j个尺度下的第l方向的可见光高频子带图像在(x,y)处的局部均值；M,N分别表示图像块的长和宽，即分别表示单个图像块在长度方向和宽度方向上的像素点数量，M＝5，N＝5，M×N为5×5大小的图像块，即单个图像块中有25个像素点；m,n为公式中的两个变量；表示第j个尺度下的第l个方向的可见光高频子带图像在(x+m,y+n)处的高频系数；
表示第j个尺度下的第l方向的可见光高频子带图像在(x,y)处的局部方差；
S53，利用局部方差最大融合规则进行对每个尺度下的每个方向的红外低频子带图像和可见光低频子带图像进行融合处理，得到每个尺度下的每个方向的融合后的高频子带图像所述局部方差最大融合规则的具体方式为：
其中，为融合后的第j个尺度下的第l方向的高频子带图像在(x,y)处的高频系数。
S6，对融合后的低频子带图像CF和每个尺度下的每个方向的融合后的高频子带图像进行多尺度逆变换得到最终的融合图像。
步骤S6中，所述多尺度逆变换是将融合后的低频子带图像在(x,y)处的低频系数CF(x,y)和每个尺度下的每个方向的融合后的高频子带图像在(x,y)处的高频系数根据融合处理规则进行反变换，对图像进行重构，得到最终的融合图像。
由图2所示，基于视觉显著性的红外与可见光图像融合系统，其特征在于，包括如下组成部分：视频图像获取模块、视频图像处理模块、视频图像显示模块。
其中，所述视频图像获取模块包括红外图像传感器和可见光图像传感器，分别用于获取红外图像和可见光图像，所述视频图像获取模块通过通讯系统将红外图像和可见光图像发送至视频图像处理模块；
所述视频图像处理模块用于将红外图像和可见光图像进行融合处理，得到最终的融合图像，所述视频图像处理模块将最终的融合图像发送至视频图像显示模块；
所述视频图像显示模块将最终的融合图像发送至显示设备显示。
所述红外图像传感器和所述可见光图像传感器安装在同一位置处，获取相同场景的图像；所述视频图像获取模块分别将红外图像传感器和可见光图像传感器获取的图像进行编号，每一个编号均对应某一时刻的图像，所述视频图像获取模块向所述视频图像处理模块发送的红外图像和可见光图像为同一编号；所述视频图像处理模块所融合的红外图像和可见光图像为同一位置的同一时刻下的图像。
由图3所示，所述视频图像处理单元包括：引导滤波器、非下采样方向滤波器组、显著性检测单元、低频融合处理单元、高频融合处理单元、高低频融合处理单元；
其中，所述引导滤波器分别对同一位置的同一时刻下的红外图像和可见光图像进行多尺度分解，且多尺度分解的分解层数均为J，得到一个红外低频子带图像和J个不同尺度下的红外高频子带图像，还得到一个可见光低频子带图像和J个不同尺度下的可见光高频子带图像；
所述非下采样方向滤波器组分别对J个不同尺度下的红外高频子带图像和J个不同尺度下的可见光高频子带图像均进行方向滤波即多方向分解，且第j个尺度下的红外高频子带图像和可见光高频子带图像的多方向分解的分解层数为Lj，j＝1,2…J，得到第j个尺度下的Lj个不同方向的红外高频子带图像，还得到得到第j个尺度下的Lj个不同方向的可见光高频子带图像；
所述显著性检测单元分别对红外图像和可见光图像进行显著性检测，分别得到红外图像和可见光图像的显著性检测结果；
所述低频融合处理单元根据红外图像和可见光图像的显著性检测结果对红外低频子带图像和可见光低频子带图像进行融合处理，得到融合后的低频子带图像；
所述高频融合处理根据局部方差比较法依次对同一尺度下的同一方向的红外高频子带图像和可见光高频子带图像进行融合处理，得到每个尺度下的每个方向的融合后的高频子带图像；
所述高低频融合处理单元对融合后的低频子带图像和每个尺度下的每个方向的融合后的高频子带图像进行多尺度逆变换，得到最终的融合图像。
以上仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明创造的保护范围之内。
Claims (10)
1.基于视觉显著性的红外与可见光图像融合方法，其特征在于，包括以下步骤：
S1，对红外图像进行多尺度分解，红外图像的多尺度分解的分解层数为J，得到一个红外低频子带图像CIR和J个不同尺度下的红外高频子带图像j＝1,2…J；并得到红外低频子带图像CIR在(x,y)处的低频系数CIR(x,y)；得到第j个尺度下的红外高频子带图像在(x,y)处的高频系数
对可见光图像进行多尺度分解，且可见光图像的多尺度分解的分解层数同样为J，得到一个可见光低频子带图像CVI和J个不同尺度下的可见光高频子带图像j＝1,2…J；并得到可见光低频子带图像CVI在(x,y)处的低频系数CVI(x,y)；得到第j个尺度下的可见光高频子带图像在(x,y)处的高频系数
其中，IR表示红外图像，VI表示可见光图像；j表示第j个尺度，j＝1,2…J；表示第j个尺度下的红外高频子带图像；表示第j个尺度下的可见光高频子带图像；x,y分别表示图像的行和列；
S2，分别对J个不同尺度下的红外高频子带图像进行多方向分解即方向滤波，第j个尺度下的红外高频子带图像的多方向分解的分解层数为Lj，得到第j个尺度下的Lj个不同方向的红外高频子带图像j＝1,2…J，l＝1,2…Lj；并得到第j个尺度下第l个方向的红外高频子带图像在(x,y)处的高频系数
分别对J个不同尺度下的可见光高频子带图像进行多方向分解即方向滤波，且每个尺度下的可见光高频子带图像的多方向分解的分解层数与该尺度下的红外高频子带图像的多方向分解的分解层数相同，即第j个尺度下的可见光高频子带图像的多方向分解的分解层数也为Lj，得到第j个尺度下的Lj个不同方向的可见光高频子带图像j＝1,2…J，l＝1,2…L；并得到第j个尺度下第l个方向的可见光高频子带图像在(x,y)处的高频系数
其中，l表示第l个方向；
S3，分别对红外图像和可见光图像进行显著性检测，分别得到红外图像的显著性检测结果SIR(x,y)和可见光图像的显著性检测结果SVI(x,y)；
S4，根据红外图像的显著性检测结果SIR(x,y)和可见光图像的显著性检测结果SVI(x,y)，对红外低频子带图像CIR和可见光低频子带图像CVI进行融合处理，得到融合后的低频子带图像CF；
S5，依次对同一尺度下的同一方向的红外高频子带图像和可见光高频子带图像进行融合处理，得到每个尺度下的每个方向的融合后的高频子带图像
S6，对融合后的低频子带图像CF和每个尺度下的每个方向的融合后的高频子带图像进行多尺度逆变换得到最终的融合图像。
2.根据权利要求1所述的基于视觉显著性的红外与可见光图像融合方法，其特征在于，步骤S1中，利用引导滤波器对红外图像和可见光图像进行多尺度分解。
3.根据权利要求2所述的基于视觉显著性的红外与可见光图像融合方法，其特征在于，步骤S2中，利用非下采样方向滤波器组对每个尺度下的红外高频子带图像和可见光高频子带图像进行多方向分解。
4.根据权利要求1所述的基于视觉显著性的红外与可见光图像融合方法，其特征在于，步骤S3中，
红外图像的显著性检测的方式，包括以下步骤：
S311，对每个尺度下的红外高频子带图像均进行切分，将每个尺度下的红外高频子带图像均切分为K个图像块；
S312，对每个尺度下的红外高频子带图像，分别计算第i个图像块与其他图像块之间的差异值计算方式为：
其中，j表示第j个尺度，j＝1,2,…J；IR表示红外图像；
表示在第j个尺度下的红外高频子带图像中的第i个图像块；i表示第i个图像块，i＝1,2,3…K；
为除第i个图像块之外的其他图像块，表示在第j个尺度下的红外高频子带图像中第k个图像块；k表示第k个图像块，k＝1，2，3…K且k≠i；
为第i个图像块与除第i个图像块之外的其他图像块之间的差异值；为两个图像块之间的亮度差，为两个图像块之间的空间距离，且亮度差与空间距离均需归一化为[0,1]，c为固定常数；
S313，对每个尺度下的红外高频子带图像，分别计算第i个图像块的局部显著性，计算方式为：
其中，表示在第j个尺度下的红外高频子带图像中的第i个图像块的局部显著性；
S314，计算红外图像中的第i个图像块IRpi的全局显著性计算方式为：
其中，M表示图像块长度，即表示单个图像块在长度方向上的像素点数量；
S315，红外图像的第i个图像块的中心像素在红外图像上的位置为(IRxi,IRyi)，(IRxi,IRyi)∈(x,y)，故红外图像在(IRxi,IRyi)处的显著性检测结果SIR(IRxi,IRyi)等于该第i个图像块IRpi的全局显著性依次类推，根据红外图像中的每个图像块的全局显著性，得到红外图像的显著性检测结果SIR(x,y)；
其中，SIR(x,y)表示红外图像在(x,y)处的显著性检测结果。
5.根据权利要求4所述的基于视觉显著性的红外与可见光图像融合方法，其特征在于，步骤S3中，可见光图像的显著性检测方式与红外图像的显著性检测方式相同，具体方式包括以下步骤：
S321，对每个尺度下的可见光高频子带图像均进行切分，将每个尺度下的可见光高频子带图像同样切分为K个图像块；
S322，对每个尺度下的可见光高频子带图像，分别计算第i个图像块与其他图像块之间的差异值计算方式为：
其中，j表示第j个尺度，j＝1,2…J；VI表示可见光图像；
表示在第j个尺度下的可见光高频子带图像中的第i个图像块；i表示第i个图像块，i＝1,2,3…K；
为除第i个图像块之外的其他图像块，表示在第j个尺度下的可见光高频子带图像中第k个图像块；k表示第k个图像块，k＝1，2，3…K且k≠i；
为第i个图像块与除第i个图像块之外的其他图像块之间的差异值；为两个图像块之间的亮度差，为两个图像块之间的空间距离，且亮度差与空间距离均需归一化为[0,1]，c为固定常数；
S323，对每个尺度下的可见光高频子带图像，分别计算第i个图像块的局部显著性，计算方式为：
其中，表示在第j个尺度下的可见光高频子带图像中的第i个图像块的局部显著性；
S324，计算可见光图像中的第i个图像块VIpi的全局显著性计算方式为：
其中，M表示图像块的长度，即表示单个图像块在长度方向上的像素点数量；
S325，可见光图像的第i个图像块的中心像素在可见光图像上的位置为(VIxi,VIyi)，(VIxi,VIyi)∈(x,y)，故可见光图像在(VIxi,VIyi)处的显著性检测结果SVI(VIxi,VIyi)等于该第i个图像块VIpi的全局显著性依次类推，根据可见光图像中的每个图像块的全局显著性得到可见光图像的显著性检测结果SVI(x,y)；
其中，SVI(x,y)表示可见光图像在(x,y)处的显著性检测结果。
6.根据权利要求5所述的基于视觉显著性的红外与可见光图像融合方法，其特征在于，步骤S4中，根据红外图像的显著性检测结果SIR(x,y)和可见光图像的显著性检测结果SVI(x,y)，采用加权平均融合规则对红外低频子带图像和可见光低频子带图像进行融合处理，融合处理的方式如下所示：
CF(x,y)＝W1(x,y)*CIR(x,y)+W2(x,y)*CVI(x,y)
W2(x,y)＝1-W1(x,y)
其中，CF(x,y)表示融合后的低频子带图像在(x,y)处的低频系数；CIR(x,y)表示红外低频子带图像在(x,y)处的低频系数；CVI(x,y)表示可见光低频子带图像在(x,y)处的低频系数；
W1(x,y)表示(x,y)处的红外低频子带图像的加权平均融合规则的系数；W2(x,y)表示(x,y)处的可见光低频子带图像的加权平均融合规则的系数。
7.根据权利要求1所述的基于视觉显著性的红外与可见光图像融合方法，其特征在于，步骤S5中，采用局部方差比较法对同一尺度下的同一方向的红外高频子带图像和可见光高频子带图像进行融合处理，具体包括以下步骤：
S51，对每个尺度下的每个方向的红外高频子带图像的局部均值和局部方差进行计算，计算方式为：
其中，表示第j个尺度下的第l方向的红外高频子带图像在(x,y)处的局部均值；M,N分别表示图像块的长和宽，即分别表示单个图像块在长度方向和宽度方向上的像素点数量；m,n为公式中的两个变量；表示第j个尺度下的第l个方向的红外高频子带图像在(x+m,y+n)处的高频系数；
表示第j个尺度下的第l方向的红外高频子带图像在(x,y)处的局部方差；
S52，对每个尺度下的每个方向的可见光高频子带图像的局部均值和局部方差进行计算，且计算方式和步骤S51相同，计算方式为：
其中，表示第j个尺度下的第l方向的可见光高频子带图像在(x,y)处的局部均值；即分别表示单个图像块在长度方向和宽度方向上的像素点数量；m,n为公式中的两个变量；表示第j个尺度下的第l个方向的可见光高频子带图像在(x+m,y+n)处的高频系数；
表示第j个尺度下的第l方向的可见光高频子带图像在(x,y)处的局部方差；
S53，利用局部方差最大融合规则进行对每个尺度下的每个方向的红外低频子带图像和可见光低频子带图像进行融合处理，得到每个尺度下的每个方向的融合后的高频子带图像所述局部方差最大融合规则的具体方式为：
其中，为融合后的第j个尺度下的第l方向的高频子带图像在(x,y)处的高频系数。
8.根据权利要求1所述的基于视觉显著性的红外与可见光图像融合方法的融合系统，其特征在于，包括如下组成部分：视频图像获取模块、视频图像处理模块、视频图像显示模块；
其中，所述视频图像获取模块包括红外图像传感器和可见光图像传感器，分别用于获取红外图像和可见光图像；所述视频图像获取模块将红外图像和可见光图像发送至视频图像处理模块；
所述视频图像处理模块用于将红外图像和可见光图像进行融合处理，得到最终的融合图像；所述视频图像处理模块将最终的融合图像发送至视频图像显示模块；
所述视频图像显示模块将最终的融合图像发送至显示设备显示。
9.根据权利要求8所述的基于视觉显著性的红外与可见光图像融合方法的融合系统，其特征在于，所述红外图像传感器和所述可见光图像传感器安装在同一位置处，获取相同场景的图像；所述视频图像获取模块分别将红外图像传感器和可见光图像传感器获取的图像进行编号，每一个编号均对应某一时刻的图像，所述视频图像获取模块向所述视频图像处理模块发送的红外图像和可见光图像为同一编号；所述视频图像处理模块所融合的红外图像和可见光图像为同一位置的同一时刻下的图像。
10.根据权利要求9所述的基于视觉显著性的红外与可见光图像融合方法的融合系统，其特征在于，所述视频图像处理单元包括：引导滤波器、非下采样方向滤波器组、显著性检测单元、低频融合处理单元、高频融合处理单元、高低频融合处理单元；
其中，所述引导滤波器分别对同一位置的同一时刻下的红外图像和可见光图像进行多尺度分解，且多尺度分解的分解层数均为J，得到一个红外低频子带图像和J个不同尺度下的红外高频子带图像，还得到一个可见光低频子带图像和J个不同尺度下的可见光高频子带图像；
所述非下采样方向滤波器组分别对J个不同尺度下的红外高频子带图像和J个不同尺度下的可见光高频子带图像均进行方向滤波即多方向分解，且第j个尺度下的红外高频子带图像和第j个尺度下的可见光高频子带图像的多方向分解的分解层数均为Lj，j＝1,2…J，得到第j个尺度下的Lj个不同方向的红外高频子带图像，还得到得到第j个尺度下的Lj个不同方向的可见光高频子带图像；
所述显著性检测单元分别对红外图像和可见光图像进行显著性检测，分别得到红外图像和可见光图像的显著性检测结果；
所述低频融合处理单元根据红外图像的显著性检测结果和可见光图像的显著性检测结果对红外低频子带图像和可见光低频子带图像进行融合处理，得到融合后的低频子带图像；
所述高频融合处理根据局部方差比较法依次对同一尺度下的同一方向的红外高频子带图像和可见光高频子带图像进行融合处理，得到每个尺度下的每个方向的融合后的高频子带图像；
所述高低频融合处理单元对融合后的低频子带图像和每个尺度下的每个方向的融合后的高频子带图像进行多尺度逆变换，得到最终的融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811159038.8A CN109447909A (zh) | 2018-09-30 | 2018-09-30 | 基于视觉显著性的红外与可见光图像融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811159038.8A CN109447909A (zh) | 2018-09-30 | 2018-09-30 | 基于视觉显著性的红外与可见光图像融合方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109447909A true CN109447909A (zh) | 2019-03-08 |
Family
ID=65544783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811159038.8A Pending CN109447909A (zh) | 2018-09-30 | 2018-09-30 | 基于视觉显著性的红外与可见光图像融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109447909A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111292274A (zh) * | 2020-01-17 | 2020-06-16 | 河海大学常州校区 | 一种基于谱残差显著性模型的光伏组件图像融合方法 |
| CN111553194A (zh) * | 2020-04-01 | 2020-08-18 | 国网宁夏电力有限公司电力科学研究院 | 基于双光源的gis设备内部的异物的检测方法及系统 |
| CN112132753A (zh) * | 2020-11-06 | 2020-12-25 | 湖南大学 | 多尺度结构引导图像的红外图像超分辨率方法及系统 |
| CN112614082A (zh) * | 2020-12-17 | 2021-04-06 | 北京工业大学 | 一种海上中长波红外图像融合方法 |
| CN112669249A (zh) * | 2021-01-15 | 2021-04-16 | 西安中科立德红外科技有限公司 | 结合改进nsct变换和深度学习的红外与可见光图像融合方法 |
| CN112810753A (zh) * | 2020-11-17 | 2021-05-18 | 泰州程顺制冷设备有限公司 | 自适应水下场景应对系统 |
| CN113421200A (zh) * | 2021-06-23 | 2021-09-21 | 中国矿业大学(北京) | 基于多尺度变换与脉冲耦合神经网络的图像融合方法 |
| CN114066786A (zh) * | 2020-08-03 | 2022-02-18 | 四川大学 | 一种基于稀疏和滤波器的红外和可见光图像融合方法 |
| US20220222782A1 (en) * | 2019-05-16 | 2022-07-14 | Mitsubishi Electric Corporation | Image processing device, method, image reading device, and recording medium |
| CN111462028B (zh) * | 2020-03-16 | 2023-06-27 | 中国地质大学（武汉） | 基于相位一致性和目标增强的红外和可见光图像融合方法 |
| CN116402723A (zh) * | 2023-06-06 | 2023-07-07 | 国网山东省电力公司电力科学研究院 | 集成机器人平台的紫外成像检测系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103366353A (zh) * | 2013-05-08 | 2013-10-23 | 北京大学深圳研究生院 | 一种基于显著性区域分割的红外与可见光图像融合方法 |
| CN104700381A (zh) * | 2015-03-13 | 2015-06-10 | 中国电子科技集团公司第二十八研究所 | 一种基于显著目标的红外与可见光图像融合方法 |
| CN104809734A (zh) * | 2015-05-11 | 2015-07-29 | 中国人民解放军总装备部军械技术研究所 | 一种基于引导滤波的红外图像与可见光图像融合的方法 |
| CN107657217A (zh) * | 2017-09-12 | 2018-02-02 | 电子科技大学 | 基于运动目标检测的红外与可见光视频的融合方法 |
| US20180069996A1 (en) * | 2016-09-08 | 2018-03-08 | Samsung Electronics Co., Ltd. | Method and electronic device for producing composite image |
| CN108389158A (zh) * | 2018-02-12 | 2018-08-10 | 河北大学 | 一种红外和可见光的图像融合方法 |
-
2018
- 2018-09-30 CN CN201811159038.8A patent/CN109447909A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103366353A (zh) * | 2013-05-08 | 2013-10-23 | 北京大学深圳研究生院 | 一种基于显著性区域分割的红外与可见光图像融合方法 |
| CN104700381A (zh) * | 2015-03-13 | 2015-06-10 | 中国电子科技集团公司第二十八研究所 | 一种基于显著目标的红外与可见光图像融合方法 |
| CN104809734A (zh) * | 2015-05-11 | 2015-07-29 | 中国人民解放军总装备部军械技术研究所 | 一种基于引导滤波的红外图像与可见光图像融合的方法 |
| US20180069996A1 (en) * | 2016-09-08 | 2018-03-08 | Samsung Electronics Co., Ltd. | Method and electronic device for producing composite image |
| CN107657217A (zh) * | 2017-09-12 | 2018-02-02 | 电子科技大学 | 基于运动目标检测的红外与可见光视频的融合方法 |
| CN108389158A (zh) * | 2018-02-12 | 2018-08-10 | 河北大学 | 一种红外和可见光的图像融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| BAIXIANGZHI等: "fusion of infrared and visual image through region extraction by using Multiscale center-surround top-hat transform", 《OPTICS EXPRESS》 * |
| 郭玲等: "基于视觉显著性的红外与可见光图像融合", 《计算机科学》 * |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12026854B2 (en) * | 2019-05-16 | 2024-07-02 | Mitsubishi Electric Corporation | Image processing device, method, image reading device, and recording medium |
| US20220222782A1 (en) * | 2019-05-16 | 2022-07-14 | Mitsubishi Electric Corporation | Image processing device, method, image reading device, and recording medium |
| CN111292274A (zh) * | 2020-01-17 | 2020-06-16 | 河海大学常州校区 | 一种基于谱残差显著性模型的光伏组件图像融合方法 |
| CN111462028B (zh) * | 2020-03-16 | 2023-06-27 | 中国地质大学（武汉） | 基于相位一致性和目标增强的红外和可见光图像融合方法 |
| CN111553194B (zh) * | 2020-04-01 | 2023-04-18 | 国网宁夏电力有限公司电力科学研究院 | 基于双光源的gis设备内部的异物的检测方法及系统 |
| CN111553194A (zh) * | 2020-04-01 | 2020-08-18 | 国网宁夏电力有限公司电力科学研究院 | 基于双光源的gis设备内部的异物的检测方法及系统 |
| CN114066786A (zh) * | 2020-08-03 | 2022-02-18 | 四川大学 | 一种基于稀疏和滤波器的红外和可见光图像融合方法 |
| CN112132753A (zh) * | 2020-11-06 | 2020-12-25 | 湖南大学 | 多尺度结构引导图像的红外图像超分辨率方法及系统 |
| CN112132753B (zh) * | 2020-11-06 | 2022-04-05 | 湖南大学 | 多尺度结构引导图像的红外图像超分辨率方法及系统 |
| CN112810753A (zh) * | 2020-11-17 | 2021-05-18 | 泰州程顺制冷设备有限公司 | 自适应水下场景应对系统 |
| CN112614082A (zh) * | 2020-12-17 | 2021-04-06 | 北京工业大学 | 一种海上中长波红外图像融合方法 |
| CN112669249A (zh) * | 2021-01-15 | 2021-04-16 | 西安中科立德红外科技有限公司 | 结合改进nsct变换和深度学习的红外与可见光图像融合方法 |
| CN113421200A (zh) * | 2021-06-23 | 2021-09-21 | 中国矿业大学(北京) | 基于多尺度变换与脉冲耦合神经网络的图像融合方法 |
| CN116402723A (zh) * | 2023-06-06 | 2023-07-07 | 国网山东省电力公司电力科学研究院 | 集成机器人平台的紫外成像检测系统 |
| CN116402723B (zh) * | 2023-06-06 | 2023-08-22 | 国网山东省电力公司电力科学研究院 | 集成机器人平台的紫外成像检测系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109447909A (zh) | 基于视觉显著性的红外与可见光图像融合方法及系统 | |
| CN111209810B (zh) | 向可见光与红外图像准确实时行人检测的边界框分割监督深度神经网络架构 | |
| CN105069746B (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 | |
| CN111242127B (zh) | 基于非对称卷积的具有粒度级多尺度特性的车辆检测方法 | |
| CN107818554B (zh) | 信息处理设备和信息处理方法 | |
| CN109934154B (zh) | 一种遥感影像变化检测方法及检测装置 | |
| CN107918776B (zh) | 一种基于机器视觉的用地规划方法、系统及电子设备 | |
| CN103747240B (zh) | 融合颜色和运动信息的视觉显著性滤波方法 | |
| CN110381268A (zh) | 生成视频的方法，装置，存储介质及电子设备 | |
| CN113592726A (zh) | 高动态范围成像方法、装置、电子设备和存储介质 | |
| CN113160053B (zh) | 一种基于位姿信息的水下视频图像复原与拼接方法 | |
| CN112801184A (zh) | 一种云跟踪方法、系统及装置 | |
| CN114782298B (zh) | 一种具有区域注意力的红外与可见光图像融合方法 | |
| CN111079807A (zh) | 一种地物分类方法及装置 | |
| CN112465735A (zh) | 行人检测方法、装置及计算机可读存储介质 | |
| Varjo et al. | Image based visibility estimation during day and night | |
| CN106886754B (zh) | 一种基于三角面片的三维场景下的物体识别方法及系统 | |
| CN115457456A (zh) | 一种基于智能车辆的多光谱行人检测方法及系统 | |
| CN112884795A (zh) | 一种基于多特征显著性融合的输电线路巡检前景与背景分割方法 | |
| CN111881925B (zh) | 一种基于相机阵列选择性光场重聚焦的显著性检测方法 | |
| CN109241932A (zh) | 一种基于运动方差图相位特征的热红外人体动作识别方法 | |
| CN112927139B (zh) | 一种双目热成像系统及超分辨率图像获取方法 | |
| CN113963427B (zh) | 一种快速活体检测的方法与系统 | |
| CN116029954A (zh) | 一种图像融合方法及装置 | |
| Zheng | Current Technologies and Applications of Digital Image Processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190308 |
|
| RJ01 | Rejection of invention patent application after publication |