CN111062905A - 一种基于显著图增强的红外和可见光融合方法 - Google Patents

一种基于显著图增强的红外和可见光融合方法 Download PDF

Info

Publication number
CN111062905A
CN111062905A CN201911304499.4A CN201911304499A CN111062905A CN 111062905 A CN111062905 A CN 111062905A CN 201911304499 A CN201911304499 A CN 201911304499A CN 111062905 A CN111062905 A CN 111062905A
Authority
CN
China
Prior art keywords
image
visible light
infrared
fusion
enhancement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911304499.4A
Other languages
English (en)
Other versions
CN111062905B (zh
Inventor
刘日升
樊鑫
刘晋源
仲维
罗钟铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201911304499.4A priority Critical patent/CN111062905B/zh
Priority to US17/283,181 priority patent/US20220044375A1/en
Priority to PCT/CN2020/077956 priority patent/WO2021120406A1/zh
Publication of CN111062905A publication Critical patent/CN111062905A/zh
Application granted granted Critical
Publication of CN111062905B publication Critical patent/CN111062905B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明属于图像处理和计算机视觉领域,提出一种基于显著图增强的红外和可见光融合方法,是一种利用滤波分解手段和显著增强的红外与可见光融合算法。利用双目相机和NVIDIA TX2构建高性能运算平台,并构建高性能求解算法以获高质量的红外和可见光融合图像。系统容易构建,分别使用立体双目红外和可见光相机即可完成输入数据的采集;程序简单,易于实现;利用红外和可见光相机成像的不同原理,通过用于滤波分解把输入图像分解成背景层和细节层,针对背景层设计了基于显著图增强的融合方法,针对细节层设计基于像素对比度的融合算法,该算法有效增强了融合图像的质量并处理了融合图像后产生的伪影,最后通过GPU加速达到实时。

Description

一种基于显著图增强的红外和可见光融合方法
技术领域
本发明属于图像处理和计算机视觉领域,采用一对红外相机和可见光相机获取图像,涉及图像显著信息构建的图像融合算法,是一种利用图像增强的手段的红外与可见光融合算法。
背景技术
基于可见光波段的双目立体视觉技术发展较为成熟,可见光成像具有丰富的对比度、颜色、形状信息,因而可以准确、迅速的获得双目图像之间的匹配信息,进而获取场景深度信息。但可见光波段成像存在其缺陷,如在强光、雾雨、雪天或夜晚,其成像质量大大下降,影响匹配的精度。因此利用不同波段信息源的互补性建立彩色融合系统,是实现特殊环境下产生更可信的图像的有效途径。如利用可见光波段双目相机与红外波段双目相机构成多波段立体视觉系统,利用红外成像不受雾雨雪、光照影响优势,弥补可见光波段的成像不足,从而获取更完整、精确的融合信息。
多模态图像融合技术是利用多个图像之间的互补性和冗余性,采用特定的算法或规则进行融合,得到高可信度、视觉更优图像的一种图像处理算法[1-3]。相比于同模态融合图像单一性,多模态图像融合可以更好的获取不同模态下图像的交互信息,逐渐成为解决灾害监测,无人驾驶,军事监控,深空探测的重要手段。其目标是利用不同模态传感器成像的差异性和互补性,极大限度地提取各模态的图像信息,使用不同模态的源图像融合出一张信息丰富、真实度高的合成图像。因此多模态图像融合会对图像产生更全面的认识和更准确的定位。近年来,大多融合方法都是基于变换域进行研究设计,没有考虑到图像多尺度的细节信息,导致融合后的图像中细节丢失,如公开专利CN208240087U[中文]一种红外与可见光融合系统及图像融合装置。因而本发明在通过对红外和可见光进行数学建模后对其进行最优化求解,在保留红外和可见光图像的有效信息的基础上,实现细节的增强且去除伪影。
发明内容
本发明旨在克服现有技术的不足,提供了一种基于显著图增强的实时融合算法。通过设计针对红外和可见光图像进行滤波分解得到背景层和细节层,针对背景层进行显著图增强,对细节层进行基于对比度的融合,最后通过GPU加速达到实时。
本发明的具体技术方案:
一种基于显著图增强的红外和可见光融合方法,包括如下步骤:
1)获取配准好的红外和可见光图像,分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定;
1-1)利用张正友标定法对红外相机、可见光相机分别进行标定,获得每台相机的内部参数包括焦距、主点位置和外部参数包括旋转、平移;
1-2)利用相机联合标定获得的可见光相机与红外相机位姿关系RT(旋转矩阵与平移向量)及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系,并运用单应性变换进行可见光图像到红外图像(或者红外图像到可见光图像)的配准;
2)对可见光图像进行色彩空间的转换,从RGB图像转成HSV图像,提取彩色图像的明度信息作为图像融合的输入,保留其原有色调及饱和度;
2-1)针对可见光图像是RGB三通道的问题,进行RGB色彩空间到HSV色彩空间的转换,V为明度,H为色调,S为饱和度;提取可见光图像的明度信息与红外图像进行融合,保留其色调和饱和度,具体转换如下所示:
R′=R/255 G′=G/255 B′=B/255
Cmax=max(R′,G′,B′)
Cmin=min(R′,G′,B′)
Δ=Cmax-Cmin
V=Cmax
2-2)提取V通道作为可见光的输入,保留H和S到对应的矩阵为后面融合后的色彩还原保留颜色信息。
3)对输入的红外图像和进行色彩空间转换后的可见光图像进行互导向滤波分解,将图像分别分解成背景层和细节层,背景层包括图像的结构信息,细节层包括图像的梯度和纹理信息;
B=M(I,V),D=(I,V)-B
其中,B代表背景层,D代表细节层,M代表互导向滤波,I代表红外图像;
4)基于显著图的方法融合背景层B,基于每个像素点跟全局的所有像素点进行做差并取绝对值后进行累加,公式如下:
S(p)=|I(p)-I1|+|I(p)-I2|+|I(p)-I3|+…+|I(p)-IN|
Figure BDA0002322722780000031
其中S(p)表示像素点的显著值,N表示图像中像素点的个数,M表示直方图统计公式,I(p)代表像素点位置的取值;
根据获取的显著值,得到基于背景层融合的显著图权重:
Figure BDA0002322722780000032
其中W代表权重,S(p)j代表对应的像素值,然后对分解后红外图像和可见光图像进行基于显著图权重的线性加权的融合,计算如下公式:
B=0.5*(0.5+I*(W1-W2)*0.5)+0.5*(0.5+V*(W2-W1)*0.5)
其中I、V分别代表输入的红外图像和可见光图像,W1,W2分别代表对红外图像和可见光图像取得的显著权重;
5)对象差分后出来的细节层进行基于对比度的像素融合策略,设一个滑动窗口,分别对红外和可见光的细节图进行全局的滑动,比较对应的细节图的像素的值大小,当红外图像的当前像素点八邻域的取值大于对应的可见光的八领域的像素点取值取1。反之取0;根据扫描的滑动窗口生成对应的二值权重图X;之后对细节层进行融合:
D=D(I)*X+D(V)*(1-X)
6)对背景层和细节层进行线性加权得:
F=B+D
其中F代表融合结果,B和D表示背景层、融合结果和细节层融合结果;
7)色彩空间转换:将融合的图像转回RGB图像并添加之前保留下的色调和饱和度;
通过把融合图像存入的V信息进行更新,结合之前保留的H和S进行HSV到RGB色彩空间的还原;具体公式如下所示:
C=V×S
X=C×(1-|(H/60°)mod2-1|)
m=V-C
Figure BDA0002322722780000041
R′,G′,B′=((R′+m)×255,(G′+m)×255,(B′+m)×255)
其中,C为明度与饱和度的成绩,m为明度与C的差。
8)色彩增强:对融合的图像进行色彩增强,从而生成一幅清晰度和对比度更优的融合图像;针对每个像素点的对比度,进行像素级的图像增强;
还原的图像进行颜色校正与增强,生成符合观察与检测的三通道图片;分别对R通道、G通道、B通道进行色彩增强,获得最终融合图像。具体如下公式所示:
Rout=(Rin)1/gamma
Rdisplay=(Rin (1/gamma))gamma
Gout=(Gin)1/gamma
G=(Gin (1/gamma))gamma
Bout=(Bin)1/gamma
Bdisplay=(Bin (1/gamma))gamma
其中gamma是矫正参数,Rin,Gin,Bin分别是输入R,G,B三个通道的值Rout,Gout,Bout是中间参数Rdisplay,Gdisplay,Bdisplay是增强后三通道的取值。
本发明的有益效果是:
本发明提出了一种利用红外和可见光双目立体相机实时融合的方法。利用滤波分解策略将图像分解成背景层和细节层,分别在背景层和细节层进行不同的策略融合,有效的减少了伪影的干扰并融合成高可信的图像,本发明具有以下特点:
(1)系统容易构建,使用立体双目相机即可完成输入数据的采集;
(2)程序简单,易于实现;
(3)利用滤波分解将图像分解成两部分进行具有针对的求解;
(4)结构完成,可进行多线程操作,程序具有鲁棒性;
(5)利用细节图进行显著增强与判别,提升算法的泛化能力。
附图说明
图1是可见光与红外融合算法流程图。
图2是最终融合图像。
具体实施方式
本发明提出了一种利用红外相机和可见光相机进行实时图像融合的方法,结合附图及实施例详细说明如下:
将可见光相机和红外相机摆放在固定的平台上,实验相机的图像分辨率为1280×720,视场角为45.4°,为保证实时性利用NVIDIA TX2进行计算。在此基础上设计实时红外和可见光融合的方法,所述的方法包括下列步骤:
1)获取配准好的红外和可见光图像:
1-1)利用张正友标定法对红外相机、可见光相机分别进行标定,获得每台相机的焦距、主点位置等内部参数和旋转、平移等外部参数。
1-2)利用相机联合标定获得的可见光相机与红外相机位姿关系RT(旋转矩阵与平移向量)及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系,并运用单应性变换进行可见光图像到红外图像(或者红外图像到可见光图像)的配准。
2)图像色彩空间转换
2-1)针对可见光图像是RGB三通道的问题,进行RGB色彩空间到HSV色彩空间的转换,提取可见光图像的V(明度)信息与红外图像进行融合,保留其H(色调),S(饱和度),具体转换如下所示:
R′=R/255 G′=G/255 B′=B/255
Cmax=max(R′,G′,B′)
Cmin=min(R',G',B')
Δ=Cmax-Cmin
V=Cmax
2-2)保留H(色调),S(饱和度)通道信息,为后面融合后图像的色彩还原保留颜色信息,提取V(明度)通道作为可见光的输入;
3)对输入的红外图像和进行色彩空间转换后的可见光图像进行互导向滤波分解,把图像分别分解成背景层和细节层,背景层刻画的图像的结构信息,细节层刻画的是梯度和纹理信息。
B=M(I,V),D=(I,V)-B
其中,B代表背景层,D代表细节层,M代表互导向滤波,I代表红外图像。
4)设计了基于显著图的方法融合背景层B,基于每个像素点跟全局的所有像素点进行做差并取绝对值后进行累加,公式如下:
S(p)=|I(p)-I1|+|I(p)-I2|+|I(p)-I3|+…+|I(p)-IN|
Figure BDA0002322722780000071
其中S(p)表示像素点的显著值,N表示图像中像素点的个数,M表示直方图统计公式,I代表图像中的像素点的值。
根据获取的显著值,我们可以得到基于背景层融合的显著图权重:
Figure BDA0002322722780000072
其中W代表权重,Sj代表对应的像素值,然后对分解后红外图像和可见光图像进行基于显著图权重的线性加权的融合,计算如下公式:
B=0.5*(0.5+I*(W1-W2)*0.5)+0.5*(0.5+V*(W2-W1)*0.5)
其中I,V分别代表输入的红外图像和可见光图像,W1,W2分别代表对红外图像和可见光图像取得的显著权重。
5)之后对象差分后出来的细节层进行基于对比度的像素融合策略,设计一个滑动窗口,大小为3*3,分别对红外和可见光的细节图进行全局的滑动,比较对应的细节图的像素的值大小,存入对应的窗口取为1,否则取0,根据扫描的滑动窗口生成对应的二值权重图X。之后对细节层进行融合:
D=D(I)*X+D(V)*(1-X)
6)最后,对背景层和细节层进行线性加权得:
F=B+D
其中F代表融合结果,B和D表示背景层融合结果和细节层融合结果。
7-1)通过把融合图像存入(明度V)信息进行更新,结合之前保留的(色调H)和(饱和度S)进行HSV到RGB色彩空间的还原。具体公式如下所示:
C=V×S
X=C×(1-|(H/60°)mod2-1|)
m=V-C
Figure BDA0002322722780000081
R′,G′,B′=((R′+m)×255,(G′+m)×255,(B′+m)×255)
其中,C为明度与饱和度的成绩,m为明度与C的差。
7-2)对步骤7-1,还原的图像进行颜色校正与增强,生成符合观察与检测的三通道图片;分别对R通道、G通道、B通道进行色彩增强,具体如下公式所示:
Rout=(Rin)1/gamma
Rdisplay=(Rin (1/gamma))gamma
Gout=(Gin)1/gamma
G=(Gin (1/gamma))gamma
Bout=(Bin)1/gamma
Bdisplay=(Bin (1/gamma))gamma
其中gamma是矫正参数,Rin,Gin,Bin分别是输入R,G,B三个通道的值Rout,Gout,Bout是中间参数Rdisplay,Gdisplay,Bdisplay是增强后三通道的取值。

Claims (4)

1.一种基于显著图增强的红外和可见光融合方法,其特征在于,包括如下步骤:
1)获取配准好的红外和可见光图像,分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定;
1-1)利用张正友标定法对红外相机、可见光相机分别进行标定,获得每台相机的内部参数包括焦距、主点位置和外部参数包括旋转、平移;
1-2)利用相机联合标定获得的可见光相机与红外相机位姿关系RT及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系,并运用单应性变换进行可见光图像到红外图像的配准;
2)对可见光图像进行色彩空间的转换,从RGB图像转成HSV图像,提取彩色图像的明度信息作为图像融合的输入,保留其原有色调及饱和度;
3)对输入的红外图像和进行色彩空间转换后的可见光图像进行互导向滤波分解,将图像分别分解成背景层和细节层,背景层包括图像的结构信息,细节层包括图像的梯度和纹理信息;
B=M(I,V),D=(I,V)-B
其中,B代表背景层,D代表细节层,M代表互导向滤波,I代表红外图像;
4)基于显著图的方法融合背景层B,基于每个像素点跟全局的所有像素点进行做差并取绝对值后进行累加,公式如下:
S(p)=|I(p)-I1|+|I(p)-I2|+|I(p)-I3|+…+|I(p)-IN|
Figure FDA0002322722770000011
其中S(p)表示像素点的显著值,N表示图像中像素点的个数,M表示直方图统计公式,I(p)代表像素点位置的取值;
根据获取的显著值,得到基于背景层融合的显著图权重:
Figure FDA0002322722770000012
其中W代表权重,Sj代表对应的像素值,然后对分解后红外图像和可见光图像进行基于显著图权重的线性加权的融合,计算如下公式:
B=0.5*(0.5+I*(W1-W2)*0.5)+0.5*(0.5+V*(W2-W1)*0.5)
其中I、V分别代表输入的红外图像和可见光图像,W1,W2分别代表对红外图像和可见光图像取得的显著权重;
5)对象差分后出来的细节层进行基于对比度的像素融合策略,设一个滑动窗口,分别对红外和可见光的细节图进行全局的滑动,比较对应的细节图的像素的值大小,当红外图像的当前像素点八邻域的取值大于对应的可见光的八领域的像素点取值取1,反之取0;根据扫描的滑动窗口生成对应的二值权重图X;之后对细节层进行融合:
D=D(I)*X+D(V)*(1-X)
6)对背景层和细节层进行线性加权得:
F=B+D
其中F代表融合结果,B和D表示背景层、融合结果和细节层融合结果;
7)色彩空间转换:将融合的图像转回RGB图像并添加之前保留下的色调和饱和度;
通过把融合图像存入的V信息进行更新,结合之前保留的H和S进行HSV到RGB色彩空间的还原;
8)色彩增强:对融合的图像进行色彩增强,从而生成一幅清晰度和对比度更优的融合图像;针对每个像素点的对比度,进行像素级的图像增强;
还原的图像进行颜色校正与增强,生成符合观察与检测的三通道图片;分别对R通道、G通道、B通道进行色彩增强,获得最终融合图像。
2.根据权利要求1所述的基于显著图增强的红外和可见光融合方法,其特征在于,步骤2)对可见光图像进行色彩空间的转换包括:
2-1)进行RGB色彩空间到HSV色彩空间的转换,V为明度,H为色调,S为饱和度;提取可见光图像的明度信息与红外图像进行融合,保留其色调和饱和度,具体转换如下所示:
R′=R/255 G′=G/255 B′=B/255
Cmax=max(R′,G′,B′)
Cmin=min(R′,G′,B′)
Δ=Cmax-Cmin
V=Cmax
2-2)提取V通道作为可见光的输入,保留H和S到对应的矩阵为后面融合后的色彩还原保留颜色信息。
3.根据权利要求1所述的基于显著图增强的红外和可见光融合方法,其特征在于,步骤7)色彩空间转换的具体公式如下所示:
C=V×S
X=C×(1-|(H/60°)mod2-1|)
m=V-C
Figure FDA0002322722770000031
R′,G′,B′=((R′+m)×255,(G′+m)×255,(B′+m)×255)
其中,C为明度与饱和度的成绩,m为明度与C的差。
4.根据权利要求1所述的基于显著图增强的红外和可见光融合方法,其特征在于,步骤8)色彩增强,具体如下公式所示:
Rout=(Rin)1/gamma
Rdisplay=(Rin (1/gamma))gamma
Gout=(Gin)1/gamma
G=(Gin (1/gamma))gamma
Bout=(Bin)1/gamma
Bdisplay=(Bin (1/gamma))gamma
其中gamma是矫正参数,Rin,Gin,Bin分别是输入R,G,B三个通道的值Rout,Gout,Bout是中间参数Rdisplay,Gdisplay,Bdisplay是增强后三通道的取值。
CN201911304499.4A 2019-12-17 2019-12-17 一种基于显著图增强的红外和可见光融合方法 Active CN111062905B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911304499.4A CN111062905B (zh) 2019-12-17 2019-12-17 一种基于显著图增强的红外和可见光融合方法
US17/283,181 US20220044375A1 (en) 2019-12-17 2020-03-05 Saliency Map Enhancement-Based Infrared and Visible Light Fusion Method
PCT/CN2020/077956 WO2021120406A1 (zh) 2019-12-17 2020-03-05 一种基于显著图增强的红外和可见光融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911304499.4A CN111062905B (zh) 2019-12-17 2019-12-17 一种基于显著图增强的红外和可见光融合方法

Publications (2)

Publication Number Publication Date
CN111062905A true CN111062905A (zh) 2020-04-24
CN111062905B CN111062905B (zh) 2022-01-04

Family

ID=70302105

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911304499.4A Active CN111062905B (zh) 2019-12-17 2019-12-17 一种基于显著图增强的红外和可见光融合方法

Country Status (3)

Country Link
US (1) US20220044375A1 (zh)
CN (1) CN111062905B (zh)
WO (1) WO2021120406A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815549A (zh) * 2020-07-09 2020-10-23 湖南大学 一种基于导向滤波图像融合的夜视图像彩色化方法
CN113159229A (zh) * 2021-05-19 2021-07-23 深圳大学 图像融合方法、电子设备及相关产品
CN113902659A (zh) * 2021-09-16 2022-01-07 大连理工大学 一种基于显著目标增强的红外和可见光融合方法
CN115170810A (zh) * 2022-09-08 2022-10-11 南京理工大学 一种可见光红外图像融合目标检测实例分割方法
CN115578620A (zh) * 2022-10-28 2023-01-06 北京理工大学 一种点线面多维特征-可见光融合slam方法
CN116128916A (zh) * 2023-04-13 2023-05-16 中国科学院国家空间科学中心 一种基于空间能流对比度的红外弱小目标增强方法
WO2023197284A1 (en) * 2022-04-15 2023-10-19 Qualcomm Incorporated Saliency-based adaptive color enhancement

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220036217A1 (en) * 2020-07-31 2022-02-03 Cimpress Schweiz Gmbh Machine learning technologies for assessing text legibility in electronic documents
US20220335578A1 (en) * 2021-04-14 2022-10-20 Microsoft Technology Licensing, Llc Colorization To Show Contribution of Different Camera Modalities
CN113902628A (zh) * 2021-08-25 2022-01-07 辽宁港口集团有限公司 一种适用于集装箱自动化智能升级的图像预处理算法
CN114757897B (zh) * 2022-03-30 2024-04-09 柳州欧维姆机械股份有限公司 一种改善桥梁缆索锚固区成像效果的方法
CN114757912A (zh) * 2022-04-15 2022-07-15 电子科技大学 基于图像融合的材料损伤检测方法、系统、终端及介质
CN115131412B (zh) * 2022-05-13 2024-05-14 国网浙江省电力有限公司宁波供电公司 多光谱图像融合过程中的图像处理方法
CN115542245B (zh) * 2022-12-01 2023-04-18 广东师大维智信息科技有限公司 基于uwb的位姿确定方法和装置
CN116167956B (zh) * 2023-03-28 2023-11-17 无锡学院 基于非对称多层分解的isar与vis图像融合方法
CN116168221B (zh) * 2023-04-25 2023-07-25 中国人民解放军火箭军工程大学 基于Transformer的跨模态图像匹配定位方法及装置
CN116363036B (zh) * 2023-05-12 2023-10-10 齐鲁工业大学(山东省科学院) 基于视觉增强的红外与可见光图像融合方法
CN116403057B (zh) * 2023-06-09 2023-08-18 山东瑞盈智能科技有限公司 一种基于多源图像融合的输电线路巡检方法及系统
CN116843588B (zh) * 2023-06-20 2024-02-06 大连理工大学 目标语义层级挖掘的红外与可见光图像融合方法
CN116543284B (zh) * 2023-07-06 2023-09-12 国科天成科技股份有限公司 基于场景类的可见光红外双光融合方法和系统
CN117115065B (zh) * 2023-10-25 2024-01-23 宁波纬诚科技股份有限公司 基于聚焦损失函数约束的可见光和红外图像的融合方法
CN117218048B (zh) * 2023-11-07 2024-03-08 天津市测绘院有限公司 基于三层稀疏光滑模型的红外与可见光图像融合方法
CN117788532A (zh) * 2023-12-26 2024-03-29 四川新视创伟超高清科技有限公司 一种安防领域基于fpga的超高清双光融合配准方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574335A (zh) * 2015-01-14 2015-04-29 西安电子科技大学 一种基于显著图和兴趣点凸包的红外与可见光图像融合方法
CN106952246A (zh) * 2017-03-14 2017-07-14 北京理工大学 基于视觉注意特性的可见光红外图像增强彩色融合方法
CN107169944A (zh) * 2017-04-21 2017-09-15 北京理工大学 一种基于多尺度对比度的红外与可见光图像融合方法
WO2018024030A1 (zh) * 2016-08-03 2018-02-08 江苏大学 一种夜视红外图像中的基于显著性的道路目标提取方法
CN110148104A (zh) * 2019-05-14 2019-08-20 西安电子科技大学 基于显著性分析与低秩表示的红外与可见光图像融合方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104268847B (zh) * 2014-09-23 2017-04-05 西安电子科技大学 一种基于交互非局部均值滤波的红外与可见光图像融合方法
CN107784642B (zh) * 2016-08-26 2019-01-29 北京航空航天大学 一种红外视频和可见光视频自适应融合方法
CN107248150A (zh) * 2017-07-31 2017-10-13 杭州电子科技大学 一种基于导向滤波显著区域提取的多尺度图像融合方法
CN110223262A (zh) * 2018-12-28 2019-09-10 中国船舶重工集团公司第七一七研究所 一种基于像素级的快速图像融合方法
CN110490914B (zh) * 2019-07-29 2022-11-15 广东工业大学 一种基于亮度自适应和显著性检测的图像融合方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574335A (zh) * 2015-01-14 2015-04-29 西安电子科技大学 一种基于显著图和兴趣点凸包的红外与可见光图像融合方法
WO2018024030A1 (zh) * 2016-08-03 2018-02-08 江苏大学 一种夜视红外图像中的基于显著性的道路目标提取方法
CN106952246A (zh) * 2017-03-14 2017-07-14 北京理工大学 基于视觉注意特性的可见光红外图像增强彩色融合方法
CN107169944A (zh) * 2017-04-21 2017-09-15 北京理工大学 一种基于多尺度对比度的红外与可见光图像融合方法
CN110148104A (zh) * 2019-05-14 2019-08-20 西安电子科技大学 基于显著性分析与低秩表示的红外与可见光图像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JINLEI MA 等: "Infrared and visible image fusion based on visual saliency map and weighted least square optimization", 《INFRARED PHYSICS & TECHNOLOGY》 *
林子慧 等: "基于显著性图的红外与可见光图像融合", 《红外技术》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815549A (zh) * 2020-07-09 2020-10-23 湖南大学 一种基于导向滤波图像融合的夜视图像彩色化方法
CN113159229A (zh) * 2021-05-19 2021-07-23 深圳大学 图像融合方法、电子设备及相关产品
CN113159229B (zh) * 2021-05-19 2023-11-07 深圳大学 图像融合方法、电子设备及相关产品
CN113902659A (zh) * 2021-09-16 2022-01-07 大连理工大学 一种基于显著目标增强的红外和可见光融合方法
WO2023197284A1 (en) * 2022-04-15 2023-10-19 Qualcomm Incorporated Saliency-based adaptive color enhancement
CN115170810A (zh) * 2022-09-08 2022-10-11 南京理工大学 一种可见光红外图像融合目标检测实例分割方法
CN115170810B (zh) * 2022-09-08 2022-12-13 南京理工大学 一种可见光红外图像融合目标检测实例分割方法
CN115578620A (zh) * 2022-10-28 2023-01-06 北京理工大学 一种点线面多维特征-可见光融合slam方法
CN116128916A (zh) * 2023-04-13 2023-05-16 中国科学院国家空间科学中心 一种基于空间能流对比度的红外弱小目标增强方法

Also Published As

Publication number Publication date
CN111062905B (zh) 2022-01-04
WO2021120406A1 (zh) 2021-06-24
US20220044375A1 (en) 2022-02-10

Similar Documents

Publication Publication Date Title
CN111062905B (zh) 一种基于显著图增强的红外和可见光融合方法
CN111080724B (zh) 一种红外和可见光的融合方法
CN111161356B (zh) 一种基于双层优化的红外和可见光融合方法
KR101580585B1 (ko) 전정색영상과 적외선영상의 융합 방법 및 장치
CN112288663A (zh) 一种红外与可见光图像融合方法及系统
CN112184604B (zh) 一种基于图像融合的彩色图像增强方法
CN114119378A (zh) 图像融合方法、图像融合模型的训练方法和装置
CN113902657A (zh) 图像拼接方法、装置和电子设备
CN111462128A (zh) 一种基于多模态光谱图像的像素级图像分割系统及方法
CN115035235A (zh) 三维重建方法及装置
CN115170810B (zh) 一种可见光红外图像融合目标检测实例分割方法
CN109035307A (zh) 基于自然光双目视觉的设定区域目标追踪方法及系统
CN112016478A (zh) 一种基于多光谱图像融合的复杂场景识别方法及系统
CN116778288A (zh) 一种多模态融合目标检测系统及方法
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
CN116681636A (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN107958489B (zh) 一种曲面重建方法及装置
CN113436130B (zh) 一种非结构光场智能感知系统与装置
CN113298177B (zh) 夜间图像着色方法、装置、介质和设备
KR20150065302A (ko) 영상정합 기법에 의한 위성영상 3차원 위치결정에 관한 방법
CN117237553A (zh) 一种基于点云图像融合的三维地图测绘系统
CN106971385A (zh) 一种飞行器态势感知用多源图像实时融合方法及其装置
CN109218706B (zh) 一种由单张图像生成立体视觉图像的方法
CN116993598A (zh) 基于合成孔径雷达和可见光融合的遥感影像去云方法
CN113191991B (zh) 基于信息瓶颈的多模态图像融合方法、系统、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant