CN105139370B - 一种基于可见光与近红外双波段相机的实时图像融合方法 - Google Patents
一种基于可见光与近红外双波段相机的实时图像融合方法 Download PDFInfo
- Publication number
- CN105139370B CN105139370B CN201510523122.3A CN201510523122A CN105139370B CN 105139370 B CN105139370 B CN 105139370B CN 201510523122 A CN201510523122 A CN 201510523122A CN 105139370 B CN105139370 B CN 105139370B
- Authority
- CN
- China
- Prior art keywords
- component
- image
- exclusive
- infrared
- rgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明一种基于可见光与近红外双波段相机的实时图像融合方法,包含以下步骤:一、首先通过局部最小算子求出可见光图像和近红外图像的共有分量;二、将可见光图像减去共有分量得到可见光图像独有分量;三、将近红外图像减去共有分量得到近红外图像独有分量;四、将近红外图像独有分量和可见光图像独有分量分别赋给中间图像的R和G分量值,将可见光图像独有分量与近红外图像独有分量之差赋给中间图像的B分量;五、将中间图像的RGB分量转换成YUV分量,然后将可见光图像的U、V分量替换中间图像的U、V分量;六、将替换后的中间图像转换成RGB分量获得融合图像。本发明硬件结构简单,可以同时呈现红外目标轮廓和可见光彩色信息。
Description
技术领域
本发明涉及图像融合处理技术。图像融合是多传感器信息融合的可视信息部分的融合,是将多源信道所采集的关于同一目标图像经过一定的图像处理,提取各自信道的信息,最后综合成统一图像或综合图像特性以供观察或进一步处理。图像融合在军用方面主要是军事目标的定位、识别、跟踪、侦察,隐蔽武器的探测,战场监控,夜间飞行指导等。图像融合技术还广泛的应用在导航、摄影、医学等领域。
背景技术
图像融合系统具有突出的探测优越性,时空覆盖宽、目标分辨率与测量维数高、冗余性、互补性、及相对较低的成本优势,由于图像融合系统所具有的突出的探测优越性,所以在美、英等技术发达国家受到高度重视并已取得相当的进展。
国际上在图像信息融合的不同层次上开展大量的模型与算法研究,提出了各种系统形式。理论上对于图像融合方法的研究是取得了很大的进步,发展很快。
图像融合的方法较多,从最初最为简单的加权平均法,即将原图像对应像素的灰度值进行加权平均,生成新的图像;然后出现了由Blln提出的拉普拉斯金字塔法,比率低通金字塔法,对比度金字塔法,梯度金字塔等融合方法。随着90年代小波变换在图像处理中的广泛应用,小波变换技术也被成功地应用于图像融合;本发明主要涉及到像素级比例图像融合方法。
发明内容
为了克服复杂图像融合算法处理实时性不足问题,本发明提出了一种基于可见光与近红外双波段相机的实时图像融合方法,包含以下步骤:
一、通过局部最小算子求出可见光图像和近红外图像的共有分量,设可见光图像分量为V(i,j),近红外图像分量为I(i,j)。则两种图像的共有分量C(i,j)可用式(1)表示
C(i,j)=V(i,j)∩I(i,j)=min{V(i,j),I(i,j)} (1)
二、将可将光图像分量减去可见光与近红外的共有分量,得到可见光图像独有分量V*(i,j),表示如下式
V*(i,j)=V(i,j)–C(i,j) (2)
三、将近红外图像分量减去可见光与近红外的共有分量,得到近红外图像独有分量I*(i,j),表示如下式
I*(i,j)=I(i,j)–C(i,j) (3)
四、将近红外图像独有分量和可见光图像独有分量分别赋给中间图像M(i,j)的R和G分量值,另外将可见光图像独有分量与近红外图像独有分量之差赋给M(i,j)的B分量,表示如下式
五、将中间图像M(i,j)的RGB空间转换成YUV空间,然后将可见光图像V(i,j)的U’、V’分量替换U、V分量获得Y U’V’图像;
六、最后将替换后的中间图像的Y U’V’空间图像转换成RGB空间,获得最终融合图像F(i,j),如下式:
F(i,j)=TRGB{Y U’V’} (5)
其中TRGB{},表示色彩空间转换符。
本发明的另一目的在于提供一种实现实时图像融合方法的实时图像融合系统,采用FPGA芯片,通过硬件描述语言实现以下模块:局部最小运算模块、灰度相减模块、RGB转YUV模块、和YUV转RGB模块;
所述局部最小运算模块用于通过局部最小算子求出可见光图像和近红外图像的共有分量;
所述灰度相减模块用于将可见光图像减去共有分量得到可见光图像独有分量;将近红外图像减去共有分量得到近红外图像独有分量;将近红外图像独有分量和可见光图像独有分量分别赋给中间图像的R和G分量值,将可见光图像独有分量与近红外图像独有分量之差赋给中间图像的B分量;
所述RGB转YUV模块用于将中间图像的RGB分量转换成YUV分量,然后将可见光图像的U、V分量替换中间图像的U、V分量;
所述YUV转RGB模块用于将替换后的中间图像转换成RGB分量,获得最终融合图像。
本发明方法采用线性运算,硬件实现简单,实时性好,不会降低融合图像的分辨率,可以同时呈现红外目标轮廓和可见光彩色信息,在近红外光照条件下,可以达到彩色夜视融合效果。
附图说明:
图1是基于可见光与近红外双波段相机的实时图像融合处理流程图
图2是基于FPGA的融合算法实现框图
图3(a)是实施例中可见光通道图像;
图3(b)是实施例中近红外通道图像
图3(c)是实施例中可将光与近红外融合图像
具体实施方式
根据说明书所述的基于可见光与近红外双波段相机的实时图像融合方法,其处理流程如图1所示。
一、通过局部最小算子求出可见光图像和近红外图像的共有分量,设可见光图像分量为V(i,j),近红外图像分量为I(i,j)。则两种图像的共有分量C(i,j)可用式(1)表示
C(i,j)=V(i,j)∩I(i,j)=min{V(i,j),I(i,j)} (1)
二、将可将光图像分量减去可见光与近红外的共有分量,得到可见光图像独有分量V*(i,j),表示如下式
V*(i,j)=V(i,j)–C(i,j) (2)
三、将近红外图像分量减去可见光与近红外的共有分量,得到近红外图像独有分量I*(i,j),表示如下式
I*(i,j)=I(i,j)–C(i,j) (3)
四、将近红外图像独有分量和可见光图像独有分量分别赋给中间图像M(i,j)的R和G分量值,另外将可见光图像独有分量与近红外图像独有分量之差赋给M(i,j)的B分量,表示如下式
五、将中间图像M(i,j)的RGB空间转换成YUV空间,然后将可见光图像V(i,j)的U’、V’分量替换U、V分量获得Y U’V’图像;
六、最后将替换后的中间图像的Y U’V’空间图像转换成RGB空间,获得最终融合图像F(i,j),如下式:
F(i,j)=TRGB{Y U’V’} (5)
其中TRGB{},表示色彩空间转换符。
实施方式采用FPGA来实现,其中包括局部最小运算模块、灰度相减模块、RGB转YUV模块、和YUV转RGB模块,所有处理形成一个流水线式的pipeline,便于实现高速的实时处理。本发明的具体实施方案是采用Altera的Arrial-II系列FPGA实现,这些模块都采用VHDL语言进行编写,FPGA中的处理流程如图2所示,通过ModelSim进行功能仿真和时序仿真,并最终下载到FPGA中进行在线验证。本方案中具体是采用JAI一款可见光和近红外双波段相机作为视频源,可同时送出可见光和近红外图像,参见图3(a),图3(b),分辨率1024X768,其帧频达到每秒30帧频,图像融合算法仿真效果如图3(c)所示。实验证明该图像融合方法适合于近红外光照条件下的实时融合处理,并且能够满足时延小,高帧频的要求。
可以理解的是,对本领域普通技术人员来说,可以根据本发明的技术方案及其发明构思加以等同替换或改变,而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。
Claims (2)
1.一种基于可见光与近红外双波段相机的实时图像融合方法,包含以下步骤:
一、通过局部最小算子求出可见光图像和近红外图像的共有分量;
二、将可见光图像减去共有分量得到可见光图像独有分量;
三、将近红外图像减去共有分量得到近红外图像独有分量;
四、将近红外图像独有分量和可见光图像独有分量分别赋给中间图像的R和G分量值,将可见光图像独有分量与近红外图像独有分量之差赋给中间图像的B分量;
五、将中间图像的RGB分量转换成YUV分量,然后将可见光图像的U、V分量替换中间图像的U、V分量;
六、将替换后的中间图像转换成RGB分量,获得最终融合图像。
2.一种实现权利要求1所述的实时图像融合方法的实时图像融合系统,采用FPGA芯片,通过硬件描述语言实现以下模块:局部最小运算模块、灰度相减模块、RGB转YUV模块、和YUV转RGB模块;
所述局部最小运算模块用于通过局部最小算子求出可见光图像和近红外图像的共有分量;
所述灰度相减模块用于将可见光图像减去共有分量得到可见光图像独有分量;将近红外图像减去共有分量得到近红外图像独有分量;将近红外图像独有分量和可见光图像独有分量分别赋给中间图像的R和G分量值,将可见光图像独有分量与近红外图像独有分量之差赋给中间图像的B分量;
所述RGB转YUV模块用于将中间图像的RGB分量转换成YUV分量,然后将可见光图像的U、V分量替换中间图像的U、V分量;
所述YUV转RGB模块用于将替换后的中间图像转换成RGB分量,获得最终融合图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510523122.3A CN105139370B (zh) | 2015-08-24 | 2015-08-24 | 一种基于可见光与近红外双波段相机的实时图像融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510523122.3A CN105139370B (zh) | 2015-08-24 | 2015-08-24 | 一种基于可见光与近红外双波段相机的实时图像融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105139370A CN105139370A (zh) | 2015-12-09 |
CN105139370B true CN105139370B (zh) | 2018-01-16 |
Family
ID=54724703
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510523122.3A Active CN105139370B (zh) | 2015-08-24 | 2015-08-24 | 一种基于可见光与近红外双波段相机的实时图像融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105139370B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10218926B2 (en) * | 2016-07-21 | 2019-02-26 | Christie Digital Systems Usa, Inc. | Device, system and method for cross-talk reduction in visual sensor systems |
CN108154493B (zh) * | 2017-11-23 | 2021-11-30 | 南京理工大学 | 一种基于fpga的双波段红外图像伪彩融合算法 |
CN110930311B (zh) * | 2018-09-19 | 2023-04-25 | 杭州萤石软件有限公司 | 一种提高红外图像与可见光图像融合的信噪比方法与装置 |
CN112241935B (zh) * | 2019-07-18 | 2023-05-26 | 杭州海康威视数字技术股份有限公司 | 图像处理方法、装置及设备、存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2194503A1 (en) * | 2008-10-27 | 2010-06-09 | Guangzhou SAT Infrared Technology Co., Ltd. | Method and device for infrared and visible image fusion |
CN102789640A (zh) * | 2012-07-16 | 2012-11-21 | 中国科学院自动化研究所 | 一种将可见光全色图像与红外遥感图像进行融合的方法 |
CN103971351A (zh) * | 2013-02-04 | 2014-08-06 | 三星泰科威株式会社 | 使用多光谱滤光器阵列传感器的图像融合方法和设备 |
CN104217413A (zh) * | 2014-09-11 | 2014-12-17 | 昆明云锗高新技术有限公司 | 可见光图像上叠加红外光图像的方法 |
-
2015
- 2015-08-24 CN CN201510523122.3A patent/CN105139370B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2194503A1 (en) * | 2008-10-27 | 2010-06-09 | Guangzhou SAT Infrared Technology Co., Ltd. | Method and device for infrared and visible image fusion |
CN102789640A (zh) * | 2012-07-16 | 2012-11-21 | 中国科学院自动化研究所 | 一种将可见光全色图像与红外遥感图像进行融合的方法 |
CN103971351A (zh) * | 2013-02-04 | 2014-08-06 | 三星泰科威株式会社 | 使用多光谱滤光器阵列传感器的图像融合方法和设备 |
CN104217413A (zh) * | 2014-09-11 | 2014-12-17 | 昆明云锗高新技术有限公司 | 可见光图像上叠加红外光图像的方法 |
Non-Patent Citations (2)
Title |
---|
基于YUV与小波变换的可见光与红外图像融合;王健 等;《西安工业大学学报》;20130331;第33卷(第3期);第208-211页 * |
基于目标提取的红外与可见光图像融合算法;王春华 等;《计算机工程》;20100131;第36卷(第2期);第197-200页 * |
Also Published As
Publication number | Publication date |
---|---|
CN105139370A (zh) | 2015-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104751432B (zh) | 一种基于图像重构的可见光与红外图像融合方法 | |
CN105139370B (zh) | 一种基于可见光与近红外双波段相机的实时图像融合方法 | |
US11830222B2 (en) | Bi-level optimization-based infrared and visible light fusion method | |
CN104851099B (zh) | 一种基于表示学习的图像融合方法 | |
Zheng et al. | Qualitative and quantitative comparisons of multispectral night vision colorization techniques | |
CN103020920B (zh) | 一种低照度图像增强方法 | |
AU2012219327A1 (en) | Fast image enhancement and three-dimensional depth calculation | |
CN102982518A (zh) | 红外与可见光动态图像的融合方法及装置 | |
CN104601953A (zh) | 一种视频图像融合处理系统 | |
CN103914699A (zh) | 一种基于色彩空间的自动唇彩的图像增强的方法 | |
CN106886985A (zh) | 一种减小色偏的自适应低照度图像增强方法 | |
CN102547063A (zh) | 基于颜色对比度增强的自然感彩色融合方法 | |
CN106815826A (zh) | 基于场景识别的夜视图像彩色融合方法 | |
Bai | Morphological infrared image enhancement based on multi-scale sequential toggle operator using opening and closing as primitives | |
Li | Application of image enhancement method for digital images based on Retinex theory | |
CN109493309A (zh) | 一种保持显著性信息的红外与可见光图像变分融合方法 | |
CN110097617B (zh) | 基于卷积神经网络与显著性权重的图像融合方法 | |
Bai et al. | A review of fusion methods of multi-spectral image | |
CN109300152A (zh) | 从场景的至少一对连续图像生成场景深度图的电子装置 | |
CN102063704A (zh) | 一种机载视景增强方法及其装置 | |
CN107038718B (zh) | 雾霾环境下的深度计算方法 | |
CN108257094A (zh) | 基于暗通道的遥感影像薄雾快速去除方法 | |
CN104504722A (zh) | 一种利用灰色点校正图像颜色的方法 | |
CN111815549A (zh) | 一种基于导向滤波图像融合的夜视图像彩色化方法 | |
CN106910159A (zh) | 视频拼接方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |