CN109785277A - 一种实时的红外与可见光图像融合方法 - Google Patents

一种实时的红外与可见光图像融合方法 Download PDF

Info

Publication number
CN109785277A
CN109785277A CN201811513266.0A CN201811513266A CN109785277A CN 109785277 A CN109785277 A CN 109785277A CN 201811513266 A CN201811513266 A CN 201811513266A CN 109785277 A CN109785277 A CN 109785277A
Authority
CN
China
Prior art keywords
infrared
original image
image
infrared original
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811513266.0A
Other languages
English (en)
Other versions
CN109785277B (zh
Inventor
吴松野
宋文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANJING NO55 INSTITUTE TECHNOLOGY DEVELOPMENT Co Ltd
Original Assignee
NANJING NO55 INSTITUTE TECHNOLOGY DEVELOPMENT Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANJING NO55 INSTITUTE TECHNOLOGY DEVELOPMENT Co Ltd filed Critical NANJING NO55 INSTITUTE TECHNOLOGY DEVELOPMENT Co Ltd
Priority to CN201811513266.0A priority Critical patent/CN109785277B/zh
Publication of CN109785277A publication Critical patent/CN109785277A/zh
Application granted granted Critical
Publication of CN109785277B publication Critical patent/CN109785277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明特别涉及到一种实时的红外与可见光图像融合方法，包括：一计算红外原图的轮廓记为T1；二提取红外原图IR(x,y)的亮度信息的阈值T2；三提取红外原图中的目标得出红外目标图像；根据步骤一与步骤二中分别计算出的红外原图的轮廓的阈值T1、亮度信息的阈值T2提取出完整的红外原图的目标信息FIRO(x,y)；所述红外目标为IRO(x,y)，将计算出的IRO(x,y)进行孔洞填充处理，得到最终的红外目标图像FIRO(x,y)。本发明公开的一种实时的红外与可见光图像融合方法和装置，具体实施方式采用GPU+ARM来实现，红外目标提取部分的算法以及图像融合利用GPU进行处理，通过图形程序接口OpenGL ES以及GLSL语言进行实施，而图像的填充则是在ARM中用C语言实施，保证算法运行的高实时性。

Description

一种实时的红外与可见光图像融合方法
技术领域
本发明涉及到数字图像处理领域，特别涉及到一种实时的红外与可见光图像融合方法，并应用于嵌入式设备产品中。
背景技术
随着光学成像技术以及数字图像处理技术的发展，尤其是红外原图与低照度可见光图像的融合技术的发展，使得图像夜视技术在车载辅助驾驶领域得到很好的应用。红外热成像穿透烟雾能力强，能够全天候工作，尤其在夜间，雨雾等极端环境中也能够探测到有热辐射的目标信息，而可见光成像传感器能够在星光级的环境下捕获到目标的细节信息，因此，根据两种传感器的互补性，将红外与可见光图像通过数字图像融合技术合成在一起，能最大限度的提取夜视环境下的丰富信息，这样的图像能进一步提高驾驶员在复杂夜间路况下的行车安全。
红外与可见光图像融合是近年来夜视图像领域研究的热点，现有技术专利号为201410014024.2，发明名称为《一种红外原图与可见光图像的实时融合方法》的专利中，公开了一种红外原图与可见光图像的实时融合方法，该方法应用草帽变换将待融合的红外原图与可见光图像进行融合，得到第一幅融合结果图；应用触发对比运算将待融合的红外原图与可见光图像进行融合，得到第二幅融合结果图；将前述第一幅融合结果图和第二幅融合结果图作为原始数据，应用像素取平均法进行二次图像融合，得到最终的融合结果图。该方法没有说明是否在嵌入式平台下实施的融合算法以及性能量化指标，这点对具有高实时性能要求的车载嵌入式设备相当重要。
发明内容
1.所要解决的技术问题：
本发明的目的是解决上述已有技术的不足，提出一种实时的红外与可见光图像融合方法，该方法能够辅助驾驶员在夜间，雨雾等极端环境下的安全驾驶。实现本方法的设备采用了GPU+AMR架构平台，满足对图像进行实时处理的要求，具备高实时性和稳定性的特点。
2.技术方案：
一种实时的红外与可见光图像融合方法，其特征在于：包括以下步骤：
步骤一：计算红外原图的轮廓；具体过程包括：根据拍摄的红外原图IR(x,y)，使用形态学梯度计算所述红外原图的轮廓的权重图WC(x,y)；将计算出来红外原图的轮廓的权重图WC(x,y)乘以红外原图IR(x,y)即可计算出具有轮廓约束的红外原图的显著图SC(x,y)；计算出所述显著图SC(x,y)的均值作为提取红外原图的轮廓的阈值，记为T1。
步骤二：提取红外原图IR(x,y)的亮度信息；具体包括：分别计算出红外原图IR(x,y)的亮度的平均值与标准差；并将所述亮度的平均值与所述标准差相加的值定义为红外原图的亮度信息的阈值T2。
步骤三：提取红外原图中的目标得出红外目标图像；根据步骤一与步骤二中分别计算出的红外原图的轮廓的阈值T1、亮度信息的阈值T2提取出完整的红外原图的目标信息FIRO(x,y)；具体步骤包括以下：
3.1：所述红外目标为IRO(x,y)，则红外目标根据式(1)中即可得：
3.2：将计算出的IRO(x,y)进行孔洞填充处理，得到最终的红外目标图像FIRO(x,y)；
步骤四：将计算出的红外目标图像与可见光图像LV(x,y)进行图像融合；
则融合图像FU(x,y)带入式(2)中可得：
步骤五：输出融合图像。
进一步地，步骤一中的红外原图的轮廓的权重图WC(x,y)的具体过程为：
将红外原图IR(x,y)的膨胀结果减去红外原图IR(x,y)的腐蚀结果即可得到红外原图的形态学梯度结果MG(x,y)；然后将形态学梯度结果MG(x,y)带入公式(3)中进行归一化处理，即为红外原图的轮廓的权重图WC(x,y)：
公式(3)中MGmax表示MG(x,y)的最大值，MGmin表示MG(x,y)的最小值。
进一步地，所述步骤二中提取亮度信息的阈值T2的具体公式为：
T2＝mean+scale·std (4)
其中，scale调节目标信息的比例系数，通常取值为1.1；是红外原图的均值，是红外原图的标准差。
进一步地，实施方式是采用GPU+ARM来实现；其中步骤一至步骤四中的红外原图的目标提取是输入GPU进行处理的，通过图形程序接口OpenGL ES以及GLSL语言进行实施；所述图像的填充是输入ARM中使用C语言实施的。
3.有益效果：
本发明公开了一种实时的红外与可见光图像融合方法和装置，具体实施方式采用GPU+ARM来实现，红外目标提取部分的算法以及图像融合利用GPU进行处理，通过图形程序接口OpenGL ES以及GLSL语言进行实施，而图像的填充则是在ARM中用C语言实施，保证算法运行的高实时性，在具体实施过程中，针对分辨率为720*576的图像，每帧的处理时间是30毫秒左右，充分满足实时性要求。
附图说明
图1是本方法中图像处理的流程图；
图2为本发明的具体实施例的红外原图；
图3为本发明的具体实施例的可见光原图；
图4为本发明的实施例的融合后的结果图。
具体实施方式
下面结合附图对本发明进行具体的说明。
如附图1所示：一种实时的红外与可见光图像融合方法，其特征在于：包括以下步骤：
步骤一：计算红外原图的轮廓；具体过程包括：根据拍摄的红外原图IR(x,y)，使用形态学梯度计算所述红外原图的轮廓的权重图WC(x,y)；将红外原图IR(x,y)的膨胀结果减去红外原图IR(x,y)的腐蚀结果即可得到红外原图的形态学梯度结果MG(x,y)；然后将形态学梯度结果MG(x,y)带入公式(3)中进行归一化处理，即为红外原图的轮廓的权重图WC(x,y)：
公式(3)中MGmax表示MG(x,y)的最大值，MGmin表示MG(x,y)的最小值。
将计算出来红外原图的轮廓的权重图WC(x,y)乘以红外原图IR(x,y)即可计算出具有轮廓约束的红外原图的显著图SC(x,y)；计算出所述显著图SC(x,y)的均值作为提取红外原图的轮廓的阈值，记为T1。
步骤二：提取红外原图IR(x,y)的亮度信息；具体包括：分别计算出红外原图IR(x,y)的亮度的平均值与标准差；并将所述亮度的平均值与所述标准差相加的值定义为红外原图的亮度信息的阈值T2。所述步骤二中提取亮度信息的阈值T2的具体公式为：
T2＝mean+scale·std (4)
其中，scale调节目标信息的比例系数，通常取值为1.1；是红外原图的均值，是红外原图的标准差。
步骤三：提取红外原图中的目标得出红外目标图像；根据步骤一与步骤二中分别计算出的红外原图的轮廓的阈值T1、亮度信息的阈值T2提取出完整的红外原图的目标信息FIRO(x,y)；具体步骤包括以下：
3.1：所述红外目标为IRO(x,y)，则红外目标根据式(1)中即可得：
3.2：将计算出的IRO(x,y)进行孔洞填充处理，得到最终的红外目标图像FIRO(x,y)；
步骤四：将计算出的红外目标图像与可见光图像LV(x,y)进行图像融合；
则融合图像FU(x,y)带入式(2)中可得：
步骤五：输出融合图像。
一种实时的红外与可见光图像融合方法，其具体实施方式是采用GPU+ARM来实现；其中步骤一至步骤四中的红外原图的目标提取是输入GPU进行处理的，通过图形程序接口OpenGL ES以及GLSL语言进行实施；所述图像的填充是输入ARM中使用C语言实施的。
附图2、3、4为使用本发明进行处理图片的具体实施例的红外原图、可见光图以及使用本方法融合后的结果图。
虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明的，任何熟习此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。

Claims (4)

1.一种实时的红外与可见光图像融合方法，其特征在于：包括以下步骤：
步骤一：计算红外原图的轮廓；具体过程包括：根据拍摄的红外原图IR(x,y)，使用形态学梯度计算所述红外原图的轮廓的权重图WC(x,y)；将计算出来红外原图的轮廓的权重图WC(x,y)乘以红外原图IR(x,y)即可计算出具有轮廓约束的红外原图的显著图SC(x,y)；计算出所述显著图SC(x,y)的均值作为提取红外原图的轮廓的阈值，记为T1；
步骤二：提取红外原图IR(x,y)的亮度信息；具体包括：分别计算出红外原图IR(x,y)的亮度的平均值与标准差；并将所述亮度的平均值与所述标准差相加的值定义为红外原图的亮度信息的阈值T2；
步骤三：提取红外原图中的目标得出红外目标图像；根据步骤一与步骤二中分别计算出的红外原图的轮廓的阈值T1、亮度信息的阈值T2提取出完整的红外原图的目标信息FIRO(x,y)；具体步骤包括以下：
3.1：所述红外目标为IRO(x,y)，则红外目标根据式(1)中即可得：
3.2：将计算出的IRO(x,y)进行孔洞填充处理，得到最终的红外目标图像FIRO(x,y)；
步骤四：将计算出的红外目标图像与可见光图像LV(x,y)进行图像融合；
则融合图像FU(x,y)带入式(2)中可得：
步骤五：输出融合图像。
2.根据权利要求1所述的一种实时的红外与可见光图像融合方法，其特征在于：步骤一中的红外原图的轮廓的权重图WC(x,y)的具体过程为：
将红外原图IR(x,y)的膨胀结果减去红外原图IR(x,y)的腐蚀结果即可得到红外原图的形态学梯度结果MG(x,y)；然后将形态学梯度结果MG(x,y)带入公式(3)中进行归一化处理，即为红外原图的轮廓的权重图WC(x,y)：
公式(3)中MGmax表示MG(x,y)的最大值，MGmin表示MG(x,y)的最小值。
3.根据权利要求2所述的一种实时的红外与可见光图像融合方法，其特征在于：所述步骤二中提取亮度信息的阈值T2的具体公式为：
T2＝mean+scale·std (4)
其中，scale调节目标信息的比例系数，通常取值为1.1；是红外原图的均值，是红外原图的标准差。
4.根据权利要求1所述的一种实时的红外与可见光图像融合方法，其特征在于：实施方式是采用GPU+ARM来实现；其中步骤一至步骤四中的红外原图的目标提取是输入GPU进行处理的，通过图形程序接口OpenGL ES以及GLSL语言进行实施；所述图像的填充是输入ARM中使用C语言实施的。
CN201811513266.0A 2018-12-11 2018-12-11 一种实时的红外与可见光图像融合方法 Active CN109785277B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811513266.0A CN109785277B (zh) 2018-12-11 2018-12-11 一种实时的红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811513266.0A CN109785277B (zh) 2018-12-11 2018-12-11 一种实时的红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN109785277A true CN109785277A (zh) 2019-05-21
CN109785277B CN109785277B (zh) 2022-10-04

Family

ID=66495845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811513266.0A Active CN109785277B (zh) 2018-12-11 2018-12-11 一种实时的红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN109785277B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060102843A1 (en) * 2004-11-12 2006-05-18 Bazakos Michael E Infrared and visible fusion face recognition system
CN104200452A (zh) * 2014-09-05 2014-12-10 西安电子科技大学 基于谱图小波变换的红外与可见光图像融合方法及其装置
CN104268847A (zh) * 2014-09-23 2015-01-07 西安电子科技大学 一种基于交互非局部均值滤波的红外与可见光图像融合方法
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法
WO2018076732A1 (zh) * 2016-10-31 2018-05-03 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060102843A1 (en) * 2004-11-12 2006-05-18 Bazakos Michael E Infrared and visible fusion face recognition system
CN104200452A (zh) * 2014-09-05 2014-12-10 西安电子科技大学 基于谱图小波变换的红外与可见光图像融合方法及其装置
CN104268847A (zh) * 2014-09-23 2015-01-07 西安电子科技大学 一种基于交互非局部均值滤波的红外与可见光图像融合方法
WO2018076732A1 (zh) * 2016-10-31 2018-05-03 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王贝贝等: "基于LLF和RBD检测的红外和可见光图像融合", 《计算机工程与应用》 *

Also Published As

Publication number Publication date
CN109785277B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN106709893B (zh) 一种全天时雾霾图像清晰化恢复方法
CN103390281B (zh) 一种双光谱夜视仪车载系统及双光谱融合设计方法
CN102831591B (zh) 一种基于高斯滤波的单幅图像的实时去雾方法
WO2017073344A1 (ja) 撮像システム、並びにオブジェクト検出装置及びその作動方法
CN107895357B (zh) 一种基于fpga的实时水面浓雾场景图像增强方法
CN108596849A (zh) 一种基于天空区域分割的单幅图像去雾方法
CN102750674A (zh) 基于自适应容差的视频图像去雾方法
CN103778418A (zh) 一种输电线路杆塔图像监测系统的山火图像识别方法
CN102243758A (zh) 基于雾天图像复原和图像融合的图像去雾方法
US20140085473A1 (en) In-vehicle camera apparatus
CN112508814B (zh) 一种基于无人机低空视角下的图像色调修复型去雾增强方法
CN104634784B (zh) 大气能见度监测方法和装置
CN111028187B (zh) 一种光线自适应的机载双光图像侦察装置及方法
CN102436643A (zh) 面向大气散射邻近效应的图像去雾方法
US8824828B1 (en) Thermal V-curve for fusion image declutter
CN208240087U (zh) 一种红外与可见光融合系统及图像融合装置
CN105225235A (zh) 一种基于多光谱特征的视频火焰检测方法
US20180150998A1 (en) Light field light source orientation method for augmented reality and virtual reality and front-end device
CN106991707A (zh) 一种基于昼夜成像特征的交通信号灯图像强化方法及装置
CN105701783A (zh) 一种基于环境光模型的单幅图像去雾方法及装置
CN106023108A (zh) 基于边界约束和上下文正则化的图像去雾算法
CN110210292A (zh) 一种基于深度学习的目标识别方法
CN107705263A (zh) 一种基于rgb‑ir传感器的自适应透雾方法和终端
CN113762161A (zh) 一种障碍物智能监测方法及系统
CN109451292B (zh) 图像色温校正方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant