CN109785277B - 一种实时的红外与可见光图像融合方法 - Google Patents

一种实时的红外与可见光图像融合方法 Download PDF

Info

Publication number
CN109785277B
CN109785277B CN201811513266.0A CN201811513266A CN109785277B CN 109785277 B CN109785277 B CN 109785277B CN 201811513266 A CN201811513266 A CN 201811513266A CN 109785277 B CN109785277 B CN 109785277B
Authority
CN
China
Prior art keywords
infrared
original image
image
target
infrared original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811513266.0A
Other languages
English (en)
Other versions
CN109785277A (zh
Inventor
吴松野
宋文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing 55th Institution Technology Development Co ltd
Original Assignee
Nanjing 55th Institution Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing 55th Institution Technology Development Co ltd filed Critical Nanjing 55th Institution Technology Development Co ltd
Priority to CN201811513266.0A priority Critical patent/CN109785277B/zh
Publication of CN109785277A publication Critical patent/CN109785277A/zh
Application granted granted Critical
Publication of CN109785277B publication Critical patent/CN109785277B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明特别涉及到一种实时的红外与可见光图像融合方法，包括：一计算红外原图的轮廓记为T1；二提取红外原图IR(x,y)的亮度信息的阈值T2；三提取红外原图中的目标得出红外目标图像；根据步骤一与步骤二中分别计算出的红外原图的轮廓的阈值T1、亮度信息的阈值T2提取出完整的红外原图的目标信息FIRO(x,y)；所述红外目标为IRO(x,y)，将计算出的IRO(x,y)进行孔洞填充处理，得到最终的红外目标图像FIRO(x,y)。本发明公开的一种实时的红外与可见光图像融合方法和装置，具体实施方式采用GPU+ARM来实现，红外目标提取部分的算法以及图像融合利用GPU进行处理，通过图形程序接口OpenGL ES以及GLSL语言进行实施，而图像的填充则是在ARM中用C语言实施，保证算法运行的高实时性。

Description

一种实时的红外与可见光图像融合方法
技术领域
本发明涉及到数字图像处理领域，特别涉及到一种实时的红外与可见光图像融合方法，并应用于嵌入式设备产品中。
背景技术
随着光学成像技术以及数字图像处理技术的发展，尤其是红外原图与低照度可见光图像的融合技术的发展，使得图像夜视技术在车载辅助驾驶领域得到很好的应用。红外热成像穿透烟雾能力强，能够全天候工作，尤其在夜间，雨雾等极端环境中也能够探测到有热辐射的目标信息，而可见光成像传感器能够在星光级的环境下捕获到目标的细节信息，因此，根据两种传感器的互补性，将红外与可见光图像通过数字图像融合技术合成在一起，能最大限度的提取夜视环境下的丰富信息，这样的图像能进一步提高驾驶员在复杂夜间路况下的行车安全。
红外与可见光图像融合是近年来夜视图像领域研究的热点，现有技术专利号为201410014024.2，发明名称为《一种红外原图与可见光图像的实时融合方法》的专利中，公开了一种红外原图与可见光图像的实时融合方法，该方法应用草帽变换将待融合的红外原图与可见光图像进行融合，得到第一幅融合结果图；应用触发对比运算将待融合的红外原图与可见光图像进行融合，得到第二幅融合结果图；将前述第一幅融合结果图和第二幅融合结果图作为原始数据，应用像素取平均法进行二次图像融合，得到最终的融合结果图。该方法没有说明是否在嵌入式平台下实施的融合算法以及性能量化指标，这点对具有高实时性能要求的车载嵌入式设备相当重要。
发明内容
1.所要解决的技术问题：
本发明的目的是解决上述已有技术的不足，提出一种实时的红外与可见光图像融合方法，该方法能够辅助驾驶员在夜间，雨雾等极端环境下的安全驾驶。实现本方法的设备采用了GPU+AMR架构平台，满足对图像进行实时处理的要求，具备高实时性和稳定性的特点。
2.技术方案：
一种实时的红外与可见光图像融合方法，其特征在于：包括以下步骤：
步骤一：计算红外原图的轮廓；具体过程包括：根据拍摄的红外原图IR(x,y)，使用形态学梯度计算所述红外原图的轮廓的权重图WC(x,y)；将计算出来红外原图的轮廓的权重图WC(x,y)乘以红外原图IR(x,y)即可计算出具有轮廓约束的红外原图的显著图SC(x,y)；计算出所述显著图SC(x,y)的均值作为提取红外原图的轮廓的阈值，记为T1。
步骤二：提取红外原图IR(x,y)的亮度信息；具体包括：分别计算出红外原图IR(x,y)的亮度的平均值与标准差；并将所述亮度的平均值与所述标准差相加的值定义为红外原图的亮度信息的阈值T2。
步骤三：提取红外原图中的目标得出红外目标图像；根据步骤一与步骤二中分别计算出的红外原图的轮廓的阈值T1、亮度信息的阈值T2提取出完整的红外原图的目标信息FIRO(x,y)；具体步骤包括以下：
3.1：所述红外目标为IRO(x,y)，则红外目标根据式(1)中即可得：
Figure BDA0001901340560000021
3.2：将计算出的IRO(x,y)进行孔洞填充处理，得到最终的红外目标图像FIRO(x,y)；
步骤四：将计算出的红外目标图像与可见光图像LV(x,y)进行图像融合；
则融合图像FU(x,y)带入式(2)中可得：
Figure BDA0001901340560000022
步骤五：输出融合图像。
进一步地，步骤一中的红外原图的轮廓的权重图WC(x,y)的具体过程为：
将红外原图IR(x,y)的膨胀结果减去红外原图IR(x,y)的腐蚀结果即可得到红外原图的形态学梯度结果MG(x,y)；然后将形态学梯度结果MG(x,y)带入公式(3)中进行归一化处理，即为红外原图的轮廓的权重图WC(x,y)：
Figure BDA0001901340560000031
公式(3)中MGmax表示MG(x,y)的最大值，MGmin表示MG(x,y)的最小值。
进一步地，所述步骤二中提取亮度信息的阈值T2的具体公式为：
T2＝mean+scale·std(4)
其中，scale调节目标信息的比例系数，通常取值为1.1；是红外原图的均值，是红外原图的标准差。
进一步地，实施方式是采用GPU+ARM来实现；其中步骤一至步骤四中的红外原图的目标提取是输入GPU进行处理的，通过图形程序接口OpenGL ES以及GLSL语言进行实施；所述图像的填充是输入ARM中使用C语言实施的。
3.有益效果：
本发明公开了一种实时的红外与可见光图像融合方法和装置，具体实施方式采用GPU+ARM来实现，红外目标提取部分的算法以及图像融合利用GPU进行处理，通过图形程序接口OpenGL ES以及GLSL语言进行实施，而图像的填充则是在ARM中用C语言实施，保证算法运行的高实时性，在具体实施过程中，针对分辨率为720*576的图像，每帧的处理时间是30毫秒左右，充分满足实时性要求。
附图说明
图1是本方法中图像处理的流程图；
图2为本发明的具体实施例的红外原图；
图3为本发明的具体实施例的可见光原图；
图4为本发明的实施例的融合后的结果图。
具体实施方式
下面结合附图对本发明进行具体的说明。
如附图1所示：一种实时的红外与可见光图像融合方法，其特征在于：包括以下步骤：
步骤一：计算红外原图的轮廓；具体过程包括：根据拍摄的红外原图IR(x,y)，使用形态学梯度计算所述红外原图的轮廓的权重图WC(x,y)；将红外原图IR(x,y)的膨胀结果减去红外原图IR(x,y)的腐蚀结果即可得到红外原图的形态学梯度结果MG(x,y)；然后将形态学梯度结果MG(x,y)带入公式(3)中进行归一化处理，即为红外原图的轮廓的权重图WC(x,y)：
Figure BDA0001901340560000041
公式(3)中MGmax表示MG(x,y)的最大值，MGmin表示MG(x,y)的最小值。
将计算出来红外原图的轮廓的权重图WC(x,y)乘以红外原图IR(x,y)即可计算出具有轮廓约束的红外原图的显著图SC(x,y)；计算出所述显著图SC(x,y)的均值作为提取红外原图的轮廓的阈值，记为T1。
步骤二：提取红外原图IR(x,y)的亮度信息；具体包括：分别计算出红外原图IR(x,y)的亮度的平均值与标准差；并将所述亮度的平均值与所述标准差相加的值定义为红外原图的亮度信息的阈值T2。所述步骤二中提取亮度信息的阈值T2的具体公式为：
T2＝mean+scale·std(4)
其中，scale调节目标信息的比例系数，通常取值为1.1；是红外原图的均值，是红外原图的标准差。
步骤三：提取红外原图中的目标得出红外目标图像；根据步骤一与步骤二中分别计算出的红外原图的轮廓的阈值T1、亮度信息的阈值T2提取出完整的红外原图的目标信息FIRO(x,y)；具体步骤包括以下：
3.1：所述红外目标为IRO(x,y)，则红外目标根据式(1)中即可得：
Figure BDA0001901340560000042
3.2：将计算出的IRO(x,y)进行孔洞填充处理，得到最终的红外目标图像FIRO(x,y)；
步骤四：将计算出的红外目标图像与可见光图像LV(x,y)进行图像融合；
则融合图像FU(x,y)带入式(2)中可得：
Figure BDA0001901340560000043
步骤五：输出融合图像。
一种实时的红外与可见光图像融合方法，其具体实施方式是采用GPU+ARM来实现；其中步骤一至步骤四中的红外原图的目标提取是输入GPU进行处理的，通过图形程序接口OpenGL ES以及GLSL语言进行实施；所述图像的填充是输入ARM中使用C语言实施的。
附图2、3、4为使用本发明进行处理图片的具体实施例的红外原图、可见光图以及使用本方法融合后的结果图。
虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明的，任何熟习此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。

Claims (4)

1.一种实时的红外与可见光图像融合方法，其特征在于：包括以下步骤：
步骤一：计算红外原图的轮廓；具体过程包括：根据拍摄的红外原图IR(x,y)，使用形态学梯度计算所述红外原图的轮廓的权重图WC(x,y)；将计算出来红外原图的轮廓的权重图WC(x,y)乘以红外原图IR(x,y)即可计算出具有轮廓约束的红外原图的显著图SC(x,y)；计算出所述显著图SC(x,y)的均值作为提取红外原图的轮廓的阈值，记为T1；
步骤二：提取红外原图IR(x,y)的亮度信息；具体包括：分别计算出红外原图IR(x,y)的亮度的平均值与标准差；并将所述亮度的平均值与所述标准差相加的值定义为红外原图的亮度信息的阈值T2；
步骤三：提取红外原图中的目标得出红外目标图像；根据步骤一与步骤二中分别计算出的红外原图的轮廓的阈值T1、亮度信息的阈值T2提取出完整的红外原图的目标信息FIRO(x,y)；具体步骤包括以下：
3.1：所述红外目标为IRO(x,y)，则红外目标根据式(1)中即可得：
Figure FDA0001901340550000011
3.2：将计算出的IRO(x,y)进行孔洞填充处理，得到最终的红外目标图像FIRO(x,y)；
步骤四：将计算出的红外目标图像与可见光图像LV(x,y)进行图像融合；
则融合图像FU(x,y)带入式(2)中可得：
Figure FDA0001901340550000012
步骤五：输出融合图像。
2.根据权利要求1所述的一种实时的红外与可见光图像融合方法，其特征在于：步骤一中的红外原图的轮廓的权重图WC(x,y)的具体过程为：
将红外原图IR(x,y)的膨胀结果减去红外原图IR(x,y)的腐蚀结果即可得到红外原图的形态学梯度结果MG(x,y)；然后将形态学梯度结果MG(x,y)带入公式(3)中进行归一化处理，即为红外原图的轮廓的权重图WC(x,y)：
Figure FDA0001901340550000021
公式(3)中MGmax表示MG(x,y)的最大值，MGmin表示MG(x,y)的最小值。
3.根据权利要求2所述的一种实时的红外与可见光图像融合方法，其特征在于：所述步骤二中提取亮度信息的阈值T2的具体公式为：
T2＝mean+scale·std (4)
其中，scale调节目标信息的比例系数，通常取值为1.1；是红外原图的均值，是红外原图的标准差。
4.根据权利要求1所述的一种实时的红外与可见光图像融合方法，其特征在于：实施方式是采用GPU+ARM来实现；其中步骤一至步骤四中的红外原图的目标提取是输入GPU进行处理的，通过图形程序接口OpenGL ES以及GLSL语言进行实施；所述图像的填充是输入ARM中使用C语言实施的。
CN201811513266.0A 2018-12-11 2018-12-11 一种实时的红外与可见光图像融合方法 Active CN109785277B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811513266.0A CN109785277B (zh) 2018-12-11 2018-12-11 一种实时的红外与可见光图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811513266.0A CN109785277B (zh) 2018-12-11 2018-12-11 一种实时的红外与可见光图像融合方法

Publications (2)

Publication Number Publication Date
CN109785277A CN109785277A (zh) 2019-05-21
CN109785277B true CN109785277B (zh) 2022-10-04

Family

ID=66495845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811513266.0A Active CN109785277B (zh) 2018-12-11 2018-12-11 一种实时的红外与可见光图像融合方法

Country Status (1)

Country Link
CN (1) CN109785277B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200452A (zh) * 2014-09-05 2014-12-10 西安电子科技大学 基于谱图小波变换的红外与可见光图像融合方法及其装置
CN104268847A (zh) * 2014-09-23 2015-01-07 西安电子科技大学 一种基于交互非局部均值滤波的红外与可见光图像融合方法
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法
WO2018076732A1 (zh) * 2016-10-31 2018-05-03 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7602942B2 (en) * 2004-11-12 2009-10-13 Honeywell International Inc. Infrared and visible fusion face recognition system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200452A (zh) * 2014-09-05 2014-12-10 西安电子科技大学 基于谱图小波变换的红外与可见光图像融合方法及其装置
CN104268847A (zh) * 2014-09-23 2015-01-07 西安电子科技大学 一种基于交互非局部均值滤波的红外与可见光图像融合方法
WO2018076732A1 (zh) * 2016-10-31 2018-05-03 广州飒特红外股份有限公司 红外图像和可见光图像融合的方法及装置
CN106600572A (zh) * 2016-12-12 2017-04-26 长春理工大学 一种自适应的低照度可见光图像和红外图像融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于LLF和RBD检测的红外和可见光图像融合;王贝贝等;《计算机工程与应用》;20170901(第17期);全文 *

Also Published As

Publication number Publication date
CN109785277A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
WO2021120406A1 (zh) 一种基于显著图增强的红外和可见光融合方法
CN100527165C (zh) 一种以动态投影为背景的实时目标识别方法
CN106908064B (zh) 一种基于Kinect2传感器的室内夜间视觉导航方法
WO2014055984A1 (en) Imaging through aerosol obscurants
CN111027415B (zh) 一种基于偏振图像的车辆检测方法
CN112508814B (zh) 一种基于无人机低空视角下的图像色调修复型去雾增强方法
CN110942477B (zh) 一种利用双目相机和激光雷达深度图融合的方法
CN104853154B (zh) 一种基于运动图像的危岩变形信息提取及报警方法
CN106023108A (zh) 基于边界约束和上下文正则化的图像去雾算法
CN111028187B (zh) 一种光线自适应的机载双光图像侦察装置及方法
CN103778605A (zh) 一种雾天图像增强方法
CN109785277B (zh) 一种实时的红外与可见光图像融合方法
CN104794680B (zh) 基于同一卫星平台的多相机图像镶嵌方法及装置
CN112132753B (zh) 多尺度结构引导图像的红外图像超分辨率方法及系统
CN109961043A (zh) 一种基于无人机高分辨率影像的单木高度测量方法及系统
CN112862839A (zh) 一种地图要素语义分割鲁棒性增强方法和系统
KR102658268B1 (ko) Avm용 주행 자동 공차 보정 장치 및 방법
CN113792629B (zh) 一种基于深度神经网络的安全帽佩戴检测方法及系统
CN112598777B (zh) 一种基于暗通道先验的雾霾融合方法
CN115100556A (zh) 基于图像分割与融合的增强现实的方法、装置及电子设备
CN116342898A (zh) 一种冰风洞中翼型结冰区域检测方法、装置、设备和存储介质
CN115439349A (zh) 一种基于图像增强的水下slam优化方法
CN112215766B (zh) 一种图像复原与图像增强相融合的图像去雾方法及其卷积网络
JP6661268B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2009077022A (ja) 運転支援システム及び車両

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant