CN109785277A - 一种实时的红外与可见光图像融合方法 - Google Patents
一种实时的红外与可见光图像融合方法 Download PDFInfo
- Publication number
- CN109785277A CN109785277A CN201811513266.0A CN201811513266A CN109785277A CN 109785277 A CN109785277 A CN 109785277A CN 201811513266 A CN201811513266 A CN 201811513266A CN 109785277 A CN109785277 A CN 109785277A
- Authority
- CN
- China
- Prior art keywords
- infrared
- original image
- image
- infrared original
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 12
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 19
- 238000002156 mixing Methods 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 230000007797 corrosion Effects 0.000 claims description 3
- 238000005260 corrosion Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 3
- 230000004297 night vision Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000010902 straw Substances 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明特别涉及到一种实时的红外与可见光图像融合方法，包括：一计算红外原图的轮廓记为T1；二提取红外原图IR(x,y)的亮度信息的阈值T2；三提取红外原图中的目标得出红外目标图像；根据步骤一与步骤二中分别计算出的红外原图的轮廓的阈值T1、亮度信息的阈值T2提取出完整的红外原图的目标信息FIRO(x,y)；所述红外目标为IRO(x,y)，将计算出的IRO(x,y)进行孔洞填充处理，得到最终的红外目标图像FIRO(x,y)。本发明公开的一种实时的红外与可见光图像融合方法和装置，具体实施方式采用GPU+ARM来实现，红外目标提取部分的算法以及图像融合利用GPU进行处理，通过图形程序接口OpenGL ES以及GLSL语言进行实施，而图像的填充则是在ARM中用C语言实施，保证算法运行的高实时性。
Description
技术领域
本发明涉及到数字图像处理领域，特别涉及到一种实时的红外与可见光图像融合方法，并应用于嵌入式设备产品中。
背景技术
随着光学成像技术以及数字图像处理技术的发展，尤其是红外原图与低照度可见光图像的融合技术的发展，使得图像夜视技术在车载辅助驾驶领域得到很好的应用。红外热成像穿透烟雾能力强，能够全天候工作，尤其在夜间，雨雾等极端环境中也能够探测到有热辐射的目标信息，而可见光成像传感器能够在星光级的环境下捕获到目标的细节信息，因此，根据两种传感器的互补性，将红外与可见光图像通过数字图像融合技术合成在一起，能最大限度的提取夜视环境下的丰富信息，这样的图像能进一步提高驾驶员在复杂夜间路况下的行车安全。
红外与可见光图像融合是近年来夜视图像领域研究的热点，现有技术专利号为201410014024.2，发明名称为《一种红外原图与可见光图像的实时融合方法》的专利中，公开了一种红外原图与可见光图像的实时融合方法，该方法应用草帽变换将待融合的红外原图与可见光图像进行融合，得到第一幅融合结果图；应用触发对比运算将待融合的红外原图与可见光图像进行融合，得到第二幅融合结果图；将前述第一幅融合结果图和第二幅融合结果图作为原始数据，应用像素取平均法进行二次图像融合，得到最终的融合结果图。该方法没有说明是否在嵌入式平台下实施的融合算法以及性能量化指标，这点对具有高实时性能要求的车载嵌入式设备相当重要。
发明内容
1.所要解决的技术问题：
本发明的目的是解决上述已有技术的不足，提出一种实时的红外与可见光图像融合方法，该方法能够辅助驾驶员在夜间，雨雾等极端环境下的安全驾驶。实现本方法的设备采用了GPU+AMR架构平台，满足对图像进行实时处理的要求，具备高实时性和稳定性的特点。
2.技术方案：
一种实时的红外与可见光图像融合方法，其特征在于：包括以下步骤：
步骤一：计算红外原图的轮廓；具体过程包括：根据拍摄的红外原图IR(x,y)，使用形态学梯度计算所述红外原图的轮廓的权重图WC(x,y)；将计算出来红外原图的轮廓的权重图WC(x,y)乘以红外原图IR(x,y)即可计算出具有轮廓约束的红外原图的显著图SC(x,y)；计算出所述显著图SC(x,y)的均值作为提取红外原图的轮廓的阈值，记为T1。
步骤二：提取红外原图IR(x,y)的亮度信息；具体包括：分别计算出红外原图IR(x,y)的亮度的平均值与标准差；并将所述亮度的平均值与所述标准差相加的值定义为红外原图的亮度信息的阈值T2。
步骤三：提取红外原图中的目标得出红外目标图像；根据步骤一与步骤二中分别计算出的红外原图的轮廓的阈值T1、亮度信息的阈值T2提取出完整的红外原图的目标信息FIRO(x,y)；具体步骤包括以下：
3.1：所述红外目标为IRO(x,y)，则红外目标根据式(1)中即可得：
3.2：将计算出的IRO(x,y)进行孔洞填充处理，得到最终的红外目标图像FIRO(x,y)；
步骤四：将计算出的红外目标图像与可见光图像LV(x,y)进行图像融合；
则融合图像FU(x,y)带入式(2)中可得：
步骤五：输出融合图像。
进一步地，步骤一中的红外原图的轮廓的权重图WC(x,y)的具体过程为：
将红外原图IR(x,y)的膨胀结果减去红外原图IR(x,y)的腐蚀结果即可得到红外原图的形态学梯度结果MG(x,y)；然后将形态学梯度结果MG(x,y)带入公式(3)中进行归一化处理，即为红外原图的轮廓的权重图WC(x,y)：
公式(3)中MGmax表示MG(x,y)的最大值，MGmin表示MG(x,y)的最小值。
进一步地，所述步骤二中提取亮度信息的阈值T2的具体公式为：
T2＝mean+scale·std (4)
其中，scale调节目标信息的比例系数，通常取值为1.1；是红外原图的均值，是红外原图的标准差。
进一步地，实施方式是采用GPU+ARM来实现；其中步骤一至步骤四中的红外原图的目标提取是输入GPU进行处理的，通过图形程序接口OpenGL ES以及GLSL语言进行实施；所述图像的填充是输入ARM中使用C语言实施的。
3.有益效果：
本发明公开了一种实时的红外与可见光图像融合方法和装置，具体实施方式采用GPU+ARM来实现，红外目标提取部分的算法以及图像融合利用GPU进行处理，通过图形程序接口OpenGL ES以及GLSL语言进行实施，而图像的填充则是在ARM中用C语言实施，保证算法运行的高实时性，在具体实施过程中，针对分辨率为720*576的图像，每帧的处理时间是30毫秒左右，充分满足实时性要求。
附图说明
图1是本方法中图像处理的流程图；
图2为本发明的具体实施例的红外原图；
图3为本发明的具体实施例的可见光原图；
图4为本发明的实施例的融合后的结果图。
具体实施方式
下面结合附图对本发明进行具体的说明。
如附图1所示：一种实时的红外与可见光图像融合方法，其特征在于：包括以下步骤：
步骤一：计算红外原图的轮廓；具体过程包括：根据拍摄的红外原图IR(x,y)，使用形态学梯度计算所述红外原图的轮廓的权重图WC(x,y)；将红外原图IR(x,y)的膨胀结果减去红外原图IR(x,y)的腐蚀结果即可得到红外原图的形态学梯度结果MG(x,y)；然后将形态学梯度结果MG(x,y)带入公式(3)中进行归一化处理，即为红外原图的轮廓的权重图WC(x,y)：
公式(3)中MGmax表示MG(x,y)的最大值，MGmin表示MG(x,y)的最小值。
将计算出来红外原图的轮廓的权重图WC(x,y)乘以红外原图IR(x,y)即可计算出具有轮廓约束的红外原图的显著图SC(x,y)；计算出所述显著图SC(x,y)的均值作为提取红外原图的轮廓的阈值，记为T1。
步骤二：提取红外原图IR(x,y)的亮度信息；具体包括：分别计算出红外原图IR(x,y)的亮度的平均值与标准差；并将所述亮度的平均值与所述标准差相加的值定义为红外原图的亮度信息的阈值T2。所述步骤二中提取亮度信息的阈值T2的具体公式为：
T2＝mean+scale·std (4)
其中，scale调节目标信息的比例系数，通常取值为1.1；是红外原图的均值，是红外原图的标准差。
步骤三：提取红外原图中的目标得出红外目标图像；根据步骤一与步骤二中分别计算出的红外原图的轮廓的阈值T1、亮度信息的阈值T2提取出完整的红外原图的目标信息FIRO(x,y)；具体步骤包括以下：
3.1：所述红外目标为IRO(x,y)，则红外目标根据式(1)中即可得：
3.2：将计算出的IRO(x,y)进行孔洞填充处理，得到最终的红外目标图像FIRO(x,y)；
步骤四：将计算出的红外目标图像与可见光图像LV(x,y)进行图像融合；
则融合图像FU(x,y)带入式(2)中可得：
步骤五：输出融合图像。
一种实时的红外与可见光图像融合方法，其具体实施方式是采用GPU+ARM来实现；其中步骤一至步骤四中的红外原图的目标提取是输入GPU进行处理的，通过图形程序接口OpenGL ES以及GLSL语言进行实施；所述图像的填充是输入ARM中使用C语言实施的。
附图2、3、4为使用本发明进行处理图片的具体实施例的红外原图、可见光图以及使用本方法融合后的结果图。
虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明的，任何熟习此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。
Claims (4)
1.一种实时的红外与可见光图像融合方法，其特征在于：包括以下步骤：
步骤一：计算红外原图的轮廓；具体过程包括：根据拍摄的红外原图IR(x,y)，使用形态学梯度计算所述红外原图的轮廓的权重图WC(x,y)；将计算出来红外原图的轮廓的权重图WC(x,y)乘以红外原图IR(x,y)即可计算出具有轮廓约束的红外原图的显著图SC(x,y)；计算出所述显著图SC(x,y)的均值作为提取红外原图的轮廓的阈值，记为T1；
步骤二：提取红外原图IR(x,y)的亮度信息；具体包括：分别计算出红外原图IR(x,y)的亮度的平均值与标准差；并将所述亮度的平均值与所述标准差相加的值定义为红外原图的亮度信息的阈值T2；
步骤三：提取红外原图中的目标得出红外目标图像；根据步骤一与步骤二中分别计算出的红外原图的轮廓的阈值T1、亮度信息的阈值T2提取出完整的红外原图的目标信息FIRO(x,y)；具体步骤包括以下：
3.1：所述红外目标为IRO(x,y)，则红外目标根据式(1)中即可得：
3.2：将计算出的IRO(x,y)进行孔洞填充处理，得到最终的红外目标图像FIRO(x,y)；
步骤四：将计算出的红外目标图像与可见光图像LV(x,y)进行图像融合；
则融合图像FU(x,y)带入式(2)中可得：
步骤五：输出融合图像。
2.根据权利要求1所述的一种实时的红外与可见光图像融合方法，其特征在于：步骤一中的红外原图的轮廓的权重图WC(x,y)的具体过程为：
将红外原图IR(x,y)的膨胀结果减去红外原图IR(x,y)的腐蚀结果即可得到红外原图的形态学梯度结果MG(x,y)；然后将形态学梯度结果MG(x,y)带入公式(3)中进行归一化处理，即为红外原图的轮廓的权重图WC(x,y)：
公式(3)中MGmax表示MG(x,y)的最大值，MGmin表示MG(x,y)的最小值。
3.根据权利要求2所述的一种实时的红外与可见光图像融合方法，其特征在于：所述步骤二中提取亮度信息的阈值T2的具体公式为：
T2＝mean+scale·std (4)
其中，scale调节目标信息的比例系数，通常取值为1.1；是红外原图的均值，是红外原图的标准差。
4.根据权利要求1所述的一种实时的红外与可见光图像融合方法，其特征在于：实施方式是采用GPU+ARM来实现；其中步骤一至步骤四中的红外原图的目标提取是输入GPU进行处理的，通过图形程序接口OpenGL ES以及GLSL语言进行实施；所述图像的填充是输入ARM中使用C语言实施的。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811513266.0A CN109785277B (zh) | 2018-12-11 | 2018-12-11 | 一种实时的红外与可见光图像融合方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811513266.0A CN109785277B (zh) | 2018-12-11 | 2018-12-11 | 一种实时的红外与可见光图像融合方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109785277A true CN109785277A (zh) | 2019-05-21 |
| CN109785277B CN109785277B (zh) | 2022-10-04 |
Family
ID=66495845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811513266.0A Active CN109785277B (zh) | 2018-12-11 | 2018-12-11 | 一种实时的红外与可见光图像融合方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109785277B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113936017A (zh) * | 2021-10-27 | 2022-01-14 | 锐芯微电子股份有限公司 | 图像处理方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060102843A1 (en) * | 2004-11-12 | 2006-05-18 | Bazakos Michael E | Infrared and visible fusion face recognition system |
| CN104200452A (zh) * | 2014-09-05 | 2014-12-10 | 西安电子科技大学 | 基于谱图小波变换的红外与可见光图像融合方法及其装置 |
| CN104268847A (zh) * | 2014-09-23 | 2015-01-07 | 西安电子科技大学 | 一种基于交互非局部均值滤波的红外与可见光图像融合方法 |
| CN106600572A (zh) * | 2016-12-12 | 2017-04-26 | 长春理工大学 | 一种自适应的低照度可见光图像和红外图像融合方法 |
| WO2018076732A1 (zh) * | 2016-10-31 | 2018-05-03 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
-
2018
- 2018-12-11 CN CN201811513266.0A patent/CN109785277B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060102843A1 (en) * | 2004-11-12 | 2006-05-18 | Bazakos Michael E | Infrared and visible fusion face recognition system |
| CN104200452A (zh) * | 2014-09-05 | 2014-12-10 | 西安电子科技大学 | 基于谱图小波变换的红外与可见光图像融合方法及其装置 |
| CN104268847A (zh) * | 2014-09-23 | 2015-01-07 | 西安电子科技大学 | 一种基于交互非局部均值滤波的红外与可见光图像融合方法 |
| WO2018076732A1 (zh) * | 2016-10-31 | 2018-05-03 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
| CN106600572A (zh) * | 2016-12-12 | 2017-04-26 | 长春理工大学 | 一种自适应的低照度可见光图像和红外图像融合方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王贝贝等: "基于LLF和RBD检测的红外和可见光图像融合", 《计算机工程与应用》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113936017A (zh) * | 2021-10-27 | 2022-01-14 | 锐芯微电子股份有限公司 | 图像处理方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109785277B (zh) | 2022-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105069768B (zh) | 一种可见光图像与红外图像融合处理系统及融合方法 | |
| WO2017073344A1 (ja) | 撮像システム、並びにオブジェクト検出装置及びその作動方法 | |
| CN102547063A (zh) | 基于颜色对比度增强的自然感彩色融合方法 | |
| CN102436643A (zh) | 面向大气散射邻近效应的图像去雾方法 | |
| US20140085473A1 (en) | In-vehicle camera apparatus | |
| CN103745449A (zh) | 一种搜跟系统中航拍视频的快速自动拼接技术 | |
| CN112508814A (zh) | 一种基于无人机低空视角下的图像色调修复型去雾增强方法 | |
| CN105973850B (zh) | 基于单帧彩色图像的可见光波段大气透过率测量方法 | |
| US8824828B1 (en) | Thermal V-curve for fusion image declutter | |
| CN111028187B (zh) | 一种光线自适应的机载双光图像侦察装置及方法 | |
| CN208240087U (zh) | 一种红外与可见光融合系统及图像融合装置 | |
| CN114495068B (zh) | 基于人机交互和深度学习的路面健康检测方法 | |
| CN106023108A (zh) | 基于边界约束和上下文正则化的图像去雾算法 | |
| CN115100556A (zh) | 基于图像分割与融合的增强现实的方法、装置及电子设备 | |
| CN107576269B (zh) | 一种输电线路山火定位方法 | |
| CN113762161A (zh) | 一种障碍物智能监测方法及系统 | |
| CN107705263A (zh) | 一种基于rgb‑ir传感器的自适应透雾方法和终端 | |
| CN109785277A (zh) | 一种实时的红外与可见光图像融合方法 | |
| WO2020118977A1 (zh) | 图像色温校正方法及装置 | |
| Jin et al. | Image Enhancement Based on Selective-Retinex Fusion Algorithm. | |
| CN109961043A (zh) | 一种基于无人机高分辨率影像的单木高度测量方法及系统 | |
| Qian et al. | Effective contrast enhancement method for color night vision | |
| CN109523491A (zh) | 用于环视辅助泊车的环视光照均一化方法和装置 | |
| CN113256516A (zh) | 一种图像增强方法 | |
| CN118429944A (zh) | 一种可用于夜间自动驾驶的弯道或路口处车灯光斑检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |