CN106780392B - 一种图像融合方法及装置 - Google Patents

一种图像融合方法及装置 Download PDF

Info

Publication number
CN106780392B
CN106780392B CN201611230003.XA CN201611230003A CN106780392B CN 106780392 B CN106780392 B CN 106780392B CN 201611230003 A CN201611230003 A CN 201611230003A CN 106780392 B CN106780392 B CN 106780392B
Authority
CN
China
Prior art keywords
value
parameter
visible light
frequency component
light image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611230003.XA
Other languages
English (en)
Other versions
CN106780392A (zh
Inventor
张东
王松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN201611230003.XA priority Critical patent/CN106780392B/zh
Publication of CN106780392A publication Critical patent/CN106780392A/zh
Priority to PCT/CN2017/102756 priority patent/WO2018120936A1/en
Priority to EP17887950.8A priority patent/EP3545490A4/en
Priority to US16/454,210 priority patent/US11030731B2/en
Application granted granted Critical
Publication of CN106780392B publication Critical patent/CN106780392B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种图像融合方法及装置，该方法包括：采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次；针对所述可见光图像和红外图像的低频分量中的参数，判断所述参数的值的差是否大于设定阈值，如果是，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中参数的值；如果否，根据预设的低频融合算法，确定融合后的低频分量中参数的值；根据预先设定的高频融合算法，确定融合后的每个层次的高频分量；将确定的所述融合后的低频分量和融合后的每层次的高频分量进行重构，得到融合后的图像。用以解决现有技术中的对于图像的细节无法清晰的显示，在红外图像中亮度异常变高时反应的图像不真实问题。

Description

一种图像融合方法及装置
技术领域
本发明涉及图像处理技术领域，特别涉及一种图像融合方法及装置。
背景技术
随着科学技术的飞速发展，计算机视觉技术的广泛应用，视频采集设备广泛的应用于航拍摄影、环境监测、安防监控等方面。但是受到地理地形、气象条件等因素影响，照度不佳的情况下采集到的可见光图像可能存在模糊的问题，而红外图像因为物体的材料和色彩会影响红外光的反射，也不能清楚的反应出真实的场景，而图像融合技术能有效的综合可见光图像和红外图像的优点，清晰的展现图像。
然而，现有技术中，只是对可见光图像和红外图像进行简单的融合，对于图像的细节无法清晰的显示，在红外图像中亮度异常变高时反应的图像不真实，影响了用户的体验。
发明内容
本发明提供一种图像融合方法及装置，用以解决现有技术中的对于图像的细节无法清晰的显示，在红外图像中亮度异常变高时反应的图像不真实的问题。
为达到上述目的，本发明实施例公开了一种图像融合方法，所述方法包括：
采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次；
获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量，其中所述低频分量中包含至少一个参数，所述高频分量中包含至少一个参数；
针对所述可见光图像和红外图像的低频分量中的参数，判断所述参数的值的差是否大于设定阈值，如果是，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中参数的值；如果否，根据所述可见光图像和红外图像的低频分量中的该参数的值，及预设的低频融合算法，确定融合后的低频分量中参数的值；
根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量；
将确定的所述融合后的低频分量和每层次融合后的高频分量进行重构，得到融合后的图像。
进一步地，所述获取可见光图像和红外图像对应每个层次的高频分量后，所述确定每个层次融合后的高频分量之前，所述方法还包括：
针对可见光图像对应每个层次的高频分量进行映射处理与中值滤波；和/或，
针对红外图像对应每个层次的高频分量进行放大处理。
进一步地，所述针对可见光图像对应每个层次的高频分量进行映射处理包括：
针对可见光图像对应每个层次的高频分量中的每个参数的值，判断该参数的值的绝对值是否小于第一参数阈值；
如果是，将该参数的值更新为零；
如果否，判断该参数的值的绝对值是否小于第二参数阈值，如果是，根据预先设定的参数调整系数对该参数的值进行更新，其中第二参数阈值大于第一参数阈值。
进一步地，所述采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次之前，所述方法还包括：
将所述可见光图像和红外图像进行图像配准。
进一步地，所述采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次之前，所述方法还包括：
将所述可见光图像进行透雾处理和/或导向滤波。
进一步地，所述将所述可见光图像进行透雾处理包括：
获取所述可见光图像的暗通道分量；
根据所述暗通道分量中每个参数的值，确定所述暗通道分量中参数的最大值的目标参数，识别所述目标参数对应的可见光图像的目标像素点；
将所述可见光图像的目标像素点的红R值、绿G值、蓝B值中的最小值作为目标光照强度的数值；
将所述目标光照强度的数值作为所述可见光图像每个像素点对应的光照强度的数值，判断所述可见光图像中每个像素点对应的光照强度的数值与该像素点对应的暗通道分量中参数的值的差是否小于第一设定阈值；
如果是，根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率。
进一步地，所述根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率包括：
确定该像素点对应的光照强度的数值与像素点对应的暗通道分量中参数的值的差与第一设定阈值的比值；
将所述比值及初始透射率的乘积确定为像素点对应的第一透射率。
进一步地，确定该像素点对应的第一透射率后，所述方法还包括：
统计所述可见光图像中对应的第一透射率小于第二设定阈值的像素点的数量，判断所述数量与可见光图像中像素点的总数量的比值是否大于第三设定阈值；
如果是，将所述第一透射率小于第四设定阈值的像素点的第一透射率更改为1。
进一步地，所述根据所述可见光图像和红外图像的低频分量中的该参数的值，及预设的低频融合算法，确定融合后的低频分量中参数的值包括：
根据F_L＝L_W·V_L+(1-L_W)·N_L，确定融合后的低频分量中参数的值，其中
Figure GDA0002612074760000041
F_L为融合后的低频分量中参数的值，V_L为可见光图像低频分量中该参数的值，N_L为红外图像低频分量中该参数的值，L_W为融合时可见光图像对应的权重，La为预先设定的可见光图像的融合比例，K为预先设定的阈值。
进一步地，所述根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量包括：
根据
Figure GDA0002612074760000042
确定每个层次融合后的高频分量，其中
Figure GDA0002612074760000043
Figure GDA0002612074760000044
0≤i≤M、0≤j≤N，针对每个层次的可见光图像对应的高频分量和红外图像对应的低频分量，M、N为该层次可见光图像对应的高频分量和红外图像对应的高频分量对应矩阵的行数和列数，R为预先设定的窗口阈值，D1(i，j)为该层次可见光图像对应的高频分量对应矩阵(i，j)点参数的可见光区域能量，D2(i，j)为该层次红外图像对应的高频分量对应矩阵(i，j)点参数的红外区域能量，DD为该层次可见光图像对应的高频分量对应矩阵(i，j)点和红外图像对应的高频分量对应矩阵(i，j)点的区域能量相关性，F_H为该层次融合后的高频分量中参数的值。
本发明实施例公开了一种图像融合装置，所述装置包括：
划分模块，用于采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次；
获取模块，用于获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量；
低频融合模块，用于针对所述可见光图像和红外图像的低频分量中的参数，判断所述参数的值的差是否大于设定阈值，如果是，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中参数的值；如果否，根据所述可见光图像和红外图像的低频分量中的该参数的值，及预设的低频融合算法，确定融合后的低频分量中参数的值；
高频融合模块，用于根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量；
重构模块，用于将确定的所述融合后的低频分量和每层次融合后的高频分量进行重构，得到融合后的图像。
进一步地，所述装置还包括：
第一处理模块，用于针对可见光图像对应每个层次的高频分量进行映射处理与中值滤波；和/或，针对红外图像对应每个层次的高频分量进行放大处理。
进一步地，所述第一处理模块，具体用于针对可见光图像对应每个层次的高频分量中的每个参数的值，判断该参数的值的绝对值是否小于第一参数阈值；如果是，将该参数的值更新为零；如果否，判断该参数的值的绝对值是否小于第二参数阈值，如果是，根据预先设定的参数调整系数对该参数的值进行更新，其中第二参数阈值大于第一参数阈值。
进一步地，所述装置还包括：
配准模块，用于将所述可见光图像和红外图像进行图像配准。
进一步地，所述装置还包括：
第二处理模块，用于将所述可见光图像进行透雾处理和/或导向滤波。
进一步地，所述第二处理模块，具体用于获取所述可见光图像的暗通道分量；根据所述暗通道分量中每个参数的值，确定所述暗通道分量中参数的最大值的目标参数，识别所述目标参数对应的可见光图像的目标像素点；将所述可见光图像的目标像素点的红R值、绿G值、蓝B值中的最小值作为目标光照强度的数值；将所述目标光照强度的数值作为所述可见光图像每个像素点对应的光照强度的数值，判断所述可见光图像中每个像素点对应的光照强度的数值与该像素点对应的暗通道分量中参数的值的差是否小于第一设定阈值；如果是，根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率。
进一步地，所述第二处理模块，具体用于确定该像素点对应的光照强度的数值与像素点对应的暗通道分量中参数的值的差与第一设定阈值的比值；将所述比值及初始透射率的乘积确定为像素点对应的第一透射率。
进一步地，所述第二处理模块，还用于统计所述可见光图像中对应的第一透射率小于第二设定阈值的像素点的数量，判断所述数量与可见光图像中像素点的总数量的比值是否大于第三设定阈值；如果是，将所述第一透射率小于第四设定阈值的像素点的第一透射率更改为1。
进一步地，所述低频融合模块，具体用于根据F_L＝L_W·V_L+(1-L_W)·N_L，确定融合后的低频分量中参数的值，其中
Figure GDA0002612074760000061
F_L为融合后的低频分量中参数的值，V_L为可见光图像低频分量中该参数的值，N_L为红外图像低频分量中该参数的值，L_W为融合时可见光图像对应的权重，La为预先设定的可见光图像的融合比例，K为预先设定的阈值。
进一步地，所述高频融合模块，具体用于根据
Figure GDA0002612074760000062
确定每个层次融合后的高频分量，其中
Figure GDA0002612074760000063
Figure GDA0002612074760000064
0≤i≤M、0≤j≤N，针对每个层次的可见光图像对应的高频分量和红外图像对应的低频分量，M、N为该层次可见光图像对应的高频分量和红外图像对应的高频分量对应矩阵的行数和列数，R为预先设定的窗口阈值，D1(i，j)为该层次可见光图像对应的高频分量对应矩阵(i，j)点参数的可见光区域能量，D2(i，j)为该层次红外图像对应的高频分量对应矩阵(i，j)点参数的红外区域能量，DD为该层次可见光图像对应的高频分量对应矩阵(i，j)点和红外图像对应的高频分量对应矩阵(i，j)点的区域能量相关性，F_H为该层次融合后的高频分量中参数的值。
本发明实施例公开了一种图像融合方法，该方法包括：采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次；获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量，其中所述低频分量中包含至少一个参数，所述高频分量中包含至少一个参数；针对所述可见光图像和红外图像的低频分量中的参数，判断所述参数的值的差是否大于设定阈值，如果是，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中参数的值；如果否，根据所述可见光图像和红外图像的低频分量中的该参数的值，及预设的低频融合算法，确定融合后的低频分量中参数的值；根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量；将确定的所述融合后的低频分量和每层次融合后的高频分量进行重构，得到融合后的图像。由于在本发明实施例中，在根据预设的低频融合算法，确定融合后的低频分量中参数的值之前，针对所述可见光图像和红外图像的低频分量中的参数，判断所述参数的值的差是否大于设定阈值，如果所述差值大于设定阈值，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中参数的值，消除了因物体的材料或颜色造成红外图像中亮度异常变高反应融合后的图像不真实的问题，并根据预先设定的高频融合算法，确定每个层次融合后的高频分量，将确定的所述融合后的低频分量和融合后的每层次的高频分量进行重构，得到融合后的图像。针对可见光图像和红外图像进行了深层次的融合，实现了对图像细节的清晰显示，并解决了在红外图像中亮度异常变高时反应的图像不真实的问题，提高了用户的体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种图像融合过程示意图；
图2为本发明实施例1提供的一种图像重构过程示意图；
图3为本发明实施例3提供的一种可见光图像对应的高频分量的映射关系示意图；
图4为本发明实施例5提供的一种图像融合过程示意图；
图5为本发明实施例8提供的一种图像融合过程示意图；
图6为本发明实施例9提供的一种图像融合装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例提供的一种图像融合过程示意图，该过程包括：
S101：采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次，获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量，其中所述低频分量中包含至少一个参数，所述高频分量中包含至少一个参数。
本发明实施例提供的图像融合方法应用于电子设备，该电子设备可以为图像采集设备，如摄像机、照相机等，也可以是手机、个人电脑(PC)、平板电脑等设备。
针对图像的划分方法包括：区域分割方法、直方图法和金字塔变换法等。以金子塔变换法为例，金字塔变换法主要步骤包括：低通滤波、下采样、上采样、带通滤波，每完成一次金子塔变换，便可将图像划分为一个层次，例如：针对可见光图像和红外图像采用的划分方法为三层次的金字塔变换，即对可见光图像和红外图像进行三次金字塔变换，可见光图像和红外图像完成一次金子塔变换后分别得到对应的第一层的高频分量和第一层的低频分量，将第一层次的低频分量，又作为第二次金子塔变换的输入图像，依次类推，每层次对应的低频分量作为下层次金子塔变换的输入图像，经过三次金字塔变换后，得到对应可见光图像和红外图像的三个层次的高频分量和一个低频分量，其中所述低频分量中包含至少一个参数，所述高频分量中包含至少一个参数。
具体的，在对可见光图像和红外图像进行划分时，还可以采用其他的划分方法，只要采用相同的划分方法将可见光图像和红外图像划分为多个层次即可。
S102：针对所述可见光图像和红外图像的低频分量中的参数，判断所述参数的值的差是否大于设定阈值，如果是，进行S103，如果否，进行S104。
S103：将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中参数的值。
S104：根据所述可见光图像和红外图像的低频分量中的该参数的值，及预设的低频融合算法，确定融合后的低频分量中参数的值。
在图像采集的过程中，由于物体的材料或者颜色将会影响红外光的反射量，例如：车牌、红色物体能较好的反射红外光，这样红外光的亮度异常变大，在红外图像中会呈现亮度过高的现象，而此时接收的可见光的亮度是正常的。在本发明实施例中，如果红外图像中存在亮度异常变大，可以根据可见光图像的亮度取代异常的红外图像中的亮度，从而提高融合后的图像的清晰度。
具体的，将可见光图像的低频分量中每个参数与红外图像的低频分量中的对应参数进行比较，针对每个对应的参数，判断所述可见光图像的低频分量中该参数与红外图像的低频分量中的参数的值的差是否大于设定阈值，如果所述差值大于设定阈值，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中参数的值，如果所述差值不大于设定阈值，根据所述可见光图像和红外图像的低频分量中的该参数的值，及预设的低频融合算法，确定融合后的低频分量中参数的值。
该设定阈值可以为大于零的数值，例如可以是90、100、110等，该设定阈值可以根据可见光图像和红外图像采集的场景的红外强弱来调节。所述预设的低频融合算法可以为针对可见光图像和红外图像分别设定权重值，根据权重值及该参数的值，确定融合后的低频分量中参数的值，所述可见光图像和红外图像对应的权重值可以分别为0.5、0.5，当然对应的权重值也可以为0.6、0.4等。例如：所述可见光图像和红外图像的低频分量中的参数的值分别为216和206，所述预设的低频融合算法为所述可见光图像和红外图像对应的权重值分别为0.5、0.5，得到融合后的低频分量中参数的值为211。
S105：根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量。
具体的，预先设定的高频融合算法可以为针对可见光图像和红外图像分别设定权重值，根据权重值及所述可见光图像和红外图像的高频分量中参数的值，确定融合后的高频分量中参数的值，例如所述可见光图像和红外图像对应的权重值可以分别为0.7和0.5，或者对应的权重值也可以为0.8和0.5等。例如：所述可见光图像和红外图像的二层次的高频分量中的参数的值分别为150和160，所述预先设定的高频融合算法为所述可见光图像和红外图像对应的权重值别为0.7和0.5，得到二层次融合后的高频分量中参数的值为185。
S106：将确定的所述融合后的低频分量和融合后的每层次的高频分量进行重构，得到融合后的图像。
在本发明实施例中，将确定的所述融合后的低频分量和每层次融合后的高频分量进行重构的过程与对可见光和红外图像的划分过程相反。如果上述划分方法为针对可见光图像和红外图像进行三层次的金子塔变换，确定融合后的图像则是针对所述融合后的低频分量和每层次融合后的高频分量进行金字塔重构。如图2所示为本发明实施例提供的一种图像重构过程示意图，将所述融合后的低频分量与三层次融合后的高频分量进行一次金字塔重构，得到一次重构后的低频分量，将一次重构后的低频分量与二层次融合后的高频分量进行一次金字塔重构，得到二次重构后的低频分量，将二次重构后的低频分量与一层次融合后的高频分量进行一次金字塔重构，得到融合后的图像。
根据低频分量和每层次的高频分量进行重构为现有技术，在本发明实施例中对该过程不再进行赘述。
由于在本发明实施例中，在根据预设的低频融合算法，确定融合后的低频分量中参数的值之前，针对所述可见光图像和红外图像的低频分量中的参数，判断所述参数的值的差是否大于设定阈值，如果所述差值大于设定阈值，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中参数的值，消除了因物体的材料或颜色造成红外图像中亮度异常变高反应融合后的图像不真实的问题，并根据预先设定的高频融合算法，确定每个层次融合后的高频分量，将确定的所述融合后的低频分量和融合后的每层次的高频分量进行重构，得到融合后的图像。针对可见光图像和红外图像进行了深层次的融合，实现了对图像细节的清晰显示，并解决了在红外图像中亮度异常变高时反应的图像不真实的问题，提高了用户的体验。
实施例2：
为了消除可见光图像中的噪音，并使红外信息在融合后的图像中更加突出，从而提高融合后的图像的清晰度，在上述各实施例的基础上，在本发明实施例中，所述获取可见光图像和红外图像对应每个层次的高频分量后，所述确定融合后的每个层次的高频分量之前，所述方法还包括：
针对可见光图像对应每个层次的高频分量进行映射处理与中值滤波；和/或，
针对红外图像对应每个层次的高频分量进行放大处理。
具体的，可以根据可见光图像对应每个层次的高频分量中的每个参数的值的大小，设定映射规则，例如：如果参数的值在大于0小于5的范围内，则将该参数的值改变为3，如果参数的值在大于5小于10的范围内，则将该参数的值改变为6等。
针对完成映射处理后的可见光图像每个层次的高频分量，对每个层次的高频分量进行中值滤波，进一步的去除可见光图像中的噪声。中值滤波的基本原理是把高频分量中一个参数的值，用该参数邻域中各参数的值的中值代替，让该参数的值接近真实值，从而消除孤立的噪音。在实际应用中可以使用3*3窗口对每个层次的高频分量进行中值滤波，也可以使用4*4或其他大小的窗口对每个层次的高频分量进行中值滤波。在本发明实施例中，对高频分量进行中值滤波是现有技术不再进行赘述。
为了使红外信息在融合后的图像中更为突出，在本发明实施例中，还可以对红外图像对应每个层次的高频分量进行放大处理。具体的，对红外图像不同层次的高频分量乘以不同放大系数，该放大系数为不小于1的数值，例如可以是2，也可以是3等。较佳的，因为每层次高频分量对最后融合后的图像的影响逐层次加大，在放大系数设定上可以令放大系数逐层次减小，例如：红外图像对应着3个层次的高频分量，可以针对一层次的高频分量设定放大系数b1＝2.0，针对二层次的高频分量设定放大系数b1＝1.5，针对三层次的高频分量设定放大系数b1＝1.0，根据每个层次对应的放大系数，对红外图像对应每个层次的高频分量进行放大处理。
实施例3：
在图像采集过程中，在低照度的情况下，可见光图像会出现大量噪声，而对可见光图像进行划分后，所述噪声主要表现在可见光高频分量中，为了提高融合后的图像的清晰度，在本发明实施例中，所述针对可见光图像对应每个层次的高频分量进行映射处理包括：
针对可见光图像对应每个层次的高频分量中的每个参数的值，判断该参数的值的绝对值是否小于第一参数阈值；
如果是，将该参数的值更新为零；
如果否，判断该参数的值的绝对值是否小于第二参数阈值，如果是，根据预先设定的参数调整系数对该参数的值进行更新，其中第二参数阈值大于第一参数阈值。
可见光图像对应的每层次的高频分量中每个参数的值的绝对值大小反映了可见光图像中的边缘等纹理信息，当引入噪声时，可见光高频分量中同时存在边缘和噪声。由于需要保留可见光图像中的边缘，而去除噪声，需要设定阈值，当所述高频分量中某参数的值小于这个阈值时，将该参数的值置为0。为了防止边缘被去除，该设定阈值为一个很小的值。
图3为本发明实施例提供的一种可见光图像对应的高频分量的映射关系示意图，具体的，针对可见光图像对应每个层次的高频分量中的每个参数的值，判断该参数的值的绝对值是否小于第一参数阈值x1，如果是，将该参数的值更新为零，如果否，判断该参数的值的绝对值是否小于第二参数阈值x2，如果是，根据预先设定的参数调整系数对该参数的值进行更新，其中第二参数阈值大于第一参数阈值。其中所述第一参数值x1和第二参数阈值x2为大于零的数值，其第一参数阈值小于第二参数阈值，例如第一参数阈值和第二参数阈值可以分别为0.02和0.8，也可以分别为0.1和1，具体的可以根据可见光图像采集环境的噪音水平来确定。所述参数调整系数为大于零的数值，具体的该参数调整系数可以根据所述第一参数值x1和第二参数阈值x2确定，例如可以为x2/(x2-x1)。
实施例4：
在上述各实施例的基础上，在本发明实施例中，为了方便后续针对图像的划分及融合步骤的进行，并提高融合后的清晰度，在上述各实施例的基础上，在本发明实施例中，所述采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次之前，所述方法还包括：
将所述可见光图像和红外图像进行图像配准。
具体的，针对可见光图像和红外图像，可以分别提取所述可见光图像和红外图像的尺度不变特征(SURF)，根据可见光图像对应的SURF与所述红外图像的SURF，进行图像的配准。具体将所述可见光图像和红外图像进行图像配准是现有技术，在本发明实施例中对该过程不再进行赘述。
实施例5：
为了提高融合后的图像的清晰度，在上述各实施例的基础上，在本发明实施例中，所述采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次之前，所述方法还包括：
将所述可见光图像进行透雾处理和/或导向滤波。
具体的，对可见光图像进行透雾处理和/或导向滤波，消除可见光图像中的噪音，提高可见光图像的清晰度，具体将所述可见光图像进行透雾处理和导向滤波是现有技术，在本发明实施例中对该过程不再进行赘述。
为了更好的提高可见光图像的清晰度，所述将所述可见光图像进行透雾处理包括：
获取所述可见光图像的暗通道分量；
根据所述暗通道分量中每个参数的值，确定所述暗通道分量中参数的最大值的目标参数，识别所述目标参数对应的可见光图像的目标像素点；
将所述可见光图像的目标像素点的红R值、绿G值、蓝B值中的最小值作为目标光照强度的数值；
将所述目标光照强度的数值作为所述可见光图像每个像素点对应的光照强度的数值，判断所述可见光图像中每个像素点对应的光照强度的数值与该像素点对应的暗通道分量中参数的值的差是否小于第一设定阈值；
如果是，根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率。
在可见光图像采集过程中，如果存在与天空、水域接近的白色的明亮区域时，会导致可见光图像对应区域的亮度过大，造成融合后的图像该对应的区域亮度异常，不能对所述对应的区域的图像细节清晰的显示，影响用户的体验，在本发明实施例中为了消除所述明亮区域对所述可见光图像的影响，对所述可见光图像进行透雾处理。
具体的，针对可见光图像，获取所述可见光图像的暗通道分量，比较所述暗通道分量中每个参数的值，确定暗通道分量中参数的最大值对应的参数为目标参数，根据目标参数在所述暗通道分量中的位置，识别所述目标参数对应的可见光图像的目标像素点，根据所述目标像素点对应的红(red，R)值、绿(green，G)值、蓝(blue，B)值，将该像素点对应的R值、G值、B值最小的数值确定为目标光照强度的数值。
判断所述目标光照强度的数值与所述可见光图像每个像素点对应的暗通道分量中参数的值是否小于第一设定阈值，第一设定阈值可以为70、80、90等，具体的第一设定阈值可以根据图像采集环境的光照强度和红外强度来确定。如果可见光图像某个像素点暗通道分量中参数的值大于所述第一设定阈值，则说明该像素点对应着明亮区域，根据该像素点对应的光照强度的数值，即目标光照强度的数值，与该像素点对应的暗通道分量中对应的参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率。例如：所述差的值为100、所述第一设定阈值为80,、所述初始透射率为1，可以确定该像素点对应的第一透射率为100/(2*80)*1＝0.625。
为了消除所述明亮区域对可见光图像的影响，所述根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率包括：
确定该像素点对应的光照强度的数值与像素点对应的暗通道分量中参数的值的差与第一设定阈值的比值；
将所述比值及初始透射率的乘积确定为像素点对应的第一透射率。
具体的，关于每个像素点的初始透射率，可以根据公式
Figure GDA0002612074760000161
进行确定，其中DARK_C为该像素点对应的暗通道分量中参数的值，AC为目标大气强度的数值，t为初始透射率，Thr为预先设定的透雾强度调节阈值，数值越大透雾强度越大。得到每个像素点的初始透射率后，根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中参数的值的差与第一设定阈值的比值，将所述比值与该点对应的初始透射率的乘积确定为该像素点对应的第一透射率。
图4为本发明实施例提供的一种图像融合过程示意图，该过程包括：
S401：将获取的可见光图像和红外图像进行图像配准。
S402：将所述可见光图像进行透雾处理和/或导向滤波。
S403：采用相同的划分方法，将所述可见光图像和红外图像划分为多个层次，获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量。
S404：针对所述可见光图像和红外图像的低频分量中的参数，判断所述参数的值的差是否大于设定阈值，如果是，进行S405，如果否，进行S406。
S405：将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中参数的值。
S406：根据所述可见光图像和红外图像的低频分量中的该参数的值，及预设的低频融合算法，确定融合后的低频分量中参数的值。
S407：根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量。
S408：将确定的所述融合后的低频分量和融合后的每层次的高频分量进行重构，得到融合后的图像。
实施例6：
在对根据可见光图像的每个像素点及该像素点对应的差值对该像素点的透射率进行更改后，在所述明亮区域可能会产生色斑，影响融合后的图像的清晰度，为了提高融合后的图像的清晰度，在上述各实施例的基础上，在本发明实施例中，确定该像素点对应的第一透射率后，所述方法还包括：
统计所述可见光图像中对应的第一透射率小于第二设定阈值的像素点的数量，判断所述数量与可见光图像中像素点的总数量的比值是否大于第三设定阈值；
如果是，将所述第一透射率小于第四设定阈值的像素点的第一透射率更改为1。
具体的，统计所述可见光图像中对应的第一透射率小于第二设定阈值的像素点的数量，判断所述数量与可见光图像中像素点的总数量的比值是否大于第三设定阈值，如果大于第三设定阈值则需要对所述第一透射率进行优化，消除色斑，将所述第一透射率小于第四设定阈值的像素点的第一透射率更改为1，其中，所述第二设定阈值为预先设定的检测阈值，可以为0.4、0.5、0.6等，所述第三设定阈值为根据图像获取的环境设置的，例如：白天为0.1，晚上为0.2，所述第四阈值可以根据所述数量与可见光图像中像素点的总数量的比值来确定，例如可以为所述比值的3倍、4倍等。
实施例7：
为了实现可见光图像和红外图像的低频分量中参数的融合，在上述各实施例的基础上，对可见光图像和红外图像的低频分量中参数的融合方式包括：
方式一、
所述根据所述可见光图像和红外图像的低频分量中的该参数的值，及预设的低频融合算法，确定融合后的低频分量中参数的值包括：
根据F_L＝L_W·V_L+(1-L_W)·N_L，确定融合后的低频分量中参数的值，其中
Figure GDA0002612074760000171
F_L为融合后的低频分量中参数的值，V_L为可见光图像低频分量中该参数的值，N_L为红外图像低频分量中该参数的值，L_W为融合时可见光图像对应的权重，La为预先设定的可见光图像的融合比例，K为预先设定的阈值。
具体的，例如：预先设定的可见光图像的融合比例La为0.8，预先设定的阈值为K为90，可见光图像和红外图像的低频分量中的该参数的值分别为210、180，将可见光图像和红外图像的低频分量中的该参数的值分别为210、180，代入公式得到L_W为0.7，将L_W为0.7代入公式得到F_L中参数的值为201。
方式二、
所述根据所述可见光图像和红外图像的低频分量中的该参数的值，及预设的低频融合算法，确定融合后的低频分量中参数的值包括：
根据F_L＝la·V_L+(1-la)·N_L,la∈[0,1]，确定融合后的低频分量中参数的值，其中F_L为融合后的低频分量中参数的值，V_L为可见光图像低频分量中该参数的值，N_L为红外图像低频分量中该参数的值，La为预先设定的可见光图像的融合比例，其中La的取值范围在[0，1]之间。
具体的，例如：预先设定的可见光融合比例La为0.8，可见光图像和红外图像的低频分量中的该参数的值分别为210、180，将可见光图像和红外图像的低频分量中的该参数的值分别为210、180，代入公式F_L＝la·V_L+(1-la)·N_L,la∈[0,1]得到F_L中参数的值为204。
实施例8：
为了实现可见光图像和红外图像对应每个层次的高频分量的融合，在上述各实施例的基础上，对可见光图像和红外图像对应每个层次的高频分量的融合方式包括：
方式一、所述根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量包括：
根据
Figure GDA0002612074760000181
确定每个层次融合后的高频分量，其中
Figure GDA0002612074760000182
Figure GDA0002612074760000191
0≤i≤M、0≤j≤N，针对每个层次的可见光图像对应的高频分量和红外图像对应的低频分量，M、N为该层次可见光图像对应的高频分量和红外图像对应的高频分量对应矩阵的行数和列数，R为预先设定的窗口阈值，D1(i，j)为该层次可见光图像对应的高频分量对应矩阵(i，j)点参数的可见光区域能量，D2(i，j)为该层次红外图像对应的高频分量对应矩阵(i，j)点参数的红外区域能量，DD为该层次可见光图像对应的高频分量对应矩阵(i，j)点和红外图像对应的高频分量对应矩阵(i，j)点的区域能量相关性，F_H为该层次融合后的高频分量中参数的值。
具体的，针对每层次的可见光图像对应的高频分量中每个参数和红外图像对应的高频分量中参数，确定对应的可见光区域能量D1，红外区域能量D2，区域能量相关性DD，
将所述D1、D2、DD代入公式
Figure GDA0002612074760000192
确定该层次该参数对应融合后的高频分量中参数的值。
方式二、
所述根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量包括：
根据
Figure GDA0002612074760000193
确定每个层次融合后的高频分量，其中F_H为该层次融合后的高频分量对应矩阵(i，j)点的参数的值，V_H为该层次可见光图像高频分量对应矩阵(i，j)点的参数的值，N_H为该层次红外图像高频分量对应矩阵(i，j)点的参数的值。
具体的，确定每层次融合后的高频分量F_H中每个参数的值时，比较对应该层次的可见光图像高频分量中参数的值与对应该层次的红外图像高频分量中参数的值的大小，选取所述参数的值较大的值作为该层次融合后的高频分量F_H中参数的值。
图5为本发明实施例提供的一种图像融合过程示意图，具体的，针对获取的可见光图像和红外图像进行图像配准，针对可见光图像进行透雾处理和导向滤波，增加可见光图像的清晰度，将可见光图像和红外图像采用同样的划分方法进行划分，获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量，对可见光图像和红外图像的低频分量，和对应每个层次的高频分量进行处理，将处理后的可见光图像和红外图像的低频分量进行融合得到融合后的低频分量，将处理后的可见光图像和红外图像的对应每个层次的高频分量进行融合，确定每层次融合后的高频分量，将所述融合后的低频分量和每层次融合后的高频分量进行重构，得到融合后的图像。
实施例9：
图6为本发明实施例提供的一种图像融合装置结构示意图，所述装置包括：
划分模块61，用于采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次；
获取模块62，用于获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量；
低频融合模块63，用于针对所述可见光图像和红外图像的低频分量中的参数，判断所述参数的值的差是否大于设定阈值，如果是，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中参数的值；如果否，根据所述可见光图像和红外图像的低频分量中的该参数的值，及预设的低频融合算法，确定融合后的低频分量中参数的值；
高频融合模块64，用于根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量；
重构模块65，用于将确定的所述融合后的低频分量和每层次融合后的高频分量进行重构，得到融合后的图像。
所述装置还包括：
第一处理模块66，用于针对可见光图像对应每个层次的高频分量进行映射处理与中值滤波；和/或，针对红外图像对应每个层次的高频分量进行放大处理。
所述第一处理模块66，具体用于针对可见光图像对应每个层次的高频分量中的每个参数的值，判断该参数的值的绝对值是否小于第一参数阈值；如果是，将该参数的值更新为零；如果否，判断该参数的值的绝对值是否小于第二参数阈值，如果是，根据预先设定的参数调整系数对该参数的值进行更新，其中第二参数阈值大于第一参数阈值。
所述装置还包括：
配准模块67，用于将所述可见光图像和红外图像进行图像配准。
所述装置还包括：
第二处理模块68，用于将所述可见光图像进行透雾处理和/或导向滤波。
所述第二处理模块68，具体用于获取所述可见光图像的暗通道分量；根据所述暗通道分量中每个参数的值，确定所述暗通道分量中参数的最大值的目标参数，识别所述目标参数对应的可见光图像的目标像素点；将所述可见光图像的目标像素点的红R值、绿G值、蓝B值中的最小值作为目标光照强度的数值；将所述目标光照强度的数值作为所述可见光图像每个像素点对应的光照强度的数值，判断所述可见光图像中每个像素点对应的光照强度的数值与该像素点对应的暗通道分量中参数的值的差是否小于第一设定阈值；如果是，根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率。
所述第二处理模块68，具体用于确定该像素点对应的光照强度的数值与像素点对应的暗通道分量中参数的值的差与第一设定阈值的比值；将所述比值及初始透射率的乘积确定为像素点对应的第一透射率。
所述第二处理模块68，还用于统计所述可见光图像中对应的第一透射率小于第二设定阈值的像素点的数量，判断所述数量与可见光图像中像素点的总数量的比值是否大于第三设定阈值；如果是，将所述第一透射率小于第四设定阈值的像素点的第一透射率更改为1。
所述低频融合模块63，具体用于根据F_L＝L_W·V_L+(1-L_W)·N_L，确定融合后的低频分量中参数的值，其中
Figure GDA0002612074760000221
F_L为融合后的低频分量中参数的值，V_L为可见光图像低频分量中该参数的值，N_L为红外图像低频分量中该参数的值，L_W为融合时可见光图像对应的权重，La为预先设定的可见光图像的融合比例，K为预先设定的阈值。
所述高频融合模块64，具体用于根据
Figure GDA0002612074760000222
确定每个层次融合后的高频分量，其中
Figure GDA0002612074760000223
Figure GDA0002612074760000224
0≤i≤M、0≤j≤N，针对每个层次的可见光图像对应的高频分量和红外图像对应的低频分量，M、N为该层次可见光图像对应的高频分量和红外图像对应的高频分量对应矩阵的行数和列数，R为预先设定的窗口阈值，D1(i，j)为该层次可见光图像对应的高频分量对应矩阵(i，j)点参数的可见光区域能量，D2(i，j)为该层次红外图像对应的高频分量对应矩阵(i，j)点参数的红外区域能量，DD为该层次可见光图像对应的高频分量对应矩阵(i，j)点和红外图像对应的高频分量对应矩阵(i，j)点的区域能量相关性，F_H为该层次融合后的高频分量中参数的值。
本发明实施例公开了一种图像融合方法及装置，应用于电子设备，该方法包括：采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次；获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量，其中所述低频分量中包含至少一个参数，所述高频分量中包含至少一个参数；针对所述可见光图像和红外图像的低频分量中的参数，判断所述参数的值的差是否大于设定阈值，如果是，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中参数的值；如果否，根据所述可见光图像和红外图像的低频分量中的该参数的值，及预设的低频融合算法，确定融合后的低频分量中参数的值；根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定融合后的每个层次的高频分量；将确定的所述融合后的低频分量和融合后的每层次的高频分量进行重构，得到融合后的图像。由于在本发明实施例中，在根据预设的低频融合算法，确定融合后的低频分量中参数的值之前，针对所述可见光图像和红外图像的低频分量中的参数，判断所述参数的值的差是否大于设定阈值，如果所述差值大于设定阈值，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中参数的值，消除了因物体的材料或颜色造成红外图像中亮度异常变高反应融合后的图像不真实的问题，并根据预先设定的高频融合算法，确定每个层次融合后的高频分量，将确定的所述融合后的低频分量和融合后的每层次的高频分量进行重构，得到融合后的图像。针对可见光图像和红外图像进行了深层次的融合，实现了对图像细节的清晰显示，并解决了在红外图像中亮度异常变高时反应的图像不真实的问题，提高了用户的体验。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者一个操作与另一个实体或者另一个操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (18)

1.一种图像融合方法，其特征在于，所述方法包括：
采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次；
获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量，其中所述低频分量中包含至少一个参数，所述高频分量中包含至少一个参数；
针对所述可见光图像和红外图像的低频分量中的参数，判断所述参数的值的差是否大于设定阈值，如果是，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中参数的值；如果否，根据所述可见光图像和红外图像的低频分量中的该参数的值，及预设的低频融合算法，确定融合后的低频分量中参数的值；
根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量；
将确定的所述融合后的低频分量和每层次融合后的高频分量进行重构，得到融合后的图像；
其中，所述获取可见光图像和红外图像对应每个层次的高频分量后，所述确定每个层次融合后的高频分量之前，所述方法还包括：
针对可见光图像对应每个层次的高频分量进行映射处理与中值滤波；
所述针对可见光图像对应每个层次的高频分量进行映射处理包括：
针对可见光图像对应每个层次的高频分量中的每个参数的值，判断该参数的值的绝对值是否小于第一参数阈值；
如果是，将该参数的值更新为零；
如果否，判断该参数的值的绝对值是否小于第二参数阈值，如果是，根据预先设定的参数调整系数对该参数的值进行更新，其中第二参数阈值大于第一参数阈值。
2.如权利要求1所述的方法，其特征在于，所述获取可见光图像和红外图像对应每个层次的高频分量后，所述确定每个层次融合后的高频分量之前，所述方法还包括：
针对红外图像对应每个层次的高频分量进行放大处理。
3.如权利要求1所述的方法，其特征在于，所述采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次之前，所述方法还包括：
将所述可见光图像和红外图像进行图像配准。
4.如权利要求1或3所述的方法，其特征在于，所述采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次之前，所述方法还包括：
将所述可见光图像进行透雾处理和/或导向滤波。
5.如权利要求4所述的方法，其特征在于，所述将所述可见光图像进行透雾处理包括：
获取所述可见光图像的暗通道分量；
根据所述暗通道分量中每个参数的值，确定所述暗通道分量中参数的最大值的目标参数，识别所述目标参数对应的可见光图像的目标像素点；
将所述可见光图像的目标像素点的红R值、绿G值、蓝B值中的最小值作为目标光照强度的数值；
将所述目标光照强度的数值作为所述可见光图像每个像素点对应的光照强度的数值，判断所述可见光图像中每个像素点对应的光照强度的数值与该像素点对应的暗通道分量中参数的值的差是否小于第一设定阈值；
如果是，根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率。
6.如权利要求5所述的方法，其特征在于，所述根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率包括：
确定该像素点对应的光照强度的数值与像素点对应的暗通道分量中参数的值的差与第一设定阈值的比值；
将所述比值及初始透射率的乘积确定为像素点对应的第一透射率。
7.如权利要求5所述的方法，其特征在于，确定该像素点对应的第一透射率后，所述方法还包括：
统计所述可见光图像中对应的第一透射率小于第二设定阈值的像素点的数量，判断所述数量与可见光图像中像素点的总数量的比值是否大于第三设定阈值；
如果是，将所述第一透射率小于第四设定阈值的像素点的第一透射率更改为1。
8.如权利要求1所述的方法，其特征在于，所述根据所述可见光图像和红外图像的低频分量中的该参数的值，及预设的低频融合算法，确定融合后的低频分量中参数的值包括：
根据F_L＝L_W·V_L+(1-L_W)·N_L，确定融合后的低频分量中参数的值，其中
Figure FDA0002612074750000031
F_L为融合后的低频分量中参数的值，V_L为可见光图像低频分量中该参数的值，N_L为红外图像低频分量中该参数的值，L_W为融合时可见光图像对应的权重，La为预先设定的可见光图像的融合比例，K为预先设定的阈值。
9.如权利要求1所述的方法，其特征在于，所述根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量包括：
根据
Figure FDA0002612074750000032
确定每个层次融合后的高频分量，其中
Figure FDA0002612074750000033
Figure FDA0002612074750000034
0≤i≤M、0≤j≤N，针对每个层次的可见光图像对应的高频分量和红外图像对应的低频分量，M、N为该层次可见光图像对应的高频分量和红外图像对应的高频分量对应矩阵的行数和列数，R为预先设定的窗口阈值，D1(i，j)为该层次可见光图像对应的高频分量对应矩阵(i，j)点参数的可见光区域能量，D2(i，j)为该层次红外图像对应的高频分量对应矩阵(i，j)点参数的红外区域能量，DD为该层次可见光图像对应的高频分量对应矩阵(i，j)点和红外图像对应的高频分量对应矩阵(i，j)点的区域能量相关性，F_H为该层次融合后的高频分量中参数的值。
10.一种图像融合装置，其特征在于，所述装置包括：
划分模块，用于采用相同的划分方法，将获取的可见光图像和红外图像划分为多个层次；
获取模块，用于获取可见光图像和红外图像的低频分量，和对应每个层次的高频分量；
低频融合模块，用于针对所述可见光图像和红外图像的低频分量中的参数，判断所述参数的值的差是否大于设定阈值，如果是，将所述可见光图像的低频分量中该参数的值作为融合后的低频分量中参数的值；如果否，根据所述可见光图像和红外图像的低频分量中的该参数的值，及预设的低频融合算法，确定融合后的低频分量中参数的值；
高频融合模块，用于根据可见光图像和红外图像对应每个层次的高频分量及预先设定的高频融合算法，确定每个层次融合后的高频分量；
重构模块，用于将确定的所述融合后的低频分量和每层次融合后的高频分量进行重构，得到融合后的图像；
所述装置还包括：
第一处理模块，用于针对可见光图像对应每个层次的高频分量进行映射处理与中值滤波；
所述第一处理模块，具体用于针对可见光图像对应每个层次的高频分量中的每个参数的值，判断该参数的值的绝对值是否小于第一参数阈值；如果是，将该参数的值更新为零；如果否，判断该参数的值的绝对值是否小于第二参数阈值，如果是，根据预先设定的参数调整系数对该参数的值进行更新，其中第二参数阈值大于第一参数阈值。
11.如权利要求10所述的装置，其特征在于，所述第一处理模块，还用于针对红外图像对应每个层次的高频分量进行放大处理。
12.如权利要求10所述的装置，其特征在于，所述装置还包括：
配准模块，用于将所述可见光图像和红外图像进行图像配准。
13.如权利要求10或12所述的装置，其特征在于，所述装置还包括：
第二处理模块，用于将所述可见光图像进行透雾处理和/或导向滤波。
14.如权利要求13所述的装置，其特征在于，所述第二处理模块，具体用于获取所述可见光图像的暗通道分量；根据所述暗通道分量中每个参数的值，确定所述暗通道分量中参数的最大值的目标参数，识别所述目标参数对应的可见光图像的目标像素点；将所述可见光图像的目标像素点的红R值、绿G值、蓝B值中的最小值作为目标光照强度的数值；将所述目标光照强度的数值作为所述可见光图像每个像素点对应的光照强度的数值，判断所述可见光图像中每个像素点对应的光照强度的数值与该像素点对应的暗通道分量中参数的值的差是否小于第一设定阈值；如果是，根据该像素点对应的光照强度的数值与像素点对应的暗通道分量中参数的值的差、所述第一设定阈值及初始透射率，确定该像素点对应的第一透射率。
15.如权利要求14所述的装置，其特征在于，所述第二处理模块，具体用于确定该像素点对应的光照强度的数值与像素点对应的暗通道分量中参数的值的差与第一设定阈值的比值；将所述比值及初始透射率的乘积确定为像素点对应的第一透射率。
16.如权利要求14所述的装置，其特征在于，所述第二处理模块，还用于统计所述可见光图像中对应的第一透射率小于第二设定阈值的像素点的数量，判断所述数量与可见光图像中像素点的总数量的比值是否大于第三设定阈值；如果是，将所述第一透射率小于第四设定阈值的像素点的第一透射率更改为1。
17.如权利要求10所述的装置，其特征在于，所述低频融合模块，具体用于根据F_L＝L_W·V_L+(1-L_W)·N_L，确定融合后的低频分量中参数的值，其中
Figure FDA0002612074750000061
F_L为融合后的低频分量中参数的值，V_L为可见光图像低频分量中该参数的值，N_L为红外图像低频分量中该参数的值，L_W为融合时可见光图像对应的权重，La为预先设定的可见光图像的融合比例，K为预先设定的阈值。
18.如权利要求10所述的装置，其特征在于，所述高频融合模块，具体用于根据
Figure FDA0002612074750000062
确定每个层次融合后的高频分量，其中
Figure FDA0002612074750000063
Figure FDA0002612074750000064
0≤i≤M、0≤j≤N，针对每个层次的可见光图像对应的高频分量和红外图像对应的低频分量，M、N为该层次可见光图像对应的高频分量和红外图像对应的高频分量对应矩阵的行数和列数，R为预先设定的窗口阈值，D1(i，j)为该层次可见光图像对应的高频分量对应矩阵(i，j)点参数的可见光区域能量，D2(i，j)为该层次红外图像对应的高频分量对应矩阵(i，j)点参数的红外区域能量，DD为该层次可见光图像对应的高频分量对应矩阵(i，j)点和红外图像对应的高频分量对应矩阵(i，j)点的区域能量相关性，F_H为该层次融合后的高频分量中参数的值。
CN201611230003.XA 2016-12-27 2016-12-27 一种图像融合方法及装置 Active CN106780392B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201611230003.XA CN106780392B (zh) 2016-12-27 2016-12-27 一种图像融合方法及装置
PCT/CN2017/102756 WO2018120936A1 (en) 2016-12-27 2017-09-21 Systems and methods for fusing infrared image and visible light image
EP17887950.8A EP3545490A4 (en) 2016-12-27 2017-09-21 METHOD AND DEVICE FOR FUSING AN INFRARED IMAGE AND A VISIBLE LIGHT IMAGE
US16/454,210 US11030731B2 (en) 2016-12-27 2019-06-27 Systems and methods for fusing infrared image and visible light image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611230003.XA CN106780392B (zh) 2016-12-27 2016-12-27 一种图像融合方法及装置

Publications (2)

Publication Number Publication Date
CN106780392A CN106780392A (zh) 2017-05-31
CN106780392B true CN106780392B (zh) 2020-10-02

Family

ID=58922830

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611230003.XA Active CN106780392B (zh) 2016-12-27 2016-12-27 一种图像融合方法及装置

Country Status (4)

Country Link
US (1) US11030731B2 (zh)
EP (1) EP3545490A4 (zh)
CN (1) CN106780392B (zh)
WO (1) WO2018120936A1 (zh)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3920133A1 (en) 2015-12-31 2021-12-08 Shanghai United Imaging Healthcare Co., Ltd. Methods and systems for image processing
CN107438170B (zh) * 2016-05-25 2020-01-17 杭州海康威视数字技术股份有限公司 一种图像透雾方法及实现图像透雾的图像采集设备
CN106780392B (zh) * 2016-12-27 2020-10-02 浙江大华技术股份有限公司 一种图像融合方法及装置
CN107465777A (zh) * 2017-08-07 2017-12-12 京东方科技集团股份有限公司 移动终端及其成像方法
US10803557B2 (en) * 2017-12-26 2020-10-13 Xidian University Non-uniformity correction method for infrared image based on guided filtering and high-pass filtering
TWI674804B (zh) * 2018-03-15 2019-10-11 國立交通大學 視訊除霧處理裝置及方法
TWI672957B (zh) * 2018-03-29 2019-09-21 瑞昱半導體股份有限公司 影像處理裝置及影像處理方法
WO2019187446A1 (ja) * 2018-03-30 2019-10-03 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび移動体
CN109544494B (zh) * 2018-11-12 2021-08-17 北京航空航天大学 一种人体安检中被动毫米波图像与可见光图像的融合方法
CN110246108B (zh) * 2018-11-21 2023-06-20 浙江大华技术股份有限公司 一种图像处理方法、装置及计算机可读存储介质
CN111433810A (zh) * 2018-12-04 2020-07-17 深圳市大疆创新科技有限公司 目标图像的获取方法、拍摄装置和无人机
CN111325701B (zh) * 2018-12-14 2023-05-09 杭州海康微影传感科技有限公司 图像处理方法、装置及存储介质
CN109919884A (zh) * 2019-01-30 2019-06-21 西北工业大学 基于高斯滤波加权的红外和可见光图像融合方法
CN109903262B (zh) * 2019-02-26 2021-02-12 东北师范大学人文学院 一种图像融合的方法、系统及相关装置
CN110493579B (zh) * 2019-03-14 2022-07-29 杭州海康威视数字技术股份有限公司 一种彩色透雾方法、装置、摄像机及图像处理系统
CN111951200B (zh) * 2019-05-15 2023-11-14 杭州海康威视数字技术股份有限公司 摄像设备、图像融合方法、装置和存储介质
CN110378861B (zh) 2019-05-24 2022-04-19 浙江大华技术股份有限公司 一种图像融合方法及装置
CN110211082B (zh) * 2019-05-31 2021-09-21 浙江大华技术股份有限公司 一种图像融合方法、装置、电子设备及存储介质
CN110264402B (zh) * 2019-06-12 2022-12-16 浙江大华技术股份有限公司 图像融合方法、装置、存储介质及电子装置
GB201908516D0 (en) * 2019-06-13 2019-07-31 Spectral Edge Ltd Multispectral edge processing method and system
CN110298812B (zh) * 2019-06-25 2021-08-27 浙江大华技术股份有限公司 一种图像融合处理的方法及装置
CN110503620B (zh) * 2019-07-31 2023-01-06 茂莱（南京）仪器有限公司 一种基于傅立叶频谱提取的图像融合方法
CN112767289B (zh) * 2019-10-21 2024-05-07 浙江宇视科技有限公司 图像融合方法、装置、介质及电子设备
CN111122507B (zh) * 2019-11-06 2022-03-15 中国工程物理研究院激光聚变研究中心 一种基于离散小波变换的光学平板波前的降噪方法和装置
CN111008946A (zh) * 2019-11-07 2020-04-14 武汉多谱多勒科技有限公司 消防现场使用的红外与可见光图像智能融合装置与方法
US11270448B2 (en) 2019-11-26 2022-03-08 Microsoft Technology Licensing, Llc Using machine learning to selectively overlay image content
US11321939B2 (en) 2019-11-26 2022-05-03 Microsoft Technology Licensing, Llc Using machine learning to transform image styles
CN111062378B (zh) * 2019-12-23 2021-01-26 重庆紫光华山智安科技有限公司 图像处理方法、模型训练方法、目标检测方法及相关装置
CN111429389B (zh) * 2020-02-28 2023-06-06 北京航空航天大学 一种保持光谱特性的可见光和近红外图像融合方法
CN111353966B (zh) * 2020-03-03 2024-02-09 南京一粹信息科技有限公司 基于全变分深度学习的图像融合方法及其应用与系统
KR20210113464A (ko) * 2020-03-05 2021-09-16 삼성전자주식회사 이미징 장치 및 이를 포함하는 전자 기기
CN111489321B (zh) * 2020-03-09 2020-11-03 淮阴工学院 基于派生图和Retinex的深度网络图像增强方法和系统
CN111462065B (zh) * 2020-03-27 2023-06-27 浙江杜比医疗科技有限公司 超声、红外序列图像融合的乳腺癌检测方法及其系统
CN111369486B (zh) * 2020-04-01 2023-06-13 浙江大华技术股份有限公司 一种图像融合处理方法及装置
CN113538303B (zh) * 2020-04-20 2023-05-26 杭州海康威视数字技术股份有限公司 图像融合方法
CN113572968B (zh) * 2020-04-24 2023-07-18 杭州萤石软件有限公司 图像融合方法、装置、摄像设备及存储介质
KR102458470B1 (ko) * 2020-05-27 2022-10-25 베이징 샤오미 모바일 소프트웨어 컴퍼니 리미티드 난징 브랜치. 이미지 처리 방법 및 장치, 카메라 컴포넌트, 전자 기기, 저장 매체
CN111861951B (zh) * 2020-06-01 2024-01-23 浙江双视科技股份有限公司 基于红外光和可见光的双波段监测方法、装置及系统
CN111669531B (zh) * 2020-07-31 2023-04-07 北京环境特性研究所 一种视频编码器的操控方法
CN111986132A (zh) * 2020-08-12 2020-11-24 兰州交通大学 一种基于DLatLRR与VGG·Net的红外与可见光图像融合方法
CN114119378A (zh) * 2020-08-31 2022-03-01 华为技术有限公司 图像融合方法、图像融合模型的训练方法和装置
CN112017139B (zh) * 2020-09-14 2023-04-07 南昌航空大学 一种红外与可见光图像感知融合方法
CN114445308B (zh) * 2020-11-05 2024-09-06 江西理工大学 基于新型区域特征融合规则的红外与可见光图像融合方法
CN112132753B (zh) * 2020-11-06 2022-04-05 湖南大学 多尺度结构引导图像的红外图像超分辨率方法及系统
CN112367472B (zh) * 2020-11-09 2022-04-05 杭州视辉科技有限公司 一种可见光图像和红外热成像图像融合矫正的方法
WO2021184027A1 (en) * 2020-11-12 2021-09-16 Innopeak Technology, Inc. Tuning color image fusion towards original input color with adjustable details
CN112258442A (zh) * 2020-11-12 2021-01-22 Oppo广东移动通信有限公司 图像融合方法、装置、计算机设备和存储介质
CN112419205B (zh) * 2020-11-27 2024-04-19 中国矿业大学 一种用于SAR干涉图处理的Goldstein金字塔构建方法
CN112767291B (zh) * 2021-01-04 2024-05-28 浙江华感科技有限公司 可见光图像和红外图像融合方法、设备及可读存储介质
CN112734683B (zh) * 2021-01-07 2024-02-20 西安电子科技大学 基于目标增强的多尺度sar与红外图像融合方法
CN112887593B (zh) * 2021-01-13 2023-04-07 浙江大华技术股份有限公司 图像获取方法及装置
CN112651469A (zh) * 2021-01-22 2021-04-13 西安培华学院 一种红外与可见光图像融合方法及系统
US11841926B2 (en) * 2021-02-10 2023-12-12 Apple Inc. Image fusion processor circuit for dual-mode image fusion architecture
CN112991218B (zh) * 2021-03-23 2024-07-09 北京百度网讯科技有限公司 图像处理的方法、装置、设备以及存储介质
CN113052779A (zh) * 2021-03-26 2021-06-29 重庆邮电大学 一种基于改进nsct变换的汽车抗晕光方法
CN113219912B (zh) * 2021-03-31 2022-03-15 成都飞机工业（集团）有限责任公司 一种基于Multi-Agent的数控加工柔性制造系统加工过程预警方法
CN113160194B (zh) * 2021-04-28 2023-06-16 贵州电网有限责任公司 一种紫外和可见光图像的距离自适应配准方法
CN113298744B (zh) * 2021-06-07 2022-10-28 长春理工大学 一种端到端的红外与可见光图像融合方法
CN113792592B (zh) * 2021-08-09 2024-05-07 深圳光启空间技术有限公司 图像采集处理方法和图像采集处理装置
CN113256497B (zh) * 2021-06-21 2021-09-24 中南大学 图像重建方法及系统
CN113421200A (zh) * 2021-06-23 2021-09-21 中国矿业大学(北京) 基于多尺度变换与脉冲耦合神经网络的图像融合方法
CN113317763B (zh) * 2021-06-30 2024-03-19 平安科技（深圳）有限公司 基于多模态的帕金森病检测装置及计算机可读存储介质
CN113487529B (zh) * 2021-07-12 2022-07-26 吉林大学 一种基于Yolo的气象卫星云图目标检测方法
CN113724164B (zh) * 2021-08-31 2024-05-14 南京邮电大学 一种基于融合重构制导滤波的可见光图像噪声去除方法
CN113935922B (zh) * 2021-10-21 2024-05-24 燕山大学 一种红外与可见光图像特征增强融合方法
CN114120176B (zh) * 2021-11-11 2023-10-27 广州市高科通信技术股份有限公司 远红外与可见光视频图像融合的行为分析方法
CN114399448B (zh) * 2021-11-22 2023-04-11 中国科学院西安光学精密机械研究所 一种基于非下采样剪切波变换的多偏振信息选通融合方法
CN115550570B (zh) * 2022-01-10 2023-09-01 荣耀终端有限公司 图像处理方法与电子设备
CN115147468A (zh) * 2022-04-02 2022-10-04 杭州汇萃智能科技有限公司 一种双光图像配准方法、系统和可读存储介质
CN114882525B (zh) * 2022-04-21 2024-04-02 中国科学技术大学 基于模态特定记忆网络的跨模态行人重识别方法
CN114677316B (zh) * 2022-05-27 2022-11-25 深圳顶匠科技有限公司 可实时的可见光图像与红外图像多通道融合方法及装置
CN115018784B (zh) * 2022-05-31 2024-03-12 广东电网有限责任公司 一种导线散股缺陷的检测方法、装置、设备及介质
CN114881905A (zh) * 2022-06-21 2022-08-09 西北工业大学 一种基于小波变换的红外图像与可见光图像融合的处理方法
CN115861366B (zh) * 2022-11-07 2024-05-24 成都融达昌腾信息技术有限公司 一种用于目标探测的多源感知信息融合方法与系统
EP4418201A1 (en) 2023-02-14 2024-08-21 Axis AB System and method for fusing two or more source images into a target image
CN116403057B (zh) * 2023-06-09 2023-08-18 山东瑞盈智能科技有限公司 一种基于多源图像融合的输电线路巡检方法及系统
CN116503454B (zh) * 2023-06-27 2023-10-20 季华实验室 红外和可见光图像融合方法、装置、电子设备及存储介质
CN116543378B (zh) * 2023-07-05 2023-09-29 杭州海康威视数字技术股份有限公司 一种图像识别方法、装置、电子设备及存储介质
CN117237779B (zh) * 2023-11-15 2024-02-09 江西联创特种微电子有限公司 可见光图像和红外图像结合分析的图像识别方法及系统
CN117830141B (zh) * 2024-03-04 2024-05-03 奥谱天成(成都)信息科技有限公司 红外图像竖条纹噪声去除方法、介质、设备及装置
CN118195925B (zh) * 2024-05-17 2024-08-02 浙江大华技术股份有限公司 图像融合方法、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231748A (zh) * 2007-12-18 2008-07-30 西安电子科技大学 基于奇异值分解的图像融合方法
CN101546428A (zh) * 2009-05-07 2009-09-30 西北工业大学 基于区域分割的序列红外与可见光图像融合
CN102968772A (zh) * 2012-12-04 2013-03-13 电子科技大学 一种基于暗通道信息的图像去雾方法
CN103955905A (zh) * 2014-05-13 2014-07-30 北京邮电大学 基于快速小波变换和加权图像融合的单幅图像去雾方法
CN104835130A (zh) * 2015-04-17 2015-08-12 北京联合大学 一种多曝光图像融合方法
CN105069768A (zh) * 2015-08-05 2015-11-18 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN105069769A (zh) * 2015-08-26 2015-11-18 哈尔滨工业大学 一种微光与红外夜视图像融合方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8320636B2 (en) * 2009-01-05 2012-11-27 Apple Inc. Detecting image detail level
TWI389559B (zh) * 2009-08-14 2013-03-11 Ind Tech Res Inst 前景影像分離方法
US9965835B2 (en) * 2014-11-28 2018-05-08 Axis Ab Defogging images and video
IL300998A (en) * 2016-04-07 2023-04-01 Carmel Haifa Univ Economic Corporation Ltd Deduplication and image recovery
CN106780392B (zh) * 2016-12-27 2020-10-02 浙江大华技术股份有限公司 一种图像融合方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101231748A (zh) * 2007-12-18 2008-07-30 西安电子科技大学 基于奇异值分解的图像融合方法
CN101546428A (zh) * 2009-05-07 2009-09-30 西北工业大学 基于区域分割的序列红外与可见光图像融合
CN102968772A (zh) * 2012-12-04 2013-03-13 电子科技大学 一种基于暗通道信息的图像去雾方法
CN103955905A (zh) * 2014-05-13 2014-07-30 北京邮电大学 基于快速小波变换和加权图像融合的单幅图像去雾方法
CN104835130A (zh) * 2015-04-17 2015-08-12 北京联合大学 一种多曝光图像融合方法
CN105069768A (zh) * 2015-08-05 2015-11-18 武汉高德红外股份有限公司 一种可见光图像与红外图像融合处理系统及融合方法
CN105069769A (zh) * 2015-08-26 2015-11-18 哈尔滨工业大学 一种微光与红外夜视图像融合方法

Also Published As

Publication number Publication date
EP3545490A1 (en) 2019-10-02
US20190318463A1 (en) 2019-10-17
CN106780392A (zh) 2017-05-31
EP3545490A4 (en) 2020-02-19
WO2018120936A1 (en) 2018-07-05
US11030731B2 (en) 2021-06-08

Similar Documents

Publication Publication Date Title
CN106780392B (zh) 一种图像融合方法及装置
Zhu et al. Haze removal method for natural restoration of images with sky
US10672112B2 (en) Method and system for real-time noise removal and image enhancement of high-dynamic range images
Tripathi et al. Single image fog removal using bilateral filter
CN108090886B (zh) 一种高动态范围红外图像的显示与细节增强方法
Gao et al. Sand-dust image restoration based on reversing the blue channel prior
KR101051459B1 (ko) 영상의 에지를 추출하는 장치 및 방법
CN110415202B (zh) 一种图像融合方法、装置、电子设备及存储介质
Kapoor et al. Fog removal in images using improved dark channel prior and contrast limited adaptive histogram equalization
Bi et al. Image dehazing based on accurate estimation of transmission in the atmospheric scattering model
Park et al. Single image haze removal with WLS-based edge-preserving smoothing filter
CN106412448B (zh) 一种基于单帧图像的宽动态范围处理方法与系统
CN110211082B (zh) 一种图像融合方法、装置、电子设备及存储介质
Wang et al. Enhancement for dust-sand storm images
CN113052923B (zh) 色调映射方法、装置、电子设备和存储介质
CN105447825A (zh) 图像去雾方法及其系统
CN117611501A (zh) 一种低照度图像增强方法、装置、设备及可读存储介质
Zhang et al. Image dehazing based on dark channel prior and brightness enhancement for agricultural remote sensing images from consumer-grade cameras
Wen et al. Autonomous robot navigation using Retinex algorithm for multiscale image adaptability in low-light environment
Mondal et al. Single image haze removal using contrast limited adaptive histogram equalization based multiscale fusion technique
Fang et al. Image quality assessment on image haze removal
CN108898561B (zh) 一种含天空区域雾天图像的去雾方法、服务器及系统
Li et al. Laplace dark channel attenuation-based single image defogging in ocean scenes
Agrawal et al. A joint cumulative distribution function and gradient fusion based method for dehazing of long shot hazy images
CN106778822B (zh) 基于漏斗变换的图像直线检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant