CN114119439A - 红外与可见光图像融合方法、装置、设备及存储介质 - Google Patents

红外与可见光图像融合方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114119439A
CN114119439A CN202111342449.2A CN202111342449A CN114119439A CN 114119439 A CN114119439 A CN 114119439A CN 202111342449 A CN202111342449 A CN 202111342449A CN 114119439 A CN114119439 A CN 114119439A
Authority
CN
China
Prior art keywords
image
infrared
visible light
fusion
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111342449.2A
Other languages
English (en)
Inventor
孙世磊
赵梓妤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202111342449.2A priority Critical patent/CN114119439A/zh
Publication of CN114119439A publication Critical patent/CN114119439A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本发明公开了一种红外与可见光图像融合方法、装置、设备及存储介质，所述方法通过根据CNN训练模型对原始红外图像进行图像增强，获得增强图像；利用四叉树将增强图像分解为若干区块，通过贝塞尔差值算法和各区块重构红外图像背景，获得重构后的目标红外图像背景，用原始红外图像减去目标红外图像背景获得红外物体的特征信息；对各权重图分别进行加权，获得目标红外图像背景和可见光图像的融合结果；对特征信息进行自适应抑制，将抑制后的特征信息添加到融合结果中，获得最终融合图像，能够对特征信息进行提取，增强一些容易丢失的细节信息，使图像融合达到更好的效果，提高了图像融合的速度和效率，提升了图像融合的质量。

Description

红外与可见光图像融合方法、装置、设备及存储介质
技术领域
本发明涉及计算机视觉应用图像融合技术领域，尤其涉及一种红外与可见光图像融合方法、装置、设备及存储介质。
背景技术
红外和可见光图像融合在目标探测、监视和情报收集等军事和民用领域都有着重要的作用；可见图像包含丰富的细节和纹理，但容易受到雾、光和其他条件的影响；红外图像通过热辐射来反映物体，在不同条件下都具有稳定性，但缺乏纹理。
图像融合就是将红外图像和可见光图像的优点结合起来，弥补其缺陷，从而得到包含更多图像信息的融合图像，而现有的图像融合流程中，往往直接采用一定的图像融合算法对图像信息进行融合，得到融合结果；但是一些滤波器的使用可能导致图像融合过程中信息被过度平滑，最终使得信息丢失，另外一些深度学习算法在学习时依旧会丢失部分细节信息。
发明内容
本发明的主要目的在于提供一种红外与可见光图像融合方法、装置、设备及存储介质，旨在解决现有技术中图像融合过程中信息被过渡平滑导致信息丢失，或深度学习时丢失部分细节信息导致图像融合质量差的技术问题。
第一方面，本发明提供一种红外与可见光图像融合方法，所述红外与可见光图像融合方法包括以下步骤：
获取目标物的原始红外图像和可见光图像，根据CNN训练模型对所述原始红外图像进行图像增强，获得增强图像；
利用四叉树将所述增强图像分解为若干区块，通过贝塞尔差值算法和各区块重构红外图像背景，获得重构后的目标红外图像背景，用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息；
利用均值滤波将所述目标红外图像背景分解为红外基层和红外细节层，并将所述可见光图像分解成可见光基层和可见光细节层；
使用引导滤波算法对所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层构建对应的各权重图；
对各权重图分别进行加权，获得所述目标红外图像背景和所述可见光图像的融合结果；
对所述特征信息进行自适应抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像。
可选地，所述获取目标物的原始红外图像和可见光图像，根据CNN训练模型对所述原始红外图像进行图像增强，获得增强图像，包括：
获取目标物的原始红外图像和可见光图像；
利用CNN算法学习真实世界低亮度图像的亮度分布合成数据，获得CNN训练模型，根据所述CNN训练模型确定所述原始红外图像需要进行增强的特定区域；
通过高斯过程回归对所述特定区域进行增强，获得增强图像。
可选地，所述通过高斯过程回归对所述特定区域进行增强，获得增强图像，包括：
通过高斯过程回归构造所述特定区域的函数分布，根据函数分布为所述特定区域分配特征增强函数，对所述特定区域进行增强，获得增强图像。
可选地，所述利用四叉树将所述增强图像分解为若干区块，通过贝塞尔差值算法和各区块重构红外图像背景，获得重构后的目标红外图像背景，用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息，包括：
利用四叉树将所述增强图像分解为四个根区块，获取各根区块的最大灰度值和最小灰度值；
将最大灰度值减去最小灰度值的差值大于预设差值阈值的根区块进一步分割为四个区块，直至没有区块进一步分割或区块尺寸小于预设尺寸阈值，获得各区块；
根据预设控制点坐标在各区块中选取对应的控制点，获得各控制点的局部最小灰度值，根据贝塞尔差值算法的贝塞尔差值、各控制点和所述局部最小灰度值进行背景重构，获得目标红外图像背景；
用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息。
可选地，所述使用引导滤波算法对所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层构建对应的各权重图，包括：
对所述目标红外图像背景和所述可见光图像进行拉普拉斯滤波得到高频细节；
对所述高频细节进行高斯滤波去除噪声，对去除噪声后的高频细节通过拉普拉斯滤波器获得高通图像；
获取高通图像的绝对值的局部平均值，根据所述局部平均值构造显著性图像；
获取引导滤波器的基层滤波参数、基层滤波器、细节层滤波参数和细节层滤波器，通过所述基层滤波参数和所述基层滤波器对所述红外基层和所述可见光基层进行滤波，通过所述细节层滤波参数和所述细节层滤波器对所述红外细节层和所述可见光细节层进行滤波，根据滤波结果优化所述显著性图像，生成所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层对应的各权重图。
可选地，所述对各权重图分别进行加权，获得所述目标红外图像背景和所述可见光图像的融合结果，包括：
通过加权将各权重图对应的基层融合在一起，并将各权重图对应的细节层融合在一起；
将融合后的基层和融合后的细节层相加，获得所述目标红外图像背景和所述可见光图像的融合结果。
可选地，所述对所述特征信息进行自适应抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像，包括：
根据预设抑制参数对所述特征信息进行抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像。
第二方面，为实现上述目的，本发明还提出一种红外与可见光图像融合装置，所述红外与可见光图像融合装置包括：
图像增强模块，用于获取目标物的原始红外图像和可见光图像，根据CNN训练模型对所述原始红外图像进行图像增强，获得增强图像；
特征提取模块，用于利用四叉树将所述增强图像分解为若干区块，通过贝塞尔差值算法和各区块重构红外图像背景，获得重构后的目标红外图像背景，用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息；
图像分解模块，用于利用均值滤波将所述目标红外图像背景分解为红外基层和红外细节层，并将所述可见光图像分解成可见光基层和可见光细节层；
图像重构模块，用于使用引导滤波算法对所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层构建对应的各权重图；
图像融合模块，用于对各权重图分别进行加权，获得所述目标红外图像背景和所述可见光图像的融合结果；
抑制模块，用于对所述特征信息进行自适应抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像。
第三方面，为实现上述目的，本发明还提出一种红外与可见光图像融合设备，所述红外与可见光图像融合设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的红外与可见光图像融合程序，所述红外与可见光图像融合程序配置为实现如上文所述的红外与可见光图像融合方法的步骤。
第四方面，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有红外与可见光图像融合程序，所述红外与可见光图像融合程序被处理器执行时实现如上文所述的红外与可见光图像融合方法的步骤。
本发明提出的红外与可见光图像融合方法，通过获取目标物的原始红外图像和可见光图像，根据CNN训练模型对所述原始红外图像进行图像增强，获得增强图像；利用四叉树将所述增强图像分解为若干区块，通过贝塞尔差值算法和各区块重构红外图像背景，获得重构后的目标红外图像背景，用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息；利用均值滤波将所述目标红外图像背景分解为红外基层和红外细节层，并将所述可见光图像分解成可见光基层和可见光细节层；使用引导滤波算法对所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层构建对应的各权重图；对各权重图分别进行加权，获得所述目标红外图像背景和所述可见光图像的融合结果；对所述特征信息进行自适应抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像，能够对特征信息进行提取，增强一些容易丢失的细节信息，避免了信息被过渡平滑导致信息丢失的情况发生，不使用滤波器对其进行平滑，从而使图像融合达到更好的效果，提高了图像融合的速度和效率，提升了图像融合的质量。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明红外与可见光图像融合方法第一实施例的流程示意图；
图3为本发明红外与可见光图像融合方法第二实施例的流程示意图；
图4为本发明红外与可见光图像融合方法第三实施例的流程示意图；
图5为本发明红外与可见光图像融合方法第四实施例的流程示意图；
图6为本发明红外与可见光图像融合方法第五实施例的流程示意图；
图7为本发明红外与可见光图像融合方法第六实施例的流程示意图；
图8为本发明红外与可见光图像融合方法第七实施例的流程示意图；
图9为本发明红外与可见光图像融合装置第一实施例的功能模块图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例的解决方案主要是：通过获取目标物的原始红外图像和可见光图像，根据CNN训练模型对所述原始红外图像进行图像增强，获得增强图像；利用四叉树将所述增强图像分解为若干区块，通过贝塞尔差值算法和各区块重构红外图像背景，获得重构后的目标红外图像背景，用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息；利用均值滤波将所述目标红外图像背景分解为红外基层和红外细节层，并将所述可见光图像分解成可见光基层和可见光细节层；使用引导滤波算法对所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层构建对应的各权重图；对各权重图分别进行加权，获得所述目标红外图像背景和所述可见光图像的融合结果；对所述特征信息进行自适应抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像，能够对特征信息进行提取，增强一些容易丢失的细节信息，避免了信息被过渡平滑导致信息丢失的情况发生，不使用滤波器对其进行平滑，从而使图像融合达到更好的效果，提高了图像融合的速度和效率，提升了图像融合的质量，解决了现有技术中图像融合过程中信息被过渡平滑导致信息丢失，或深度学习时丢失部分细节信息导致图像融合质量差的技术问题。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
如图1所示，该设备可以包括：处理器1001，例如CPU，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(Non-Volatile Memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的设备结构并不构成对该设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及红外与可见光图像融合程序。
本发明设备通过处理器1001调用存储器1005中存储的红外与可见光图像融合程序，并执行以下操作：
获取目标物的原始红外图像和可见光图像，根据CNN训练模型对所述原始红外图像进行图像增强，获得增强图像；
利用四叉树将所述增强图像分解为若干区块，通过贝塞尔差值算法和各区块重构红外图像背景，获得重构后的目标红外图像背景，用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息；
利用均值滤波将所述目标红外图像背景分解为红外基层和红外细节层，并将所述可见光图像分解成可见光基层和可见光细节层；
使用引导滤波算法对所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层构建对应的各权重图；
对各权重图分别进行加权，获得所述目标红外图像背景和所述可见光图像的融合结果；
对所述特征信息进行自适应抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像。
本发明设备通过处理器1001调用存储器1005中存储的红外与可见光图像融合程序，还执行以下操作：
获取目标物的原始红外图像和可见光图像；
利用CNN算法学习真实世界低亮度图像的亮度分布合成数据，获得CNN训练模型，根据所述CNN训练模型确定所述原始红外图像需要进行增强的特定区域；
通过高斯过程回归对所述特定区域进行增强，获得增强图像。
本发明设备通过处理器1001调用存储器1005中存储的红外与可见光图像融合程序，还执行以下操作：
通过高斯过程回归构造所述特定区域的函数分布，根据函数分布为所述特定区域分配特征增强函数，对所述特定区域进行增强，获得增强图像。
本发明设备通过处理器1001调用存储器1005中存储的红外与可见光图像融合程序，还执行以下操作：
利用四叉树将所述增强图像分解为四个根区块，获取各根区块的最大灰度值和最小灰度值；
将最大灰度值减去最小灰度值的差值大于预设差值阈值的根区块进一步分割为四个区块，直至没有区块进一步分割或区块尺寸小于预设尺寸阈值，获得各区块；
根据预设控制点坐标在各区块中选取对应的控制点，获得各控制点的局部最小灰度值，根据贝塞尔差值算法的贝塞尔差值、各控制点和所述局部最小灰度值进行背景重构，获得目标红外图像背景；
用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息。
本发明设备通过处理器1001调用存储器1005中存储的红外与可见光图像融合程序，还执行以下操作：
对所述目标红外图像背景和所述可见光图像进行拉普拉斯滤波得到高频细节；
对所述高频细节进行高斯滤波去除噪声，对去除噪声后的高频细节通过拉普拉斯滤波器获得高通图像；
获取高通图像的绝对值的局部平均值，根据所述局部平均值构造显著性图像；
获取引导滤波器的基层滤波参数、基层滤波器、细节层滤波参数和细节层滤波器，通过所述基层滤波参数和所述基层滤波器对所述红外基层和所述可见光基层进行滤波，通过所述细节层滤波参数和所述细节层滤波器对所述红外细节层和所述可见光细节层进行滤波，根据滤波结果优化所述显著性图像，生成所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层对应的各权重图。
本发明设备通过处理器1001调用存储器1005中存储的红外与可见光图像融合程序，还执行以下操作：
通过加权将各权重图对应的基层融合在一起，并将各权重图对应的细节层融合在一起；
将融合后的基层和融合后的细节层相加，获得所述目标红外图像背景和所述可见光图像的融合结果。
本发明设备通过处理器1001调用存储器1005中存储的红外与可见光图像融合程序，还执行以下操作：
根据预设抑制参数对所述特征信息进行抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像。
本实施例通过上述方案，通过获取目标物的原始红外图像和可见光图像，根据CNN训练模型对所述原始红外图像进行图像增强，获得增强图像；利用四叉树将所述增强图像分解为若干区块，通过贝塞尔差值算法和各区块重构红外图像背景，获得重构后的目标红外图像背景，用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息；利用均值滤波将所述目标红外图像背景分解为红外基层和红外细节层，并将所述可见光图像分解成可见光基层和可见光细节层；使用引导滤波算法对所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层构建对应的各权重图；对各权重图分别进行加权，获得所述目标红外图像背景和所述可见光图像的融合结果；对所述特征信息进行自适应抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像，能够对特征信息进行提取，增强一些容易丢失的细节信息，避免了信息被过渡平滑导致信息丢失的情况发生，不使用滤波器对其进行平滑，从而使图像融合达到更好的效果，提高了图像融合的速度和效率，提升了图像融合的质量。
基于上述硬件结构，提出本发明红外与可见光图像融合方法实施例。
参照图2，图2为本发明红外与可见光图像融合方法第一实施例的流程示意图。
在第一实施例中，所述红外与可见光图像融合方法包括以下步骤：
步骤S10、获取目标物的原始红外图像和可见光图像，根据CNN训练模型对所述原始红外图像进行图像增强，获得增强图像。
需要说明的是，所述目标物为进行红外光和可见光检测的目标物，可以是生物、移动或固定的物体，本实施例对此不加以限制；可以通过一般的拍摄设备获取目标物的原始红外图像和可见光图像，卷积神经网络(Convolutional Neural Networks，CNN)训练模型为使用CNN算法进行数据训练后生成的模型，通过所述CNN训练模型可以对所述原始红外图像进行图像增强，从而获得图像增强后的图像。
步骤S20、利用四叉树将所述增强图像分解为若干区块，通过贝塞尔差值算法和各区块重构红外图像背景，获得重构后的目标红外图像背景，用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息。
可以理解的是，利用四叉树对应的四叉树结构可以将增强后的图像分解为合适大小的区块，从而区分出红外物体的轮廓，通过贝塞尔差值算法和各区块可以重建图像的背景，生成重构后的目标红外图像背景，进而通过所述原始红外图像减去所述目标红外图像背景，获得差值，根据差值可以提取到红外物体的特征图像，特征图像对应有相应的特征信息。
步骤S30、利用均值滤波将所述目标红外图像背景分解为红外基层和红外细节层，并将所述可见光图像分解成可见光基层和可见光细节层。
应当理解的是，利用均值滤波可以进行图像分解，即分别将红外图像背景和可见光图像分解成对应的基层和细节层，具体的，将所述目标红外图像背景分解为红外基层和红外细节层，并将所述可见光图像分解成可见光基层和可见光细节层。
在具体实现中，可以采用均值滤波将红外背景图像和可见光图像进行图像分解，得到二者的基层：IB＝In*Z，其中，IB为基层，In为原图像，Z为均值滤波；由此得到细节层ID：ID＝In-IB。
步骤S40、使用引导滤波算法对所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层构建对应的各权重图。
可以理解的是，使用引导滤波算法可以对两个基层和两个细节层构建对应的各权重图，权重图为各权重值的分布图，权重图中权重值分布的平滑与尖锐用于区分边缘信息与平滑信息，可以防止人工边缘的产生以及信息丢失。
步骤S50、对各权重图分别进行加权，获得所述目标红外图像背景和所述可见光图像的融合结果。
应当理解的是，对基层和细节层的权重图分别进行加权，进而对加权结果进行相加，可以得到红外图像背景和可见光图像的融合结果。
步骤S60、对所述特征信息进行自适应抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像。
可以理解的是，对所述特征信息进行自适应抑制，能够避免特征信息直接加入到融合结果中可能出现过渡曝光的问题，将抑制后的特征信息添加到所述融合结果中，能够获得最终的融合图像，是的融合图像可以很好地集成红外特征，保存大量的视觉信息。
本实施例通过上述方案，通过获取目标物的原始红外图像和可见光图像，根据CNN训练模型对所述原始红外图像进行图像增强，获得增强图像；利用四叉树将所述增强图像分解为若干区块，通过贝塞尔差值算法和各区块重构红外图像背景，获得重构后的目标红外图像背景，用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息；利用均值滤波将所述目标红外图像背景分解为红外基层和红外细节层，并将所述可见光图像分解成可见光基层和可见光细节层；使用引导滤波算法对所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层构建对应的各权重图；对各权重图分别进行加权，获得所述目标红外图像背景和所述可见光图像的融合结果；对所述特征信息进行自适应抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像，能够对特征信息进行提取，增强一些容易丢失的细节信息，避免了信息被过渡平滑导致信息丢失的情况发生，不使用滤波器对其进行平滑，从而使图像融合达到更好的效果，提高了图像融合的速度和效率，提升了图像融合的质量。
进一步地，图3为本发明红外与可见光图像融合方法第二实施例的流程示意图，如图3所示，基于第一实施例提出本发明红外与可见光图像融合方法第二实施例，在本实施例中，所述步骤S10具体包括以下步骤：
步骤S11、获取目标物的原始红外图像和可见光图像。
可以理解的是，可以通过一般的拍摄设备获取目标物的原始红外图像和可见光图像，当然也可以通过附着在特定设备或集成在特定设备上的图像采集单元拍摄获取，本实施例对此不加以限制。
步骤S12、利用CNN算法学习真实世界低亮度图像的亮度分布合成数据，获得CNN训练模型，根据所述CNN训练模型确定所述原始红外图像需要进行增强的特定区域。
可以理解的是，利用CNN算法学习真实世界低亮度图像的亮度分布合成数据，即将大量现实生活中的低亮度图像亮度分布合成数据作为样本数据对CNN网络进行训练，学习特征与像素之间的关系，得到CNN训练模型，根据所述CNN训练模型确定所述原始红外图像需要进行增强的特定区域。
步骤S13、通过高斯过程回归对所述特定区域进行增强，获得增强图像。
应当理解的是，图像增强功能必须定位在图像内特定区域或像素才能获得最佳结果，利用高斯过程回归的方法可以对所述特定区域进行对比度增强，获得增强图像。
本实施例通过上述方案，通过获取目标物的原始红外图像和可见光图像；利用CNN算法学习真实世界低亮度图像的亮度分布合成数据，获得CNN训练模型，根据所述CNN训练模型确定所述原始红外图像需要进行增强的特定区域；通过高斯过程回归对所述特定区域进行增强，获得增强图像，能够增强一些容易丢失的细节信息，方便后续特征提取，避免了信息被过渡平滑导致信息丢失的情况发生，提升了图像融合的质量。
进一步地，图4为本发明红外与可见光图像融合方法第三实施例的流程示意图，如图4所示，基于第二实施例提出本发明红外与可见光图像融合方法第三实施例，在本实施例中，所述步骤S13具体包括以下步骤：
步骤S131、通过高斯过程回归构造所述特定区域的函数分布，根据函数分布为所述特定区域分配特征增强函数，对所述特定区域进行增强，获得增强图像。
需要说明的是，利用高斯过程回归的方法，在卷积神经网络的支持下，可以构造所述特定区域的函数的分布，进而可以引入特征增强函数进行分配，即根据函数分布为所述特定区域分配特征增强函数，从而对所述特定区域进行增强，获得增强图像。
在具体实现中，高斯过程由一个均值函数和一个协方差函数来参数化，高斯过程的公式如下：
Figure BDA0003352661920000121
其中，yts为通过高斯过程得到的增强结果，xtr为红外图像亮度提高后的图像，xts为训练模型给定一张红外图像，ytr为训练输出图像，m为平均函数，N为条件分布。
利用高斯过程回归的方法，在卷积神经网络的支持下，构造了这些函数的分布，并引入了特征增强函数进行分配。对训练模型给定一张红外图像xts，得到红外图像亮度提高后的图像xtr。将原图像xts和亮度提高图像xtr同时作为高斯过程的输入，通过高斯过程得到增强结果yts。
协方差函数的公式如下：
Figure BDA0003352661920000131
其中，k(xtr,xts)为协方差函数，
Figure BDA0003352661920000132
为数据方差，exp为指数函数，d为定义高斯过程平滑度的长度范围，超参数
Figure BDA0003352661920000133
和d决定了函数分布的形式。
本实施例通过上述方案，通过高斯过程回归构造所述特定区域的函数分布，根据函数分布为所述特定区域分配特征增强函数，对所述特定区域进行增强，获得增强图像，能够增强一些容易丢失的细节信息，方便后续特征提取，避免了信息被过渡平滑导致信息丢失的情况发生。
进一步地，图5为本发明红外与可见光图像融合方法第四实施例的流程示意图，如图5所示，基于第一实施例提出本发明红外与可见光图像融合方法第四实施例，在本实施例中，所述步骤S20具体包括以下步骤：
步骤S21、利用四叉树将所述增强图像分解为四个根区块，获取各根区块的最大灰度值和最小灰度值。
需要说明的是，对增强图像采用四叉树算法可以分解成四个根区块，对于每个根区块，对应有根区块相应的图像灰度值，可以从灰度值中确定最大灰度值和最小灰度值。
步骤S22、将最大灰度值减去最小灰度值的差值大于预设差值阈值的根区块进一步分割为四个区块，直至没有区块进一步分割或区块尺寸小于预设尺寸阈值，获得各区块。
可以理解的是，所述预设差值阈值为预先设置的判断当前根区块是否需要进一步分割的差值判断阈值，所述预设尺寸阈值为判断区块是否分割到底的尺寸阈值，一般可以设置为最小尺寸，如果当前区块的最大灰度值减去最小灰度值大于预设阈值并将其进一步分割为四个较小的区块，直到没有区块进一步分割或区块小于预设的最小尺寸，在实际操作中，将四叉树分解的预设差值阈值设置为0.2，所述预设尺寸阈值可以设置为256，所述预设差值阈值和所述预设尺寸阈值当然还可以设置为其他数值，本实施例对此不加以限制。
步骤S23、根据预设控制点坐标在各区块中选取对应的控制点，获得各控制点的局部最小灰度值，根据贝塞尔差值算法的贝塞尔差值、各控制点和所述局部最小灰度值进行背景重构，获得目标红外图像背景。
应当理解的是，所述预设控制点坐标为预先设置的区块中的控制点对应的相对坐标，各控制点对应有局部最小灰度值，贝塞尔差值算法对应有贝塞尔差值，通过贝塞尔差值、各控制点和所述局部最小灰度值可以进行背景重构，进而获得目标红外图像背景。
在具体实现中，红外图像的特征比周围背景的灰度值低且具有明显差距，由此可以大致确定特征的边缘，在每个区块中选择16个控制点，控制点选择局部最小值，这样设置的原因是四叉树结构可以确认大部分控制点位于红外背景上，但可能有一些点位于红外物体内部，并且局部最小灰度值通常表示背景，之后引入贝塞尔差值，以选择的控制点坐标和灰度值为参考进行背景重建得到目标红外图像背景，贝塞尔差值通过结合四叉树结构的每个Bézier表面，重构红外图像。
步骤S24、用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息。
应当理解的是，通过用所述原始红外图像减去所述目标红外图像背景，获得差值，根据差值可以提取到红外物体的特征图像，特征图像对应有相应的特征信息。
本实施例通过上述方案，通过利用四叉树将所述增强图像分解为四个根区块，获取各根区块的最大灰度值和最小灰度值；将最大灰度值减去最小灰度值的差值大于预设差值阈值的根区块进一步分割为四个区块，直至没有区块进一步分割或区块尺寸小于预设尺寸阈值，获得各区块；根据预设控制点坐标在各区块中选取对应的控制点，获得各控制点的局部最小灰度值，根据贝塞尔差值算法的贝塞尔差值、各控制点和所述局部最小灰度值进行背景重构，获得目标红外图像背景；用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息，能够对特征信息进行提取，增强一些容易丢失的细节信息，避免了信息被过渡平滑导致信息丢失的情况发生，不使用滤波器对其进行平滑。
进一步地，图6为本发明红外与可见光图像融合方法第五实施例的流程示意图，如图6所示，基于第一实施例提出本发明红外与可见光图像融合方法第五实施例，在本实施例中，所述步骤S40具体包括以下步骤：
步骤S41、对所述目标红外图像背景和所述可见光图像进行拉普拉斯滤波得到高频细节。
需要说明的是，对所述目标红外图像背景和所述可见光图像进行拉普拉斯滤波可以得到高频细节。
步骤S42、对所述高频细节进行高斯滤波去除噪声，对去除噪声后的高频细节通过拉普拉斯滤波器获得高通图像。
应当理解的是，对所述高频细节进行高斯滤波后可以去除噪声，高斯滤波是一个低通滤波，对高频细节采用低通滤波，可以去除噪声，对去除噪声后的高频细节通过拉普拉斯滤波器获得高通图像，即利用拉普拉斯滤波器取得源图像的高通图像。
步骤S43、获取高通图像的绝对值的局部平均值，根据所述局部平均值构造显著性图像。
可以理解的是，利用高通图像的绝对值的局部平均值构造显著性映射，即生成显著性图像。
步骤S44、获取引导滤波器的基层滤波参数、基层滤波器、细节层滤波参数和细节层滤波器，通过所述基层滤波参数和所述基层滤波器对所述红外基层和所述可见光基层进行滤波，通过所述细节层滤波参数和所述细节层滤波器对所述红外细节层和所述可见光细节层进行滤波，根据滤波结果优化所述显著性图像，生成所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层对应的各权重图。
应当理解的是，引导滤波器优化显著性图像得到基层和细节层的权重图，获取引导滤波器对应基层的基层滤波参数和基层滤波器，对应细节层有细节层滤波参数和细节层滤波器，针对基层和细节层信息的不同，分别采用不同的参数，在使用引导滤波时，对基层采用大参数和大滤波器，对细节层采用小参数和小滤波器。
在具体实现中，引导滤波器优化显著性图像得到基层和细节层的权重图。引导滤波是一个线性滤波，公式如下：
Figure BDA0003352661920000161
其中，Oi为滤波器输出的i像素，ak和bk为线性系数，Ii为引导图像中的i像素，ωk为大小为(2r+1)×(2r+1)的窗口，r为窗口半径。
其中，
Figure BDA0003352661920000162
其中ε是由用户给出的正则化参数，μk和δk分别是I在ωk中的均值和方差，|ω|是ωk中分像素数，
Figure BDA0003352661920000163
是P在ωk中的均值，对基层采用大参数和大滤波器，对细节层采用小参数和小滤波器，优选地，基层引导滤波的局部窗口半径为45、正则化参数ε为0.3，细节层引导滤波的局部窗口半径为7、正则化参数ε为10-6，当然也可以设置为其他数值，本实施例对此不加以限制，其中I为引导图像，该实施例中以源图像为引导图像，P为输入图像，该实施例中以引导图像的显著性图为输入图像。
本实施例通过上述方案，通过对所述目标红外图像背景和所述可见光图像进行拉普拉斯滤波得到高频细节；对所述高频细节进行高斯滤波去除噪声，对去除噪声后的高频细节通过拉普拉斯滤波器获得高通图像；获取高通图像的绝对值的局部平均值，根据所述局部平均值构造显著性图像；获取引导滤波器的基层滤波参数、基层滤波器、细节层滤波参数和细节层滤波器，通过所述基层滤波参数和所述基层滤波器对所述红外基层和所述可见光基层进行滤波，通过所述细节层滤波参数和所述细节层滤波器对所述红外细节层和所述可见光细节层进行滤波，根据滤波结果优化所述显著性图像，生成所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层对应的各权重图；能够有效去除图像噪声，提升了图像融合的质量。
进一步地，图7为本发明红外与可见光图像融合方法第六实施例的流程示意图，如图7所示，基于第一实施例提出本发明红外与可见光图像融合方法第六实施例，在本实施例中，所述步骤S50具体包括以下步骤：
步骤S51、通过加权将各权重图对应的基层融合在一起，并将各权重图对应的细节层融合在一起。
需要说明的是，通过加权平均方法可以将不同源图像的基层和细节融合在一起，可以将各权重图对应的细节层融合在一起。
步骤S52、将融合后的基层和融合后的细节层相加，获得所述目标红外图像背景和所述可见光图像的融合结果。
可以理解的是，将融合后的基层和融合后的细节层相加后，可以得到不含红外特征的融合结果，即获得所述目标红外图像背景和所述可见光图像的融合结果。
本实施例通过上述方案，通过加权将各权重图对应的基层融合在一起，并将各权重图对应的细节层融合在一起；将融合后的基层和融合后的细节层相加，获得所述目标红外图像背景和所述可见光图像的融合结果，可以进行快速图像融合，从而使图像融合达到更好的效果，提高了图像融合的速度和效率。
进一步地，图8为本发明红外与可见光图像融合方法第七实施例的流程示意图，如图8所示，基于第一实施例提出本发明红外与可见光图像融合方法第七实施例，在本实施例中，所述步骤S60具体包括以下步骤：
步骤S61、根据预设抑制参数对所述特征信息进行抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像。
需要说明的是，所述预设抑制参数为预先设置的对所述特征信息进行抑制的参数，将抑制后的特征信息添加到所述融合结果中，可以获得最终融合图像。
在具体实现中，所述预设抑制参数为β，
Figure BDA0003352661920000171
其中Aver0.5为所述特征信息对应的特征总和的前0.5％的平均值，其中所述预设抑制参数中的平均值比例，可以设置为0.4、0.6、0.35等其他数值，本实施例对此不加以限制；255为灰度图像中可取灰度值的最大值的含义，可以由其他不大于255的数值替代，数值越小，抑制的像素越多。
可以理解的是，如果Aver0.5大于255，则当前的明亮特征可能导致融合图像的过度曝光，因此应通过
Figure BDA0003352661920000172
进行抑制，否则明亮特征保持不变改变，经过改进得到最终的红外特征。
在具体实现中，可以将变比测试仪的一次电压UAB直接连接于二次端(a、b端)即UAB＝Uab，可对变比测试仪进行1/1的自校，一般不能在不允许直通的变比测试仪的检定，对于不允许直通的变比测试仪，可以利用感分的隔离绕组进行1/1的隔离测试；把变比测试仪的一次侧电压直接输入到二次侧，此时变比显示值应为1.0000。如果不同，即为该被测变比测试仪在此时的误差。
本实施例通过上述方案，通过调整所述感应分压器的置数为1.000000，将变比测试仪的一次侧电压输入到二次输入电压端，检定获得所述变比组别测试仪的自校直通数据，能够完成变比组别测试仪的直通测试，能够对变比组别测试仪进行全面性的测试，提升了变比测试的准确性。
相应地，本发明进一步提供一种红外与可见光图像融合装置。
参照图9，图9为本发明红外与可见光图像融合装置第一实施例的功能模块图。
本发明红外与可见光图像融合装置第一实施例中，该红外与可见光图像融合装置包括：
图像增强模块10，用于获取目标物的原始红外图像和可见光图像，根据CNN训练模型对所述原始红外图像进行图像增强，获得增强图像。
特征提取模块20，用于利用四叉树将所述增强图像分解为若干区块，通过贝塞尔差值算法和各区块重构红外图像背景，获得重构后的目标红外图像背景，用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息。
图像分解模块30，用于利用均值滤波将所述目标红外图像背景分解为红外基层和红外细节层，并将所述可见光图像分解成可见光基层和可见光细节层。
图像重构模块40，用于使用引导滤波算法对所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层构建对应的各权重图。
图像融合模块50，用于对各权重图分别进行加权，获得所述目标红外图像背景和所述可见光图像的融合结果。
抑制模块60，用于对所述特征信息进行自适应抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像。
所述图像增强模块10，还用于获取目标物的原始红外图像和可见光图像；利用CNN算法学习真实世界低亮度图像的亮度分布合成数据，获得CNN训练模型，根据所述CNN训练模型确定所述原始红外图像需要进行增强的特定区域；通过高斯过程回归对所述特定区域进行增强，获得增强图像。
所述图像增强模块10，还用于通过高斯过程回归构造所述特定区域的函数分布，根据函数分布为所述特定区域分配特征增强函数，对所述特定区域进行增强，获得增强图像。
所述特征提取模块20，还用于利用四叉树将所述增强图像分解为四个根区块，获取各根区块的最大灰度值和最小灰度值；将最大灰度值减去最小灰度值的差值大于预设差值阈值的根区块进一步分割为四个区块，直至没有区块进一步分割或区块尺寸小于预设尺寸阈值，获得各区块；根据预设控制点坐标在各区块中选取对应的控制点，获得各控制点的局部最小灰度值，根据贝塞尔差值算法的贝塞尔差值、各控制点和所述局部最小灰度值进行背景重构，获得目标红外图像背景；用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息。
所述图像重构模块40，还用于对所述目标红外图像背景和所述可见光图像进行拉普拉斯滤波得到高频细节；对所述高频细节进行高斯滤波去除噪声，对去除噪声后的高频细节通过拉普拉斯滤波器获得高通图像；获取高通图像的绝对值的局部平均值，根据所述局部平均值构造显著性图像；获取引导滤波器的基层滤波参数、基层滤波器、细节层滤波参数和细节层滤波器，通过所述基层滤波参数和所述基层滤波器对所述红外基层和所述可见光基层进行滤波，通过所述细节层滤波参数和所述细节层滤波器对所述红外细节层和所述可见光细节层进行滤波，根据滤波结果优化所述显著性图像，生成所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层对应的各权重图。
所述图像融合模块50，还用于通过加权将各权重图对应的基层融合在一起，并将各权重图对应的细节层融合在一起；将融合后的基层和融合后的细节层相加，获得所述目标红外图像背景和所述可见光图像的融合结果。
所述抑制模块60，还用于根据预设抑制参数对所述特征信息进行抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像。
其中，红外与可见光图像融合装置的各个功能模块实现的步骤可参照本发明红外与可见光图像融合方法的各个实施例，此处不再赘述。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有红外与可见光图像融合程序，所述红外与可见光图像融合程序被处理器执行时实现如下操作：
获取目标物的原始红外图像和可见光图像，根据CNN训练模型对所述原始红外图像进行图像增强，获得增强图像；
利用四叉树将所述增强图像分解为若干区块，通过贝塞尔差值算法和各区块重构红外图像背景，获得重构后的目标红外图像背景，用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息；
利用均值滤波将所述目标红外图像背景分解为红外基层和红外细节层，并将所述可见光图像分解成可见光基层和可见光细节层；
使用引导滤波算法对所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层构建对应的各权重图；
对各权重图分别进行加权，获得所述目标红外图像背景和所述可见光图像的融合结果；
对所述特征信息进行自适应抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像。
进一步地，所述红外与可见光图像融合程序被处理器执行时还实现如下操作：
获取目标物的原始红外图像和可见光图像；
利用CNN算法学习真实世界低亮度图像的亮度分布合成数据，获得CNN训练模型，根据所述CNN训练模型确定所述原始红外图像需要进行增强的特定区域；
通过高斯过程回归对所述特定区域进行增强，获得增强图像。
进一步地，所述红外与可见光图像融合程序被处理器执行时还实现如下操作：
通过高斯过程回归构造所述特定区域的函数分布，根据函数分布为所述特定区域分配特征增强函数，对所述特定区域进行增强，获得增强图像。
进一步地，所述红外与可见光图像融合程序被处理器执行时还实现如下操作：
利用四叉树将所述增强图像分解为四个根区块，获取各根区块的最大灰度值和最小灰度值；
将最大灰度值减去最小灰度值的差值大于预设差值阈值的根区块进一步分割为四个区块，直至没有区块进一步分割或区块尺寸小于预设尺寸阈值，获得各区块；
根据预设控制点坐标在各区块中选取对应的控制点，获得各控制点的局部最小灰度值，根据贝塞尔差值算法的贝塞尔差值、各控制点和所述局部最小灰度值进行背景重构，获得目标红外图像背景；
用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息。
进一步地，所述红外与可见光图像融合程序被处理器执行时还实现如下操作：
对所述目标红外图像背景和所述可见光图像进行拉普拉斯滤波得到高频细节；
对所述高频细节进行高斯滤波去除噪声，对去除噪声后的高频细节通过拉普拉斯滤波器获得高通图像；
获取高通图像的绝对值的局部平均值，根据所述局部平均值构造显著性图像；
获取引导滤波器的基层滤波参数、基层滤波器、细节层滤波参数和细节层滤波器，通过所述基层滤波参数和所述基层滤波器对所述红外基层和所述可见光基层进行滤波，通过所述细节层滤波参数和所述细节层滤波器对所述红外细节层和所述可见光细节层进行滤波，根据滤波结果优化所述显著性图像，生成所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层对应的各权重图。
进一步地，所述红外与可见光图像融合程序被处理器执行时还实现如下操作：
通过加权将各权重图对应的基层融合在一起，并将各权重图对应的细节层融合在一起；
将融合后的基层和融合后的细节层相加，获得所述目标红外图像背景和所述可见光图像的融合结果。
进一步地，所述红外与可见光图像融合程序被处理器执行时还实现如下操作：
根据预设抑制参数对所述特征信息进行抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像。
本实施例通过上述方案，通过获取目标物的原始红外图像和可见光图像，根据CNN训练模型对所述原始红外图像进行图像增强，获得增强图像；利用四叉树将所述增强图像分解为若干区块，通过贝塞尔差值算法和各区块重构红外图像背景，获得重构后的目标红外图像背景，用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息；利用均值滤波将所述目标红外图像背景分解为红外基层和红外细节层，并将所述可见光图像分解成可见光基层和可见光细节层；使用引导滤波算法对所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层构建对应的各权重图；对各权重图分别进行加权，获得所述目标红外图像背景和所述可见光图像的融合结果；对所述特征信息进行自适应抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像，能够对特征信息进行提取，增强一些容易丢失的细节信息，避免了信息被过渡平滑导致信息丢失的情况发生，不使用滤波器对其进行平滑，从而使图像融合达到更好的效果，提高了图像融合的速度和效率，提升了图像融合的质量。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种红外与可见光图像融合方法，其特征在于，所述红外与可见光图像融合方法包括：
获取目标物的原始红外图像和可见光图像，根据CNN训练模型对所述原始红外图像进行图像增强，获得增强图像；
利用四叉树将所述增强图像分解为若干区块，通过贝塞尔差值算法和各区块重构红外图像背景，获得重构后的目标红外图像背景，用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息；
利用均值滤波将所述目标红外图像背景分解为红外基层和红外细节层，并将所述可见光图像分解成可见光基层和可见光细节层；
使用引导滤波算法对所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层构建对应的各权重图；
对各权重图分别进行加权，获得所述目标红外图像背景和所述可见光图像的融合结果；
对所述特征信息进行自适应抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像。
2.如权利要求1所述的红外与可见光图像融合方法，其特征在于，所述获取目标物的原始红外图像和可见光图像，根据CNN训练模型对所述原始红外图像进行图像增强，获得增强图像，包括：
获取目标物的原始红外图像和可见光图像；
利用CNN算法学习真实世界低亮度图像的亮度分布合成数据，获得CNN训练模型，根据所述CNN训练模型确定所述原始红外图像需要进行增强的特定区域；
通过高斯过程回归对所述特定区域进行增强，获得增强图像。
3.如权利要求2所述的红外与可见光图像融合方法，其特征在于，所述通过高斯过程回归对所述特定区域进行增强，获得增强图像，包括：
通过高斯过程回归构造所述特定区域的函数分布，根据函数分布为所述特定区域分配特征增强函数，对所述特定区域进行增强，获得增强图像。
4.如权利要求1所述的红外与可见光图像融合方法，其特征在于，所述利用四叉树将所述增强图像分解为若干区块，通过贝塞尔差值算法和各区块重构红外图像背景，获得重构后的目标红外图像背景，用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息，包括：
利用四叉树将所述增强图像分解为四个根区块，获取各根区块的最大灰度值和最小灰度值；
将最大灰度值减去最小灰度值的差值大于预设差值阈值的根区块进一步分割为四个区块，直至没有区块进一步分割或区块尺寸小于预设尺寸阈值，获得各区块；
根据预设控制点坐标在各区块中选取对应的控制点，获得各控制点的局部最小灰度值，根据贝塞尔差值算法的贝塞尔差值、各控制点和所述局部最小灰度值进行背景重构，获得目标红外图像背景；
用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息。
5.如权利要求1所述的红外与可见光图像融合方法，其特征在于，所述使用引导滤波算法对所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层构建对应的各权重图，包括：
对所述目标红外图像背景和所述可见光图像进行拉普拉斯滤波得到高频细节；
对所述高频细节进行高斯滤波去除噪声，对去除噪声后的高频细节通过拉普拉斯滤波器获得高通图像；
获取高通图像的绝对值的局部平均值，根据所述局部平均值构造显著性图像；
获取引导滤波器的基层滤波参数、基层滤波器、细节层滤波参数和细节层滤波器，通过所述基层滤波参数和所述基层滤波器对所述红外基层和所述可见光基层进行滤波，通过所述细节层滤波参数和所述细节层滤波器对所述红外细节层和所述可见光细节层进行滤波，根据滤波结果优化所述显著性图像，生成所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层对应的各权重图。
6.如权利要求1所述的红外与可见光图像融合方法，其特征在于，所述对各权重图分别进行加权，获得所述目标红外图像背景和所述可见光图像的融合结果，包括：
通过加权将各权重图对应的基层融合在一起，并将各权重图对应的细节层融合在一起；
将融合后的基层和融合后的细节层相加，获得所述目标红外图像背景和所述可见光图像的融合结果。
7.如权利要求1所述的红外与可见光图像融合方法，其特征在于，所述对所述特征信息进行自适应抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像，包括：
根据预设抑制参数对所述特征信息进行抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像。
8.一种红外与可见光图像融合装置，其特征在于，所述红外与可见光图像融合装置包括：
图像增强模块，用于获取目标物的原始红外图像和可见光图像，根据CNN训练模型对所述原始红外图像进行图像增强，获得增强图像；
特征提取模块，用于利用四叉树将所述增强图像分解为若干区块，通过贝塞尔差值算法和各区块重构红外图像背景，获得重构后的目标红外图像背景，用所述原始红外图像减去所述目标红外图像背景获得红外物体的特征信息；
图像分解模块，用于利用均值滤波将所述目标红外图像背景分解为红外基层和红外细节层，并将所述可见光图像分解成可见光基层和可见光细节层；
图像重构模块，用于使用引导滤波算法对所述红外基层、所述红外细节层、所述可见光基层和所述可见光细节层构建对应的各权重图；
图像融合模块，用于对各权重图分别进行加权，获得所述目标红外图像背景和所述可见光图像的融合结果；
抑制模块，用于对所述特征信息进行自适应抑制，将抑制后的特征信息添加到所述融合结果中，获得最终融合图像。
9.一种红外与可见光图像融合设备，其特征在于，所述红外与可见光图像融合设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的红外与可见光图像融合程序，所述红外与可见光图像融合程序配置为实现如权利要求1至7中任一项所述的红外与可见光图像融合方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有红外与可见光图像融合程序，所述红外与可见光图像融合程序被处理器执行时实现如权利要求1至7中任一项所述的红外与可见光图像融合方法的步骤。
CN202111342449.2A 2021-11-12 2021-11-12 红外与可见光图像融合方法、装置、设备及存储介质 Pending CN114119439A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111342449.2A CN114119439A (zh) 2021-11-12 2021-11-12 红外与可见光图像融合方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111342449.2A CN114119439A (zh) 2021-11-12 2021-11-12 红外与可见光图像融合方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114119439A true CN114119439A (zh) 2022-03-01

Family

ID=80379759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111342449.2A Pending CN114119439A (zh) 2021-11-12 2021-11-12 红外与可见光图像融合方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114119439A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693577A (zh) * 2022-04-20 2022-07-01 合肥工业大学 一种基于Transformer的红外偏振图像融合方法
CN115393224A (zh) * 2022-09-02 2022-11-25 点昀技术(南通)有限公司 一种深度图像的滤波方法及装置
CN115578304A (zh) * 2022-12-12 2023-01-06 四川大学 一种结合显著性区域检测的多波段图像融合方法和系统
CN116543284A (zh) * 2023-07-06 2023-08-04 国科天成科技股份有限公司 基于场景类的可见光红外双光融合方法和系统
CN116681637A (zh) * 2023-08-03 2023-09-01 国网安徽省电力有限公司超高压分公司 特高压换流变压器红外与可见光监测图像融合方法及系统
CN117011196A (zh) * 2023-08-10 2023-11-07 哈尔滨工业大学 一种基于组合滤波优化的红外小目标检测方法及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693577A (zh) * 2022-04-20 2022-07-01 合肥工业大学 一种基于Transformer的红外偏振图像融合方法
CN114693577B (zh) * 2022-04-20 2023-08-11 合肥工业大学 一种基于Transformer的红外偏振图像融合方法
CN115393224A (zh) * 2022-09-02 2022-11-25 点昀技术(南通)有限公司 一种深度图像的滤波方法及装置
CN115578304A (zh) * 2022-12-12 2023-01-06 四川大学 一种结合显著性区域检测的多波段图像融合方法和系统
CN115578304B (zh) * 2022-12-12 2023-03-10 四川大学 一种结合显著性区域检测的多波段图像融合方法和系统
CN116543284A (zh) * 2023-07-06 2023-08-04 国科天成科技股份有限公司 基于场景类的可见光红外双光融合方法和系统
CN116543284B (zh) * 2023-07-06 2023-09-12 国科天成科技股份有限公司 基于场景类的可见光红外双光融合方法和系统
CN116681637A (zh) * 2023-08-03 2023-09-01 国网安徽省电力有限公司超高压分公司 特高压换流变压器红外与可见光监测图像融合方法及系统
CN116681637B (zh) * 2023-08-03 2024-01-02 国网安徽省电力有限公司超高压分公司 特高压换流变压器红外与可见光监测图像融合方法及系统
CN117011196A (zh) * 2023-08-10 2023-11-07 哈尔滨工业大学 一种基于组合滤波优化的红外小目标检测方法及系统
CN117011196B (zh) * 2023-08-10 2024-04-19 哈尔滨工业大学 一种基于组合滤波优化的红外小目标检测方法及系统

Similar Documents

Publication Publication Date Title
CN114119439A (zh) 红外与可见光图像融合方法、装置、设备及存储介质
CN110706174B (zh) 一种图像增强方法、终端设备及存储介质
US20170316597A1 (en) Texturing a three-dimensional scanned model with localized patch colors
Khan et al. Localization of radiance transformation for image dehazing in wavelet domain
CN110827210B (zh) 一种基于颜色曲线分解的水下图像清晰化方法及系统
JP2005527880A (ja) ユーザ定義可能な画像参照ポイント
US9892542B2 (en) Creating bump and normal maps from images with multi-scale control
CN109241867B (zh) 采用人工智能算法识别数字岩心图像的方法及装置
CN107547803B (zh) 视频分割结果边缘优化处理方法、装置及计算设备
CN111951172A (zh) 一种图像优化方法、装置、设备和存储介质
US11887218B2 (en) Image optimization method, apparatus, device and storage medium
Banić et al. Puma: A high-quality retinex-based tone mapping operator
JP2020197915A (ja) 画像処理装置、画像処理方法、及びプログラム
CN113592782A (zh) 一种复合材料碳纤维芯棒x射线图像缺陷提取方法及系统
CN112215776B (zh) 人像磨皮方法、电子设备和计算机可读存储介质
CN108346128B (zh) 一种美颜磨皮的方法和装置
Chaudhry et al. Underwater visibility restoration using dehazing, contrast enhancement and filtering
Subramani et al. Cuckoo search optimization‐based image color and detail enhancement for contrast distorted images
CN117094920A (zh) 用于对医学图像进行滤波的系统和方法
CN116228553A (zh) 一种可同时增强高照度和低照度区域清晰度的图像增强方法
Gautam et al. WMCP-EM: An integrated dehazing framework for visibility restoration in single image
CN113496470B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN114862762A (zh) 人体扫描图像的质量评估方法及其装置
Zhou et al. An improved algorithm using weighted guided coefficient and union self‐adaptive image enhancement for single image haze removal
CN108876734B (zh) 图像去噪方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination