CN110035239B - 一种基于灰度—梯度优化的多积分时间红外图像融合方法 - Google Patents

Abstract

本发明公开的一种基于灰度—梯度优化的多积分时间红外图像融合方法，涉及多积分时间红外图像的融合方法，属于图像处理技术领域。本发明实现方法为：基于输入多积分时间红外图像序列构造一幅目标灰度图像；基于输入多积分时间红外图像序列构造一幅目标梯度图像；根据目标灰度图像和目标梯度图像构造关于融合图像的最优化问题并求解，即得到兼顾场景强辐射和非强辐射区域细节信息的高质量融合图像。相比未使用多积分时间红外图像融合技术的情形，采用本发明方法得到的融合图像能够更好地保留观察场景中强辐射区域和非强辐射区域的景物细节信息，从而更有利于改善高动态范围场景下热成像设备的成像效果。

Description

一种基于灰度—梯度优化的多积分时间红外图像融合方法

技术领域

本发明涉及一种基于灰度—梯度优化的多积分时间红外图像融合方法，属于图像处理技术领域。

背景技术

红外热成像技术通过探测物体在红外波段辐射能量的差异进行成像，作用距离远，受环境天气和照明条件的影响较小，因而在军事和民用领域得到了广泛应用。对于场景辐射能够完全落在红外探测器线性响应区的应用场合，常规单积分时间成像模式下单纯应用增强算法即可实现场景辐射分布的可视化。然而，对于包含太阳光、火焰、干扰弹等自然/人工强辐射源的高动态范围场景，受到探测器响应动态范围的限制，单一积分时间红外图像已经不能涵盖场景中的全部有效信息。此时需要采用变积分时间成像模式，利用多帧不同积分时间的红外图像捕捉不同强度区间的场景辐射，进而通过图像融合的方式拓展成像系统的动态范围。

目前，可见光高动态范围(High Dynamic Range,HDR)成像领域已发展出大量多曝光融合算法，相比而言，变积分时间红外图像融合算法方面的针对性研究则比较稀少。与可见光图像相比，红外图像具有细节可辨识度低、短积分时间图像噪声严重等不同的特点。实验表明，现有可见光图像多曝光融合算法直接应用于红外图像时易产生细节模糊、噪声放大、景物失真等问题。

综上所述，对于具有变积分时间成像模式的红外热成像系统，有效的多积分时间红外图像融合方法是十分必要的。如何基于不同积分时间的红外图像生成兼顾场景强辐射和非强辐射区域细节信息的高质量融合图像，是一个值得解决的关键问题。

发明内容

本发明公开的一种基于灰度-梯度优化的多积分时间红外图像融合方法要解决的技术问题是：基于不同积分时间的红外图像生成兼顾场景强辐射和非强辐射区域细节信息的高质量融合图像，进而有效拓展红外热成像系统的动态范围，改善热成像系统在高动态范围场景下的成像效果。

本发明公开的一种基于灰度—梯度优化的多积分时间红外图像融合方法，基于输入多积分时间红外图像序列构造一幅目标灰度图像；基于输入多积分时间红外图像序列构造一幅目标梯度图像；根据目标灰度图像和目标梯度图像构造关于融合图像的最优化问题并求解，即得到兼顾场景强辐射和非强辐射区域细节信息的高质量融合图像，进而有效拓展红外热成像系统的动态范围，改善热成像系统在高动态范围场景下的成像效果。

相比未使用多积分时间红外图像融合技术的情形，采用本发明方法得到的融合图像能够更好地保留观察场景中强辐射区域和非强辐射区域的景物细节信息，从而更有利于改善高动态范围场景下热成像设备的成像效果。

本发明公开的一种基于灰度—梯度优化的多积分时间红外图像融合方法，包括以下步骤：

步骤1，基于输入多积分时间红外图像序列构造一幅目标灰度图像。

步骤1.1，对于输入序列中的每幅图像生成一幅权重图。

具体方法为：根据输入图像局域平均灰度对相应区域的曝光良好程度进行估计，进而生成一幅权重图，

式中，w_i、

分别为第i幅输入图像I_i对应的权重图和归一化局域平均灰度图，σ为权重计算函数的控制参数；W为红外图像原始数据位宽，S为局域窗口宽度；x、y分别为像素点的横向和纵向坐标，p、q分别为局域窗口内像素点的横向和纵向坐标。

步骤1.2，根据步骤1.1得到的权重图和输入图像生成目标灰度图像。

具体方法为：根据步骤1.1得到的权重图对输入图像进行合成，并使用非锐化掩模的方法对合成后的灰度图像进行增强，进而得到目标灰度图像，

式中，

为中间合成图像，I_obj为目标灰度图像，c为细节提升系数，K为空域低通滤波器，

为卷积算子；Q为输入图像帧数，ε是用于防止除零错误的常数，用于防止除零错误的常数ε为小正数。

步骤2，基于输入多积分时间红外图像序列构造一幅目标梯度图像。

步骤2.1，在输入图像序列中找到曝光度最佳的图像。

具体方法为：根据公式(3)基于有效反映曝光水平的指标对输入图像进行筛选，找到曝光度最佳的图像。

式中，I_be为曝光度最佳的图像；P(I_i)是一个用于衡量图像曝光水平的指标，定义为图像中灰度值高于中等灰度级(2^W-1)的像素数量与剩余像素数量之比，最佳曝光图像即为输入图像序列中对应P值最接近理想值1的那幅图像。

步骤2.2，在曝光度最佳图像中定位强辐射场景对应的过曝区域。

具体方法为：设定灰度阈值，并将最佳曝光图像中灰度高于阈值的像素构成的集合定义为过曝区域，

式中，Ω为过曝区域，T_g是用于分割过曝区域的灰度阈值，r是调节灰度阈值的系数，其值范围在0.8～1之间。

步骤2.3，根据输入多积分时间红外图像的梯度信息生成目标梯度图像。

具体方法为：对于非过曝区域，目标梯度图取值与最佳曝光图像的梯度相同；对于过曝区域，目标梯度图取值为输入图像序列中对应位置处幅值最大的梯度，

式中，G_obj为目标梯度图像，

为梯度算子，上标U表示整个图像区域。

步骤3，根据目标灰度图像和目标梯度图像构造关于融合图像的最优化问题并求解，即得到兼顾场景强辐射和非强辐射区域细节信息的高质量融合图像，进而有效拓展红外热成像系统的动态范围，改善热成像系统在高动态范围场景下的成像效果。

具体方法为：基于目标灰度图像和目标梯度图像构建如下形式的最小化问题，

式中，I_f为待求融合图像，λ为梯度项惩罚因子。根据变分原理，将问题(6)转化为欧拉-拉格朗日方程

式中，F为公式(6)中的被积函数，I_x、I_y分别为图像沿x、y方向的梯度。将式(7)进一步转化为，

式中，

和div分别为拉普拉斯算子和散度算子。对式(8)应用有限差分格式，得到以下形式的大型线性方程组，

Ar＝b (9)

式中，A是一个稀疏对称正定系数矩阵，r为结果图像的列向量形式，b为式(8)中等号右侧项的列向量形式；

对式(9)进行求解，即得到兼顾场景强辐射和非强辐射区域细节信息的高质量融合图像，进而有效拓展红外热成像系统的动态范围，改善热成像系统在高动态范围场景下的成像效果。

步骤3中线性方程组(9)的求解方法包括直接方法和迭代式方法。

所述的直接方法包括LU分解法、Cholesky分解法。

所述迭代式方法包括最速下降法、共轭梯度法。

有益效果：

1、本发明公开的一种基于灰度—梯度优化的多积分时间红外图像融合方法，根据输入图像局域平均灰度对相应区域的曝光良好程度进行估计，生成一幅权重图，进而构建出能够有效涵盖输入图像序列场景信息的目标灰度图。

2、本发明公开的一种基于灰度—梯度优化的多积分时间红外图像融合方法，在输入图像序列中筛选最佳曝光图像并根据该图定位过曝区域；对于过曝区域，目标梯度图取值为输入图像序列中对应位置处幅值最大的梯度，对于非过曝区域，目标梯度图取值与最佳曝光图像的梯度相同。通过上述方法构建出的目标梯度图能够最大程度地提取强辐射区域的细节信息，并有效抑制非强辐射区域的噪声和伪像。

3、本发明公开的一种基于灰度—梯度优化的多积分时间红外图像融合方法，根据目标灰度图像和目标梯度图像构造关于融合图像的最优化问题，并通过求解上述最优化问题生成同时具有目标灰度图像和目标梯度图像优点的高质量融合图像，即基于多积分时间红外图像序列生成兼顾场景强辐射和非强辐射区域细节信息的高质量融合图像，能够有效拓展红外热成像系统的动态范围，改善热像设备在高动态范围场景下的成像效果。

附图说明

图1是基于灰度—梯度优化的多积分时间红外图像融合方法流程图；

图2是由输入图像序列构造目标灰度图的方法流程图；

图3是由输入图像序列构造目标梯度图的方法流程图；

图4是由目标灰度图和目标梯度图生成融合图像的方法流程图。

图5是输入多积分时间中波红外图像序列，图5a为短积分时间图像，图5b为中等积分时间图像，图5c为长积分时间图像。

图6是基于图5中图像序列使用本发明方法得到的融合图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合具体实施例，并参照附图，对本发明进一步详细说明。应指出的是，所描述的实例是为了便于本发明的理解，而对其不起任何限定作用。本发明提供的方法既可以在个人计算机、工控机及服务器上以软件的形式安装并执行，也可以将方法做成嵌入式芯片以硬件的形式来体现。

本实施例提供的基于灰度—梯度优化的多积分时间红外图像融合方法，包括基于输入多积分时间红外图像序列构造目标灰度图像；基于输入多积分时间红外图像序列构造目标梯度图像；以及根据目标灰度图像和目标梯度图像构造关于融合图像的最优化问题并求解。相比未使用多积分时间红外图像融合技术的情形，采用本发明方法得到的融合图像能够更好地保留观察场景中强辐射区域和非强辐射区域的景物细节信息，从而更有利于改善高动态范围场景下热像设备的成像效果。

实施例1：

本实施例1处理的输入多积分时间红外图像序列如图5所示(由于14位原始红外图像无法直接显示，故使用动态范围压缩算法将其压缩至8位，对于融合图像也采用相同方法进行显示)，图中从左至右依次为500μs、5000μs及10000μs的中波红外图像，分辨率为640×512。

针对本实施例公开的基于灰度—梯度优化的多积分时间红外图像融合方法，具体实施步骤如下：

步骤1，基于输入多积分时间红外图像序列构造一幅目标灰度图像。

步骤1.1，对于输入序列中的每幅图像生成一幅权重图。

具体方法为：根据输入图像局域平均灰度对相应区域的曝光良好程度进行估计，进而生成一幅权重图，

式中，w_i、

分别为第i幅输入图像I_i对应的权重图和归一化局域平均灰度图，σ为权重计算函数的控制参数；W为红外图像原始数据位宽，S为局域窗口宽度；x、y分别为像素点的横向和纵向坐标，p、q分别为局域窗口内像素点的横向和纵向坐标。

步骤1.2，根据权重图和输入图像生成目标灰度图像。

具体方法为：对输入图像进行合成，并使用非锐化掩模的方法对合成后的灰度图像进行一定程度的增强，进而得到目标灰度图像，

式中，

为中间合成图像，I_obj为目标灰度图像，c为细节提升系数，K为一个空域低通滤波器，

为卷积算子；Q为输入图像帧数，ε是一个用于防止除零错误的小正数。

性效应。

步骤2，基于输入多积分时间红外图像序列构造一幅目标梯度图像。

步骤2.1，在输入图像序列中找到曝光度最佳的图像。

具体方法为：基于一个可有效反映曝光水平的指标对输入图像进行筛选，

式中，I_be为曝光度最佳的图像；P(I_i)是一个用于衡量图像曝光水平的指标，定义为图像中灰度值高于中等灰度级(2^W-1)的像素数量与剩余像素数量之比，最佳曝光图像即为输入图像序列中对应P值最接近理想值1的那幅图像。

步骤2.2，在曝光度最佳图像中定位强辐射场景对应的过曝区域。

具体方法为：设定灰度阈值，并将最佳曝光图像中灰度高于阈值的像素构成的集合定义为过曝区域，

式中，Ω为过曝区域，T_g是用于分割过曝区域的灰度阈值，r是调节灰度阈值的系数，其值范围在0.8～1之间。

步骤2.3，根据输入多积分时间红外图像的梯度信息生成目标梯度图像。

具体方法为：对于非过曝区域，目标梯度图取值与最佳曝光图像的梯度相同；对于过曝区域，目标梯度图取值为输入图像序列中对应位置处幅值最大的梯度，

式中，G_obj为目标梯度图像，

为梯度算子，上标U表示整个图像区域。

步骤3，根据目标灰度图像和目标梯度图像构造关于融合图像的最优化问题并求解。

具体方法为：基于目标灰度图像和目标梯度图像构建如下形式的最小化问题，

式中，I_f为待求融合图像，λ为梯度项惩罚因子。根据变分原理，将问题(15)转化为一个欧拉-拉格朗日方程

式中，F为公式(15)中的被积函数，I_x、I_y分别为图像沿x、y方向的梯度。将式(16)进一步转化为，

式中，

和div分别为拉普拉斯算子和散度算子。对式(17)应用有限差分格式，能够得到以下形式的大型线性方程组，

Ar＝b (18)

式中，A是一个稀疏对称正定系数矩阵，r为结果图像的列向量形式，b为式(17)中等号右侧项的列向量形式。

对式(18)进行求解，即得到最终的融合图像。

步骤3中，线性方程组(9)的求解方法为LU分解法。

融合图像如图6所示，可以看到，场景中强辐射区域(电暖器)的细节和非强辐射区域的景物细节均得到清晰呈现，同时，条纹噪声也得到较好的抑制，即图6同时具备图5a中强辐射区域细节丰富和图5b、5c中非强辐射区域信噪比高的优点。即基于多积分时间红外图像序列生成兼顾场景强辐射和非强辐射区域细节信息的高质量融合图像，有效拓展红外热成像系统的动态范围，改善热像设备在高动态范围场景下的成像效果。

需要说明，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于灰度—梯度优化的多积分时间红外图像融合方法，其特征在于：包括以下步骤，

步骤1，基于输入多积分时间红外图像序列构造一幅目标灰度图像；

步骤2，基于输入多积分时间红外图像序列构造一幅目标梯度图像；

步骤3，根据目标灰度图像和目标梯度图像构造关于融合图像的最优化问题并求解，即得到兼顾场景强辐射和非强辐射区域细节信息的高质量融合图像；

步骤1实现方法为，

步骤1.1，对于输入序列中的每幅图像生成一幅权重图；

具体方法为：根据输入图像局域平均灰度对相应区域的曝光良好程度进行估计，进而生成一幅权重图，

式中，w_i、

分别为第i幅输入图像I_i对应的权重图和归一化局域平均灰度图，σ为权重计算函数的控制参数；W为红外图像原始数据位宽，S为局域窗口宽度；x、y分别为像素点的横向和纵向坐标，p、q分别为局域窗口内像素点的横向和纵向坐标；

步骤1.2，根据步骤1.1得到的权重图和输入图像生成目标灰度图像；

具体方法为：根据步骤1.1得到的权重图对输入图像进行合成，并使用非锐化掩模的方法对合成后的灰度图像进行增强，进而得到目标灰度图像，

式中，

为中间合成图像，I_obj为目标灰度图像，c为细节提升系数，K为空域低通滤波器，

为卷积算子；Q为输入图像帧数，ε是用于防止除零错误的常数；

步骤2实现方法为，

步骤2.1，在输入图像序列中找到曝光度最佳的图像；

具体方法为：根据公式(3)基于有效反映曝光水平的指标对输入图像进行筛选，找到曝光度最佳的图像；

式中，I_be为曝光度最佳的图像；P(I_i)是一个用于衡量图像曝光水平的指标，定义为图像中灰度值高于中等灰度级2^W-1的像素数量与剩余像素数量之比，最佳曝光图像即为输入图像序列中对应P值最接近理想值1的那幅图像；

步骤2.2，在曝光度最佳图像中定位强辐射场景对应的过曝区域；

具体方法为：设定灰度阈值，并将最佳曝光图像中灰度高于阈值的像素构成的集合定义为过曝区域，

式中，Ω为过曝区域，T_g是用于分割过曝区域的灰度阈值，r是调节灰度阈值的系数；

步骤2.3，根据输入多积分时间红外图像的梯度信息生成目标梯度图像；

具体方法为：对于非过曝区域，目标梯度图取值与最佳曝光图像的梯度相同；对于过曝区域，目标梯度图取值为输入图像序列中对应位置处幅值最大的梯度，

式中，G_obj为目标梯度图像，▽为梯度算子，上标U表示整个图像区域；

分别表示非过曝区域和过曝区域的目标梯度场，

表示最佳曝光图像的非过曝区域内容，imax表示输入图像序列中某一位置处梯度幅值取值最大图像所对应的帧序号，

表示第imax帧输入图像的过曝区域内容；

步骤3实现方法为，

基于目标灰度图像和目标梯度图像构建如下形式的最小化问题，

式中，I_f为待求融合图像，λ为梯度项惩罚因子，I为任意图像；根据变分原理，将问题(6)转化为欧拉-拉格朗日方程

式中，F为公式(6)中的被积函数，I_x、I_y分别为图像沿x、y方向的梯度；将式(7)进一步转化为，

式中，▽²和div分别为拉普拉斯算子和散度算子；对式(8)应用有限差分格式，得到以下形式的大型线性方程组，

Ar＝b (9)

式中，A是一个稀疏对称正定系数矩阵，r为结果图像的列向量形式，b为式(8)中等号右侧项的列向量形式；

对式(9)进行求解，即得到兼顾场景强辐射和非强辐射区域细节信息的高质量融合图像。

2.如权利要求1所述的一种基于灰度—梯度优化的多积分时间红外图像融合方法，其特征在于：步骤3中线性方程组(9)的求解方法包括直接方法和迭代式方法；

所述的直接方法包括LU分解法、Cholesky分解法；

所述迭代式方法包括最速下降法、共轭梯度法。

Images