CN114359083A - 一种面向干扰环境的高动态热红外图像自适应预处理方法 - Google Patents

Abstract

本发明公开了一种面向干扰环境的高动态热红外图像自适应预处理方法，包括：S1.获取热红外图像I中有效内容的灰度范围，进行动态归一化得到归一化热图像N；S2.根据预设灰度阈值划分亮暗区间，对N图像的暗区和亮区像素进行灰度映射，得到映射图像M；S3.计算无干扰热图像集的灰度均值L，将映射图像M与灰度迁移系数T相乘，得到灰度自适应拉伸热图像S；S4.通过边缘保持滤波器将灰度自适应拉伸热图像S分离为基本层F和细节层D，对细节层D进行映射增强得到D_out；S5.将映射后细节层的D_out与基本层F相加并进行量化后得到预处理后的热图像R。本发明对现有高动态热红外图像预处理方法方法构成了实质性的显著改进。

Description

一种面向干扰环境的高动态热红外图像自适应预处理方法

技术领域

本发明涉及红外图像处理技术领域，更具体的说是涉及一种面向干扰环境的高动态热红外图像自适应预处理方法。

背景技术

近年来，由于电子技术的发展和采样精度提高，并且红外场景的温度有相对较大的动态范围，景物可以是常温的景物，也可以是高达数百度的热源(如森林火源或者道路燃烧点等)，为了兼顾探测的动态范围和探测精度，红外成像系统往往输出高动态热红外图像。但高动态热红外图像在应用过程中存在有效内容灰度集中，噪声干扰多等现实问题。

因此，高动态热图像难满足在普通显示屏进行人眼观察和利用紧凑信息对人车目标进行机器分析的需求。具体来讲，第一个问题为：热图像中表示场景和目标热信息的有效内容的灰度比较集中，与背景热干扰的灰度分布偏离较大，这导致热图像呈现在8位显示屏上的对比度极低；第二个问题为：红外成像系统中的各探测元器件对红外热辐射的响应具有一定差异，即使经过均匀矫正，高动态热红外图像中往往也存在椒盐噪声干扰，而且成像背景中往往会具有与关注目标纹理结构相近的物体，如交通场景中温度不均匀的沙地等，而且背景中的高热物体会对目标的显著性带来干扰。

所以高动态红外图像需要进行预处理：一方面必须对高动态红外图像进行动态的灰度拉伸；一方面为保持细节信息则需进行相应的图像增强以及减少背景干扰。然而，对高动态热红外图像进行处理需要解决的关键问题是：灰度拉伸，细节增强和背景抑制之间的矛盾。因为传统的归一化易导致图像过度增强而丢失亮暗区热信息和热趋势；而直方图均衡化方法往往会优先映射背景区或干扰的灰度级，导致量化过程中目标区低频率灰度级被合并，图像目标区失真；图像分解方法孤立地对基本层的拉伸和图像细节的增强又容易造成光晕现象、梯度反转和背景噪声放大等视觉瑕疵。

在此背景下，如何解决高动态热图像所面临的高保真增强问题，实现一种面向干扰环境的高动态热红外图像自适应预处理方法对于森林防火或者交通监控等应用均具有重要意义。

发明内容

有鉴于此，本发明提供了一种面向干扰环境的高动态热红外图像自适应预处理方法。

为了实现上述目的，本发明采用如下技术方案：

一种面向干扰环境的高动态热红外图像自适应预处理方法，包括以下步骤：

S1.获取热红外图像I中有效内容的灰度范围[B_L，B_L+4*(B_M-B_L)]，并利用该灰度范围对热红外图像I进行归一化得到归一化热图像N；其中，B_L为热红外图像I中的缩尾下边界，B_M为热红外图像I的灰度均值；

S2.根据预设灰度阈值划分亮暗区间，对归一化热图像N的暗区和亮区像素进行灰度映射，得到映射图像M；

S3.将映射图像M与灰度迁移系数T相乘得到灰度自适应拉伸热图像S，其中灰度迁移系数T的取值要求灰度自适应拉伸热图像S中像素的灰度均值等于适宜人眼观察的图像灰度均值L，且像素的最大值小于像素值上界；

S4.通过边缘保持滤波器将灰度自适应拉伸热图像S分离为基本层F和细节层D，对细节层D进行映射增强得到D_out；

S5.将映射后细节层的D_out与基本层F相加并进行量化后得到预处理后的热图像R。

优选的，S1的具体内容包括：

计算热图像中表示场景和目标热信息的有效内容的灰度范围[B_L，B_L+4*(B_M-B_L)],并进行归一化得到图像N；其中，B_L为热红外图像I中的缩尾下边界，B_M为热红外图像I的灰度均值；归一化的计算过程为：

B_L＝max(sort(I)(i)),i∈(0,1,2,3,4)，

B_M＝mean(I),

其中，sort(I)(i)表示获取热红外图像I中像素进行排序后最小的i个像素值，mean(I)表示热红外图像I中的灰度均值。

优选的，S2的具体内容包括：

根据预设灰度阈值划分归一化热图像N的亮暗区间，对N图像中亮暗区间内像素进行递增双阶段映射，得到映射图像M：

其中，x为像素标号，th为亮暗区间划分灰度阈值，为归一化热图像N均值的两倍，a为暗区凸gamma映射的幂值，f为亮区sigmoid型映射，b为f曲线的梯度控制参数。

优选的，S3的具体内容包括：

灰度迁移系数T要求灰度自适应拉伸热图像S中像素的灰度均值等于适宜人眼观察的图像灰度均值L，且像素的最大值低于像素值上界，其计算方式为：

其中，L为适宜人眼观察的图像灰度均值，mean(M)表示映射图像M中的灰度均值，第二项中c为平坦指数函数的底，max(M)表示映射图像M中的灰度最大值。

优选的，S4的具体内容包括：

通过最小二乘边缘保持滤波器将灰度自适应拉伸热图像S分离为基本层F和细节层D，通过s型零对称映射曲线对细节层D进行映射增强,得到D_out：

D_enc(x)＝d*D(x),

其中，σ为抑制细节层D中弱梯度的控制参数，σ越大，D中弱梯度被映射的更弱，d为细节层D的放大比例。

经由上述的技术方案可知，与现有技术相比，本发明提出了一种面向干扰环境的高动态热红外图像自适应预处理方法。该预处理方法考虑了环境复杂的热源噪声和背景干扰，通过结合灰度调整和细节梯度调整，可以保证提高热图像对比度的同时，准确的保留住输入热图像的热趋势信息，并提高目标的可识别性。所以本发明方法获得的热图像清晰准确，适用于具有复杂热分布的交通场景中运用目标识别算法对获取热图像进行目标分析，对现有高动态热红外图像预处理方法方法构成了实质性的显著改进。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种面向干扰环境的高动态热红外图像自适应预处理方法流程图；

图2(a)至2(b)为热噪声干扰下的高动态热图像灰度分布；其中，图2(a)为高动态热图像直方图，图2(b)表示对图2(a)进行直方图均衡化方法得到的归一化结果；

图3(a)至3(d)为本发明实施例所示的各步骤的操作示意图；其中，图3(a)为有效内容归一化步骤的示意图，将图2(a)直方图分布归一化为图3(a)中直方图分布，图3(b)为图3(a)中灰度分布进行灰度映射得到的灰度直方图，图3(c)表示最小二乘边缘保持滤波器的一维示意图，图3(d)表示细节层映射示意图；

图4(a)至4(d)为根据本发明实施例提供的预处理方法与现有典型预处理方法在测试图像上的实验结果对比；其中，图4(a)表示直方图均衡化方法获取的受热源干扰的热图像预处理结果，图4(b)表示本发明方法获取的受热源干扰的热图像预处理结果，图4(c)表示直方图均衡化方法获取的受噪声干扰的热图像预处理结果，图4(d)表示本发明方法获取的受噪声干扰的热图像预处理结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种面向干扰环境的高动态热红外图像自适应预处理方法，该方法对红外热图像的处理基于红外热图像的两个特点：

1)高动态热红外图像中大部分背景和目标的温度过渡平滑，图像有效内容的灰度直方图呈现类高斯连续分布且灰阶集中，热源噪声与有效内容的灰度离散。

2)热图像背景中包含与目标形态相近的干扰，如海洋背景中的海浪和船只尾迹，陆地背景中的沙土。这些干扰的梯度相对于图像边缘较弱，所以红外图像梯度直方图呈现双峰分布，第一个峰表现背景梯度，第二个峰表示图像边缘梯度。

本发明中，基于热红外图像的以上两个特点，提出面向干扰环境的高动态热红外图像自适应预处理方法，如图1所示，该方法包括以下步骤：

S1.获取热红外图像I中有效内容的灰度范围[B_L，B_L+4*(B_M-B_L)]，并利用该灰度范围对热红外图像I进行归一化得到归一化热图像N；其中，B_L为热红外图像I中的缩尾下边界，B_M为热红外图像I的灰度均值；

S2.根据预设灰度阈值划分亮暗区间，对归一化热图像N的暗区和亮区像素进行灰度映射，得到映射图像M；

S3.将映射图像M与灰度迁移系数T相乘得到灰度自适应拉伸热图像S，其中灰度迁移系数T的取值要求灰度自适应拉伸热图像S中像素的灰度均值等于适宜人眼观察的图像灰度均值L，且像素的最大值小于像素值上界；

S4.通过边缘保持滤波器将灰度自适应拉伸热图像S分离为基本层F和细节层D，对细节层D进行映射增强得到D_out；

S5.将映射后细节层的D_out与基本层F相加并进行量化后得到预处理后的热图像R。

需要说明的是：

S1中进行图像有效内容归一化，计算图像主体动态范围，完成归一化；S2中进行自适应灰度映射，扩大有效内容可分辨灰度级，并使图像的平均亮度保持与真值数据一致，保持目标间相对红外差异的趋势；S3中进行图层分解，基于边缘保持滤波器将图像分为基本层和细节层，分离处理细节，避免光晕现象和梯度逆转等视觉瑕疵；S4中进行细节增强，对细节层进行差异化映射，增强细节层中高频信息，并抑制背景噪声。S5中进行图层组合，叠加两个图层并进行量化。

在本实施例中，S5中将图像分离出的基本层与处理后的细节层进行相加，并进行256阶量化，原高动态热图像被转化为8位热图像，本发明方法对于受热源噪声干扰的高动态热图像的预处理结果如图4所示。

为了进一步实施上述技术方案，S1的具体内容包括：

计算热图像中表示场景和目标热信息的有效内容的灰度范围[B_L，B_L+4*(B_M-B_L)],并进行归一化得到图像N；其中，B_L为热红外图像I中的缩尾下边界，B_M为热红外图像I的灰度均值；归一化的计算过程为：

B_L＝max(sort(I)(i)),i∈(0,1,2,3,4)，

B_M＝mean(I),

其中，sort(I)(i)表示获取热红外图像I中像素进行排序后最小的i个像素值，mean(I)表示热红外图像I中的灰度均值。

需要说明的是：

干扰环境下采集的高动态红外图像中存在场景热源噪声，如火光或椒盐噪声，如图2(a)所示的离散的热源噪声灰度分布会影响热图像归一化。而且在红外图像目标较小的场景中，直方图均衡化方法往往会优先映射背景区或噪声区的灰度级，导致量化过程中目标区低频率灰度级被合并，图像目标区失真，如图2(b)所示。

本发明关注热图像中表示场景和目标热信息的有效内容灰度分布，提出了一种归一化方法。因为热图像中较少存在远低于环境温度的物体，而且场景单一的图像中热红外图像灰度分布为重尾分布，本发明利用红外图像中缩尾下边界和灰度均值确定有效内容的灰度分布上下界[B_L，B_L+4*(B_M-B_L)]。

为了进一步实施上述技术方案，S2的具体内容包括：

根据预设灰度阈值划分归一化热图像N的亮暗区间，对N图像中亮暗区间内像素进行递增双阶段映射，得到映射图像M：

其中，x为像素标号，th为亮暗区间划分灰度阈值，为归一化热图像N均值的两倍，a为暗区凸gamma映射的幂值，f为亮区sigmoid型映射，b为f曲线的梯度控制参数。

需要说明的是：

归一化图像的对比度虽然得到了提高，但是部分有效内容可能因为灰度较弱或灰度过强而难以分辨，本发明利用自适应灰度映射来增强有效内容的暗区以及抑制有效内容的亮区，并将图像灰度迁移至适合目标分析算法进行目标识别的范围。

在本实施例中，以归一化图像N灰度均值的两倍作为预设灰度阈值划分亮暗区间。如图3(a)的直方图所示，暗区中包含图像有效内容较暗的区域，而亮区中包含有效内容中较亮的区域以及一些热源噪声。对N图像中亮暗区间内像素进行递增双阶段映射，暗区凸gamma映射增强暗区亮度，提高暗区梯度，亮区sigmoid映射抑制亮区热源噪声。本实施例中将a,b分别设为0.75和0.5，在实际应用的过程中，可以根据需要进行设置。

为了进一步实施上述技术方案，S3的具体内容包括：

灰度迁移系数T要求灰度自适应拉伸热图像S中像素的灰度均值等于适宜人眼观察的图像灰度均值L，且像素的最大值低于像素值上界，其计算方式为：

其中，L为适宜人眼观察的图像灰度均值，mean(M)表示映射图像M中的灰度均值，第二项中c为平坦指数函数的底，max(M)表示映射图像M中的灰度最大值；式中第一项使拉伸热图像S中像素的灰度均值等于适宜人眼观察的图像灰度均值L，第二项中c为平坦指数函数的底，使像素的最大值低于像素值上界。

需要说明的是：

由于干扰环境下的热图像难以进行目标标注，为保证预处理热图像在灰度上与目标识别所用的训练集匹配，将映射后图像M乘以灰度迁移系数T使M的灰度均值尽量匹配接近适宜人眼观察的图像灰度均值L，并且在上述计算迁移系数过程中，将max(M)-1作为指数函数的幂来约束热图像的过度拉伸或者拉伸不足。本实施例中将指数函数的底c设置为1.3，使指数函数平坦，在实际应用的过程中，可以根据需要进行设置。经过自适应灰度映射后，热图像中的有效内容灰度处于一个适合观察和目标识别的范围中,如图3(b)的直方图所示。

为了进一步实施上述技术方案，S4的具体内容包括：

通过最小二乘边缘保持滤波器将灰度自适应拉伸热图像S分离为基本层F和细节层D：

S＝F+D

其中，x,y表示像素二维空间位置，F表示滤波得到的结果，ε表示细小常量，第一项为数据一致项，第二项为平滑项，λ为平衡数据一致项和平滑项的规则化参数。

通过s型零对称映射曲线对细节层D进行映射增强,得到D_out：

D_enc(x)＝d*D(x),

其中，基本层F代表场景轮廓，细节层D代表纹理和背景干扰σ为抑制细节层D中弱梯度的控制参数，σ越大，D中弱梯度被映射的更弱，d为细节层D的放大比例。

需要说明的是：

干扰环境中，热图像中目标的梯度受到削弱，不适合进行观察和目标识别，所以本发明在将热图像的灰度迁移到适宜的范围后，进一步对热图像的目标细节进行增强。为了减少细节增强对图像灰度的干扰，需要对图像的边缘轮廓与细节干扰进行分离。

为了减少图层分解中边缘扩散带来的光晕现象和梯度反转现象。本发明引入高效梯度域滤波器，对原始图像进行滤波得到基本层，从而分解出细节层，该滤波器的示意图如图3(c)所示，其中Input为带有纹理的一维边缘，分别经过迭代2次和迭代4次滤波得到iter2，iter4表示边缘。λ为平衡数据一致项和平滑项的规则化参数，该值越大，获得的结果在背景纹理上越平滑，在本实施例中将λ设置为20，在实际应用的过程中，可以根据需要进行设置。

但仅进行分层无法抑制细节层中的噪声。考虑到热图像梯度往往呈现双峰分布，对于不同的梯度进行差异化映射可以减少对细节增强而引入的背景干扰放大。根据图3(d)可看出其细节层中的背景干扰映射结果梯度更为平缓，而目标边缘的映射结果梯度更为锐利，可见本发明采用如图3(d)所示的s型零对称映射曲线对细节层进行变换增强，能够有效平滑背景干扰，强化局部目标纹理。在本实施例中将σ,d分别设置为0.03,1.5，在实际应用的过程中，可以根据需要进行设置。

图4(a)至4(d)为根据本发明实施例提供的预处理方法与现有典型预处理方法在测试图像上的实验结果对比；其中，图4(a)表示直方图均衡化方法获取的受热源干扰的热图像预处理结果，图4(b)表示本发明方法获取的受热源干扰的热图像预处理结果，图4(c)表示直方图均衡化方法获取的受噪声干扰的热图像预处理结果，图4(d)表示本发明方法获取的受噪声干扰的热图像预处理结果。本发明方法获得的结果有效内容占有的灰度级范围广，易于分辨，且目标边缘清晰自然。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种面向干扰环境的高动态热红外图像自适应预处理方法，其特征在于，包括以下步骤：

S1.获取热红外图像I中有效内容的灰度范围[B_L，B_L+4*(B_M-B_L)]，并利用灰度范围对热红外图像I进行归一化得到归一化热图像N；其中，B_L为热红外图像I中的缩尾下边界，B_M为热红外图像I的灰度均值；

S2.根据预设灰度阈值划分亮暗区间，对归一化热图像N的暗区和亮区像素进行灰度映射，得到映射图像M；

S3.将映射图像M与灰度迁移系数T相乘得到灰度自适应拉伸热图像S，其中灰度迁移系数T的取值要求灰度自适应拉伸热图像S中像素的灰度均值等于适宜人眼观察的图像灰度均值L，且像素的最大值低于像素值上界；

S4.通过边缘保持滤波器将灰度自适应拉伸热图像S分离为基本层F和细节层D，对细节层D进行映射增强得到D_out；

S5.将映射后细节层的D_out与基本层F相加并进行量化后得到预处理后的热图像R。

2.根据权利要求1所述的一种面向干扰环境的高动态热红外图像自适应预处理方法，其特征在于，S1的具体内容包括：

计算热图像中表示场景和目标热信息的有效内容的灰度范围[B_L，B_L+4*(B_M-B_L)],并进行归一化得到图像N；其中，B_L为热红外图像I中的缩尾下边界，B_M为热红外图像I的灰度均值；归一化的计算过程为：

B_L＝max(sort(I)(i)),i∈(0,1,2,3,4)，

B_M＝mean(I),

其中，sort(I)(i)表示获取热红外图像I中像素进行排序后最小的i个像素值，mean(I)表示热红外图像I中的灰度均值。

3.根据权利要求1所述的一种面向干扰环境的高动态热红外图像自适应预处理方法，其特征在于，S2的具体内容包括：

根据预设灰度阈值划分归一化热图像N的亮暗区间，对N图像中亮暗区间内像素进行递增双阶段映射，得到映射图像M：

其中，x为像素标号，th为亮暗区间划分灰度阈值，为归一化热图像N均值的两倍，a为暗区凸gamma映射的幂值，f为亮区sigmoid型映射，b为f曲线的梯度控制参数。

4.根据权利要求1所述的一种面向干扰环境的高动态热红外图像自适应预处理方法，其特征在于，S3的的具体内容包括：

灰度迁移系数T要求灰度自适应拉伸热图像S中像素的灰度均值等于适宜人眼观察的图像灰度均值L，且像素的最大值低于像素值上界，其计算方式为：

其中，L为适宜人眼观察的图像灰度均值，mean(M)表示映射图像M中的灰度均值，第二项中c为平坦指数函数的底，max(M)表示映射图像M中的灰度最大值。

5.根据权利要求1所述的一种面向干扰环境的高动态热红外图像自适应预处理方法，其特征在于，S4的具体内容包括：

通过最小二乘边缘保持滤波器将灰度自适应拉伸热图像S分离为基本层F和细节层D，通过s型零对称映射曲线对细节层D进行映射增强,得到D_out：

D_enc(x)＝d*D(x),

其中，σ为抑制细节层D中弱梯度的控制参数，σ越大，D中弱梯度被映射的更弱，d为细节层D的放大比例。

6.根据权利要求1所述的一种面向干扰环境的高动态热红外图像自适应预处理方法，其特征在于，S4中基本层F的获取方法包括以下内容：

其中，x,y表示像素二维空间位置，S_b表示滤波得到的结果，ε表示细小常量，第一项(S-S_b)²为数据一致项，第二项

为平滑项，λ为平衡数据一致项和平滑项的规则化参数。

Images