CN109708764A - 一种制冷型红外焦平面探测器高动态范围图像融合方法 - Google Patents

Abstract

本发明公开了一种制冷型红外焦平面探测器高动态范围图像融合方法。首先使用制冷型IRFPA热成像系统采集2种积分时间、2种黑体温度下的4幅黑体图像；然后根据改进的探测器响应模型计算各像素点的增益系数和噪声系数并存储。在每次进入新环境使用探测器前，先拍摄一幅黑体图像计算出杂散辐射系数，并由响应模型推出任意积分时间下探测器响应函数；之后选择合适的积分时间使用探测器对同一场景进行成像；最后根据响应函数对不同积分时间的图像序列加权融合得到高动态范围红外图像。本方法计算出的探测器响应模型更精确，响应函数标定更简单，数据存储量更少，对积分时间的适应性更强，能有效降低合成得到的HDR图像的非均匀噪声，获得更好的图像质量。

Description

一种制冷型红外焦平面探测器高动态范围图像融合方法

技术领域

本发明涉及一种红外焦平面探测器高动态范围图像融合方法，尤其涉及一种针对制冷型中波和长波红外焦平面探测器高动态范围图像融合方法，属于图像处理和红外辐射测量技术领域。

背景技术

在图像处理和红外辐射测量技术领域中，针对包含有太阳光、火焰、灯光等局部强辐射场景成像的高动态范围(HDR,high dynamic range)成像技术，是当前研究的热点。热成像技术利用景物自身的热红外辐射差异来获取场景图像细节，不受常规环境照明限制，具有隐蔽性好、抗干扰能力强、可全天候工作等优点，在军事及民用领域有着较为广泛的应用。

目前，基于制冷型红外焦平面探测器(IRFPA)的热成像系统的噪声等效温差约为10～40mK，对于常用的14位A/D变换，即使不考虑探测器响应的非线性S效应，对目标场景成像的温度范围也不大于164～655K(即动态范围约84dB)，难以满足包含太阳光、火光、干扰弹或其它自然/人工强辐射源等场景下目标探测与识别的要求。扩展IRFPA动态范围的常见方法有调整衰减滤光片、调节探测器积分时间以及图像细节增强等。其中，积分时间控制通过改变探测器积累光生电荷的时间，改变最终的输出信号大小，因此变积分时间下的多曝光图像融合方法成为高动态范围热成像最有效的方法之一。多曝光图像融合技术可分为像素域直接融合(如分块融合法、拉普拉斯金字塔融合法等)和基于探测器响应函数的HDR图像重构法两大类，其中前者仅是源图像的加权相加，而后者得到的图像相比源图像有着更高的位深度，能够获取真正意义上的高动态范围图像，包含更全的信息量，有利于后期进行进一步的场景分析和目标探测。

探测器的响应函数描述了单位积分时间内输入到探测器的场景辐照度与探测器输出的灰度信号值之间的函数关系。在某个合适的辐照度范围内，探测器响应函数可用线性函数近似表示，即探测器的整体响应函数可用分段线性函数描述。基于探测器响应函数的HDR图像重构关键在于场景辐照度(相对)分布重构。由于IRFPA的响应函数会随着积分时间而改变，即各探测器单元线性响应函数的增益和偏置系数会随着积分时间有不同变化，如果不进行必要的辐射校正将产生新的固定图案噪声(FPN)，影响HDR图像的重构质量。因此，通过多曝光图像辐照度重建合成场景HDR图像往往需要事先标定IRFPA在不同积分时间下的响应函数。这种方法虽然简单，但每一种积分时间均需事先存储对应的响应函数或校正参量，不仅存储量大，而且难以根据实际场景自适应地改变积分时间。

综上所述，基于红外焦平面探测器响应函数的HDR图像重构法是提高其动态范围的有效手段，但由于各像素点的响应函数会随积分时间发生变化，将每种积分时间下的响应函数均进行事先的标定存储会造成存储量和处理时间上的浪费。如何通过少量的事先标定，实现对任意积分时间下探测器响应函数的预测，进而将其应用于红外图像的HDR融合，是一个值得解决的关键问题。

发明内容

本发明的目的是为了降低制冷型IRFPA不同积分时间下响应函数的标定复杂度，提高HDR热成像对积分时间的适应性并降低融合图像的非均匀噪声，从而提升红外焦平面探测器成像的动态范围，提出一种制冷型红外焦平面探测器高动态范围图像融合方法。

本发明方法采用的技术方案是：首先，使用制冷型IRFPA热成像系统分别采集2种积分时间、2种黑体温度下的4幅面源黑体图像；然后，根据改进的红外焦平面探测器响应模型，计算出探测器各像素点的增益系数和噪声系数，并进行存储。在每次进入新环境使用探测器之前，先拍摄一幅黑体图像计算出杂散辐射系数，并由响应模型推出任意积分时间下探测器响应函数；之后，选择多种合适的积分时间使用探测器对同一场景进行成像；最后，根据响应函数对不同积分时间的图像序列加权融合，得到高动态范围红外图像。

本发明方法包括以下步骤：

步骤1、对制冷型红外焦平面探测器进行初始标定，得到探测器各点的增益系数和噪声系数。具体方法如下：

步骤1.1、首先，使用待标定的制冷型IRFPA热成像系统，获取面型黑体辐射源在2种积分时间、2种黑体温度下的4幅红外灰度图像。

具体方法为：在室温环境下，将面型黑体辐射源放置于红外热成像系统镜头前并尽量靠近，使之能够完全覆盖系统的整个视场。在系统拍摄场景的常规温度范围内，选择2种合适的温度作为面型黑体辐射源温度(可在283.15～373.15K中选择)，同时，在输出图像不饱和的前提下，选择2种合适的积分时间(对于中波探测器可在60～1000μs范围内选择，对于长波探测器可在20～200μs范围内选择)，从而得到4幅探测器输出的红外灰度图像。

该步骤中得到的4幅红外灰度图像，可为每种条件下分别拍摄一次获得的图像，也可为每种条件下连续拍摄多幅图像并求平均得到的图像。

步骤1.2、根据4幅输出图像及其对应的面型黑体辐射源温度和积分时间，计算探测器各点的增益系数和噪声系数。具体方法为：

由面型黑体辐射源的辐射发射率和普朗克公式计算出两种温度之下面型黑体辐射源在探测器响应波段的辐射出射度：

式中，M(T)为面型黑体辐射源对应温度T下在红外热成像系统响应波段的辐射出射度；ε_BB为面型黑体辐射源的辐射发射率，λ₁、λ₂分别为红外热成像系统响应波段的波长下限和上限，c₁、c₂分别为第一、第二辐射常数，λ为红外热成像系统响应波段波长。

根据探测器输出灰度图及其对应的积分时间，计算出各点的时间归一化输出灰度：

式中，h_i，j(τ)为探测器(i,j)点在积分时间τ下的输出灰度，为其对应的归一化输出灰度。

根据公式(1)和公式(2)，计算得到2种温度下的面型黑体辐射源辐射出射度M(T₁)、M(T₂)，以及2种面型黑体辐射源温度2种积分时间下的归一化输出灰度将其带入到改进的IRFPA响应模型：

即可得到探测器各点的增益系数g_i，j和噪声系数并保存：

步骤2、在每次进入新环境正式使用探测器之前，标定探测器在该环境下的杂散辐射系数。具体方法为：

选取能够使探测器正常曝光的积分时间τ′和黑体温度T′(即，能够使探测器的输出不会出现饱和且不会过暗)，使用与步骤1.1中相同的方法，拍摄一幅黑体图像并计算其各点的时间归一化输出灰度及黑体辐射出射度M(T′)，同样代入公式(3)，得到此环境下探测器各点杂散辐射系数：

与公式(3)(4)(5)联立，得到该环境下探测器在不同积分时间下的响应函数：

步骤3、通过多曝光图像融合方法，根据探测器响应函数对同一场景不同积分时间的图像进行加权融合，最终得到高动态范围红外图像。具体方法为：

选择2至4种合适的积分时间(所选积分时间能够保证场景中亮区和暗区均能在至少一种积分时间下清晰成像)，使用探测器对同一高动态范围场景进行拍摄，得到多幅不同曝光的图像，通过加权融合得到能够同时保留场景亮暗区域细节的红外HDR图像：

式中，I_i为积分时间Δt_i时输出的图像，N_e为选择的积分时间数目，函数w()是用于剔除融合过程中出现的异常值的权重函数，f^-1()是各像元响应函数的逆函数。由式(7)推得：

其中，步骤3所使用的权重函数根据具体情况，可以选用帽形函数或高斯函数等。

有益效果

相比传统的红外HDR图像融合方法，采用本发明方法计算出的探测器响应模型更为精确，响应函数标定更简单，数据存储量更少，对积分时间的适应性更强，从而有效降低合成得到的HDR图像的非均匀噪声，获得更好的图像质量。

1、本发明方法考虑红外热成像系统成像过程中杂散辐射的影响，使用经过改进的IRFPA响应模型进行图像融合，能够有效降低合成得到的HDR图像的非均匀噪声，提升图像质量。

2、本发明方法通过预先标定探测器各点的增益系数、噪声系数和杂散辐射系数并进行存储，从而可以由此推导出任意积分时间下的探测器响应函数，避免对每种积分时间均进行一次标定，降低了响应函数的标定难度，减少了数据存储量，提升了红外HDR图像融合对于积分时间的适应能力，使红外HDR图像融合的效率大幅提高。

附图说明

图1是本发明方法的流程图。

图2是使用面源黑体标定探测器响应函数的原理图。

图3是三幅不同曝光时间的源图像及由本发明所述方法融合得到的高动态范围红外图像的效果示例。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合具体实施例，并参照附图，对本发明进一步详细说明。应指出的是，所描述的实例是为了便于本发明的理解，而对其不起任何限定作用。本发明方法，既可应用于制冷型中波或长波红外焦平面探测器，也可应用于任何基于制冷型中波或长波红外焦平面探测器的红外热成像系统。

本发明方法，包括对探测器响应函数的初始标定、每次进入新环境时的标定，以及基于响应函数由多幅不同曝光图像进行红外HDR图像的合成。相比预先标定多种固定积分时间下探测器的响应函数并存储，进而进行红外HDR图像融合的方法，采用本发明方法计算出的探测器响应模型更为精确，响应函数标定更简单，数据存储量更少，从而有效提高融合方法对积分时间的适应能力，降低合成的HDR图像的非均匀噪声，获得更好的图像质量。

实施例

本实施例采用探测器阵列为640×512的制冷型长波红外热像仪，并使用辐射面大小为2.5×2.5英寸的面型黑体对其进行标定。探测器标定及高动态范围图像融合的流程框图如图1所示，具体实施步骤包括：

步骤1、对该探测器进行初始标定，得到探测器各点的增益系数和噪声系数。

步骤1.1、首先，使用待标定的红外热像仪获取黑体源在2种积分时间、2种黑体温度下的4幅红外灰度图像。

具体方法为：室温环境下，依照图2所示，将黑体放置于热像仪镜头前并尽量靠近，使之完全覆盖热像仪的整个视场。在283.15～373.15K的温度范围内分别选择293.15K和353.15K作为黑体温度T₁和T₂，同时分别将热像仪的积分时间τ₁和τ₂定为40μs和180μs，每种黑体温度和积分时间下连续拍摄10幅图像求其均值作为该情形下的输出红外图像，最终得到4幅对应不同黑体温度和积分时间的红外灰度图，记为h_i，j(T₁，τ₁)、h_i，j(T₁，τ₂)、h_i，j(T₂，τ₁)和h_i，j(T₂，τ₂)。

步骤1.2、根据4幅输出图像及其对应的黑体温度和积分时间计算探测器各点的增益系数和噪声系数。具体方法为：根据公式

计算得到2种温度下的黑体辐射出射度M(T₁)、M(T₂)；根据公式

计算得到4幅红外图像的归一化输出灰度 将其带入到改进的IRFPA响应模型：

得到探测器各点的增益系数g_i，j和噪声系数并将其保存下来。

步骤2、在每次进入新环境使用探测器之前，标定探测器在该环境下的杂散辐射系数，并与步骤1的结果结合，得到该环境下探测器各点的响应函数。具体方法为：

选取合适的积分时间τ′(如τ′＝100μs)和黑体温度T′(如T′＝323.15K)，使用与步骤1.1中相同的方法拍摄一幅黑体图像并计算其各点的时间归一化输出灰度及黑体辐射出射度M(T′)，同样代入公式(12)即可得到此环境下探测器各点杂散辐射系数并与步骤1.2得到的增益系数g_i，j和噪声系数联立得到该环境下探测器各点在不同积分时间下的响应函数

步骤3、通过多曝光图像融合方法，根据探测器响应函数对同一场景不同积分时间的图像进行加权融合最终得到高动态范围红外图像。具体方法为：

选择3种积分时间(如50μs、200μs和800μs)，使用热像仪对同一高动态范围场景进行拍摄，得到3幅不同曝光的图像，通过加权融合即可得到能够同时保留场景亮暗区域细节的红外HDR图像

式中，I_i为积分时间Δt_i时输出的图像，N_e为选择的积分时间数目，函数w()是用于剔除融合过程中出现的异常值的权重函数(本实施例中使用高斯函数作为权重函数)，f^-1()是各像元响应函数的逆函数，由式(13)可以推得

本实施例的多曝光图像及融合结果如图3所示(为了将14bit的红外原始图像及合成后的HDR图像显示出来，使用了图像增强方法将图像压缩到了8bit)。

需要说明，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种制冷型红外焦平面探测器高动态范围图像融合方法，其特征在于，包括以下步骤：

步骤1、使用基于制冷型红外焦平面探测器的热成像系统，分别采集2种积分时间、2种黑体温度下的4幅面源黑体图像；

步骤2、根据红外焦平面探测器响应模型，计算出探测器各像素点的增益系数和噪声系数，并进行存储；

步骤3、在每次进入新环境使用探测器之前，首先拍摄一幅黑体图像计算出杂散辐射系数，并由响应模型推出任意积分时间下探测器响应函数；之后，选择多种合适的积分时间使用探测器对同一场景进行成像；最后，根据响应函数对不同积分时间的图像序列加权融合，得到高动态范围红外图像。

2.如权利要求1所述的一种制冷型红外焦平面探测器高动态范围图像融合方法，其特征在于，步骤2所述计算探测器各像素点的增益系数和噪声系数的方法如下：

根据步骤1采集的4幅面源黑体图像及其对应的面型黑体辐射源温度和积分时间，计算探测器各点的增益系数和噪声系数：

由面型黑体辐射源的辐射发射率和普朗克公式，计算出两种温度之下面型黑体辐射源在探测器响应波段的辐射出射度：

式中，M(T)为面型黑体辐射源对应温度T下在红外热成像系统响应波段的辐射出射度；ε_BB为面型黑体辐射源的辐射发射率，λ₁、λ₂分别为红外热成像系统响应波段的波长下限和上限，c₁、c₂分别为第一、第二辐射常数，λ为红外热成像系统响应波段波长；

根据探测器输出灰度图及其对应的积分时间，计算出各点的时间归一化输出灰度：

式中，h_i，j(τ)为探测器(i,j)点在积分时间τ下的输出灰度，为其对应的归一化输出灰度；

根据公式(1)和公式(2)，计算得到2种温度下的面型黑体辐射源辐射出射度M(T₁)、M(T₂)，以及2种面型黑体辐射源温度2种积分时间下的归一化输出灰度将其带入到改进的红外焦平面探测器响应模型：

得到探测器各点的增益系数g_i，j和噪声系数

3.如权利要求1或2所述的一种制冷型红外焦平面探测器高动态范围图像融合方法，其特征在于，步骤3的具体实现方法如下：

首先，选取能够使探测器正常曝光的积分时间τ′和黑体温度T′，按照步骤1所述方法拍摄一幅黑体图像，并计算其各点的时间归一化输出灰度及黑体辐射出射度M(T′)，代入式(3)，得到此环境下探测器各点杂散辐射系数：

与公式(3)(4)(5)联立，得到该环境下探测器在不同积分时间下的响应函数：

然后，选择2至4种积分时间，使用探测器对同一高动态范围场景进行拍摄，得到多幅不同曝光的图像，所选积分时间能够保证场景中亮区和暗区均能在至少一种积分时间下清晰成像；通过加权融合，得到能够同时保留场景亮暗区域细节的红外HDR图像：

式中，I_i为积分时间Δt_i时输出的图像，N_e为选择的积分时间数目，函数w()是用于剔除融合过程中出现的异常值的权重函数，f^-1()是各像元响应函数的逆函数；由式(7)推得：

4.如权利要求3所述的一种制冷型红外焦平面探测器高动态范围图像融合方法，其特征在于，步骤3所使用的权重函数w()选用帽形函数。

5.如权利要求3所述的一种制冷型红外焦平面探测器高动态范围图像融合方法，其特征在于，步骤3所使用的权重函数w()选用高斯函数。