CN109791699A

CN109791699A - 辐射成像

Info

Publication number: CN109791699A
Application number: CN201780055049.9A
Authority: CN
Inventors: 伊夫塔奇·克拉普; 尼尔·索琴; 沙哈·帕皮尼
Original assignee: Ramot at Tel Aviv University Ltd; State of Israel
Current assignee: Ramot at Tel Aviv University Ltd; State of Israel
Priority date: 2016-07-20
Filing date: 2017-07-20
Publication date: 2019-05-21
Anticipated expiration: 2037-07-20
Also published as: WO2018020494A1; IL264319B2; EP3488420A4; IL264319B1; US20190287268A1; US10685458B2; EP3488420A1; EP3488420B1; CN109791699B; IL264319A

Abstract

一种通过未校准或部分校准的热成像装置产生校准的辐射图像的方法，所述方法包括以下步骤：根据不同捕获条件组捕获第一图像和第二图像，获得表征所述捕获条件组之间的差异的运动矩阵，获得表征所述第一图像和第二图像的模糊条件的点扩散函数矩阵，并获得系统增益，并通过对所述系统增益、运动矩阵和点扩散函数矩阵进行求逆来计算漂移；以及通过对所述系统增益、运动矩阵、点扩散函数矩阵和所述第一图像和第二图像进行求逆来计算校准的图像。

Description

辐射成像

技术领域

本发明涉及成像系统，特别是涉及红外成像装置方法，更具体地，涉及通过校准热图像来获得辐射图像的装置和方法。

背景技术

在[1]中公开了基于非制冷微测辐射热计的热焦平面阵列(Uncooled micro-bolometers based thermal focal plane array,UC-FPA)，其为IR检测开辟了新的机会。US-FPA的特征在于体积小、功耗更低且价格低廉。因此，基于US-FPA的相机在许多军事和商业应用中可用作热成像装置[2]。UC-FPA的便携性允许将基于US-FPA的相机安装在微型无人驾驶飞行器上，这对于农业和环境监测非常有吸引力。

在[3]中公开了农作物的辐射测绘。尽管相机安装有保护罩，但FPA温度受风速的影响，并且在一定程度上受到与云层相关的辐射水平的变化的影响。来自表面的对流取决于流体速度[4]。因此，FPA温度的变化可以通过相机周围的可变风速来解释，其中包络温度影响FPA温度[2]。表面温度还取决于由于辐射平衡而与环境的热交换[4]。FPA温度的漂移限制了从热成像相机获得辐射图像的可能性。因此，校准相机响应以稳定相机读数是重要的挑战。

典型的微测辐射热计包括两个主要部分：通过热辐射加热的吸收器和电阻随温度变化的温度计。微测辐射热计读数(r(x,y))是电压或电流值[1]。所获得的读数被转换为灰度信号。微测辐射热计的热隔离允许热感测，而无需昂贵的冷却负担。

因此，存在长期而未满足的需求，提供基于US-FPA的相机，其被配置用于通过校准热图像来获得辐射图像。

发明内容

因此，本发明的一个目的是公开一种校准热成像装置的增益值的方法，所述热成像装置包括多个非制冷微测辐射热计的焦平面阵列。上述方法包括以下步骤：(a)借助于所述热焦平面阵列在第一组捕获条件下捕获感兴趣的对象的第一图像y₁；(b)将所述第一组捕获条件改变为第二组捕获条件；(c)借助于所述热焦平面阵列在第二组捕获条件下捕获所述感兴趣的对象的第二图像y₂；(d)获得表征所述第一组捕获条件和第二组捕获条件之间的差异的运动矩阵[Μ(Δ)]；(e)分别获得表征所述第一图像和第二图像的模糊条件的点扩散函数矩阵[A₁]和[A₂]；(f)通过与所述运动矩阵[M(Δ)]和点扩散函数矩阵[A₁]、[A₂]和增益[G]相关的求逆过程来计算漂移；以及(g)通过对所述运动矩阵[M(Δ)]和所述点扩散函数矩阵、[A₁]、[A₂]、增益[G]以及所述第一图像y₁和第二图像y₂进行求逆来计算校准的图像。

本发明的另一目的是公开将所述第一组捕获条件改变为第二组捕获条件的步骤包括选自由以下组成的组中的动作：将所述热成像装置散焦、空间移动所述热成像装置、将像差元件引入所述热成像装置、以及上述任何组合。

本发明的另外的目的是公开空间不变的增益值。

本发明的另外的目的是公开一种方法，所述方法包括校正所获得图像的灰度的步骤。

本发明的另外的目的是公开在光谱范围捕获所述第一图像y₁和第二图像y₂的步骤，所述光谱范围选自由以下组成的组：紫外光谱范围、可见光谱范围、近红外光谱范围、中红外光谱范围、远红外光谱范围及其任何组合。

本发明的另外的目的是公开一种自校准热成像装置，包括：(a)热焦平面阵列，所述热焦平面阵列还包括多个非制冷微测辐射热计；(b)光学透镜，被配置用于在所述热焦平面阵列处产生图像；(c)图像处理单元，被配置用于：(i)获得表征所述第一组捕获条件和第二组捕获条件之间的差异的运动矩阵[Μ(Δ)]；(ii)分别获得表征所述第一图像和第二图像的模糊条件的点扩散函数矩阵[A₁]和[A₂]；(ii)获得相机增益[G]；(iv)通过对所述运动矩阵[M(Δ)]和点扩散函数矩阵[A₁]和[A₂]、以及相机增益[G]进行求逆来计算漂移；(iv)通过对所述运动矩阵[M(Δ)]、所述点扩散函数矩阵[A₁]和[A₂]以及所述第一图像y₁和第二图像y₂进行求逆来计算校准的图像。

上述步骤构成自校准过程。所公开的方法可以应用于两个以上的不同图像。

本发明的另外的目的是公开一种装置，其中至少满足以下：(a)所述光学透镜具有可变焦距；(b)所述装置相对于待成像对象在空间上可移动；(c)所述装置包括配置用于将像差引入所述热成像装置的光学元件及其任何组合。本发明的另外的目的是公开一种从未校准或部分校准的热成像装置产生校准的辐射图像的方法。上述方法包括以下步骤：(a)借助于所述热焦平面阵列在改变捕获条件的情况下捕获感兴趣的对象的多个图像y₁...y_n；(b)获得表征每个捕获图像的所述捕获条件之间的差异的运动矩阵[Μ(Δ)]；(c)分别获得表征每个捕获图像的模糊条件的点扩散函数矩阵[A₁]...[A_n]；(d)获得系统增益[G]；(e)通过对所述系统增益[G]、运动矩阵[Μi(Δ)]和点扩散函数矩阵[A₁]...[A_n]进行求逆来计算漂移；(f)通过对所述系统增益[G]、运动矩阵[Μ(Δ)]、点扩散函数矩阵[A₁]...[A_n]和所述图像y₁...y_n进行求逆来计算校准的图像。

本发明的另外的目的是公开一种自校准热成像装置，包括：(a)热焦平面阵列，所述热焦平面阵列还包括多个非制冷微测辐射热计；(b)光学透镜，被配置用于在所述热焦平面阵列处产生图像；(c)图像处理单元，被配置用于(i)借助于所述热焦平面阵列在改变捕获条件的情况下捕获感兴趣的对象的多个图像y₁...y_n；(ii)获得表征每个捕获图像的所述捕获条件之间的差异的运动矩阵[Μ(Δ)]；(iii)分别获得表征每个捕获图像的模糊条件的点扩散函数矩阵[A₁]...[A_n]；(iv)获得系统增益[G]；(v)通过对所述系统增益[G]、运动矩阵[Μ(Δ)]和点扩散函数矩阵[A₁]...[A_n]进行求逆来计算漂移；(vi)通过对所述系统增益[G]、运动矩阵[Μ(Δ)]、点扩散函数矩阵[A₁]...[A_n]和所述图像y₁...y_n进行求逆来计算校准的图像。

应当注意，可以在获得来自诸如图像配准之类的过程的内部数据或者来自诸如位置传感器的外部数据或任何组合之后，完成获得[Mi]矩阵。

此外，应注意，根据需要的过程可以从矩阵代数推广到算子微积分，以支持可能包括非线性步骤的估计过程。

本发明的另外的目的是公开一种从在不稳定条件下捕获的热图像恢复辐射图像的方法。上述方法包括以下步骤：(a)捕获多个N组热图像；每组包括至少两个图像；所述组内的图像的特征在于相对于彼此改变捕获条件；(b)假设对于图像中的每对i，x_i＝sharpest{y_i0,...y_iL}；(c)指定辐射图像{x}＝{x}⁰和{y}；通过回归分析获得增益G¹的更新值和漂移d¹的更新值；(d)指定在步骤c获得的G＝G¹、d＝d^l和{y}；固定G；获得更新的{x}¹和d；(e)用{x}＝{x}¹和{y}返回步骤c，通过回归分析获得更新的增益值G²和更新的漂移值d²；(f)通过循环步骤c至d，直到实现成本函数S(G,d,x)最小化的收敛，获得多个N个恢复的辐射图像。

本发明的另外的目的是公开一种方法，所述方法包括改变所述第一图像和第二图像的捕获条件的步骤，还包括选自由以下组成的组中的动作：将所述热成像装置散焦、在空间上移动所述热成像装置、将像差元件引入所述热成像装置及其任何组合。

本发明的另外的目的是公开在光谱范围捕获所述第一和第二图像y₁和y₂的步骤，所述光谱范围选自由以下组成的组：紫外光谱范围、可见光谱范围、近红外光谱范围、中红外光谱范围、远红外光谱范围及其任何组合。

本发明的另外的目的是公开一种方法，所述方法包括改变捕获条件的步骤，包括改变系统透明度。

本发明的另外的目的是公开一种步骤，所述步骤通过稀疏方程和最小二乘算法，以少量步骤实现最小化S(G,d,x)。

本发明的另外的目的是公开一种成像装置，包括：(a)热焦平面阵列，所述热焦平面阵列还包括多个光传感器；(b)光学透镜，被配置用于在所述热焦平面阵列处产生图像；(c)有源光学透镜，被配置成改变视场内的幅度和/或相位；(d)图像处理单元，被配置用于：(i)捕获多个N组热图像；每组包括至少两个图像；所述组内的图像的特征在于相对于彼此改变的捕获条件；(ii)假设对于图像中的每对i，x_i＝sharpest{y_i0,...y_iL}；(iii)指定辐射图像{x}＝{x}⁰和{y}；通过回归分析获得更新的增益值G¹和更新的漂移值d¹；(iv)指定在步骤c获得的G＝G¹、d＝dl和{y}；固定G；获得更新的{x}¹和d；(v)返回步骤c，其中{x}＝{x}¹和{y}，通过回归分析获得更新的增益值G²和更新的漂移值d²；(vi)通过循环步骤iii至iv，直到实现成本函数S(G,d,x)最小化的收敛，获得多个N个恢复的辐射图像。

本发明的另外的目的是公开一种图像处理单元，所述图像处理单元被配置用于通过稀疏方程和最小二乘算法，以少量步骤来最小化S(G,d,x)。

附图说明

为了理解本发明并且领会其如何在实践中实现，现在仅通过非限制性示例，参考随附附图来描述多个实施方式，在附图中

图1是由未校准或部分校准的热成像装置产生校准辐射图像的方法的流程图；

图2示出了在空间变化增益的情况下热测量值与对象的辐射值的比较；

图3是比较在空间变化增益情况下的估计漂移值和实际漂移值的图；

图4是比较对象的估计辐射值和实际辐射值的图；

图5是比较在空间不变增益的情况下的装置的热测量和对象的辐射值的图；

图6是比较在空间不变增益情况的情况下的估计值和实际漂移值的图；

图7是比较实际辐射值和估计辐射值的图；

图8是从热图像恢复辐射图像的方法的流程图；

图9a至9d是在根据本发明的图像处理之前和之后的示例性图像；以及将基础真实图像与上述图像进行比较；以及

图10是用于从热图像恢复辐射图像的方法的图形表示。

具体实施方式

提供以下描述，以使本领域任何技术人员能够利用所述发明，并阐述发明人实施本发明所考虑的最佳模式。然而，各种修改对于本领域技术人员而言是显而易见的，因为已经具体地定义了本发明的一般原理以提供用于校准热成像装置的辐射值的装置和方法。

在UC-FPA中，每个微测辐射热计负责图像的像素。微测辐射热计响应可以表征为增益(G)和偏移(d)的函数，即：

r(x，y)＝G(x，y)·L(x，y)+d(x，y) (1)

为简单起见，我们遵循[5]，假设FPA的代表性增益和偏移，即：

r(x，y)＝G·L(x，y)+D (2)

由于微测辐射热计的隔热并不完美，因此热图像的绝对值取决于UC-FPA环境的影响。因此G＝G(T)并且d＝d(T)。G通常是(T)的线性函数，而(d)可以是T的高阶多项式函数，或甚至涉及(T)中的导数[5]，

r(x，y)＝G(T)·L(x，y)+d(T) (3)

在以前的工作中，有人提出并证明，如果FPA温度随环境温度变化，则可以假设G和(d)是FPA温度的线性函数[5]。另一项工作表明，在某些情况下，如果相机包含机械快门，则快门可用作黑体(BB)，用于校正温度漂移对读数值的影响[6]。在区分包络温度和FPA的温度之间的具体模型中，偏移函数是两个温度的多项式函数。所述函数受三个主要因素的影响：

包络的辐射对像素的影响；

FPA之外的像素的辐射；以及

标称温度的偏移值[2]。

使用BB[2，5-7]完成增益函数和偏移函数中的每个的校准。虽然增益是FPA温度的线性函数，增益校准相对简单，但是偏移校准是繁琐且困难的。

根据本发明，可以根据在两个不同模糊级下拍摄的两个连续图像来估计漂移值。在这种情况下，不需要校准温度变化。

假设UC-FPA系统拍摄的两个图像具有两个不同的点扩散函数，则图像形成为：

y₁＝[G₁]·([A₁]x)+d₁(T)+n₁，[G₁]＝[G₁(T，i)] (4)

y₂＝[G₂]·([A₂]x)+d₂(T)+n₂，[G₂]＝[G₂(T，i)] (5)

其中A₁、A₂是点扩散函数(Point Spread Function，PSF)矩阵，x是对象辐射，且y1、y2是两个不同模糊条件下的读数，n₁和n₂是检测噪声。A、x、y按字母顺序形式给出。由于相机积分时间比热负荷变化快得多，如果y₁和y₂被一个接一个地拍摄，那么D＝D₁＝D₂并且[G]＝[G₁]＝[G₂]，假设没有电子串扰，增益是对角线矩阵，其中G(i，i)是(i)像素的增益。

在空间变化增益的一般情况下，G(i，i)随着(i)变化，因此系统变为：

y₁＝[G]·([A₁]x)+d(T)+n₁ (6)

如果从移动平台D＝motion{D₁}＝D₂并且[G]＝motion{[G₁]}＝[G₂]拍摄图像，则motion{}导致x(i，j)经受不同的增益和漂移。假设可以识别相同的几何图形，则可以估计运动并使两个图像中的增益和漂移相关。为了支持这种情况，将[M]表示为运动矩阵，且Δ为帧之间的广义运动，x为公共视场。

y₂＝[M(Δ)][G]·([A₂]x)+[M(Δ)]d(T)+n₁ (7)

使用等式7可以用y₂来表不x

x＝inv{[M(Δ)][G]·[A₂]}·(y₂-[M(Δ)]d(T)) (8)

Inv{}表示广义逆函数。在等式6中代入等式8

inv{[G]}(y₁-d(T))＝[A₁]inv{[M(Δ)][G][A₂]}(y₂-[M(Δ)]d(T)) (9)

请注意，噪声与测量不可分离，且因此y₁和y₂包括加性噪声。

y₁-d(T)＝[G][A₁]inv{[M(Δ)][G][A₂]}(y₂-[M(Δ)]d(T)) (10)

重新排序等式10：

[G][A₁]inv{[M(Δ)][G][A₁]}[M(Δ)]d(T)-d(T)＝[G][A₁]inv{[M(Δ)][G][A₁]}y₂-y₁ (11)

最后，我们可以由以下得到对d的估计量：

[I]是单位矩阵。一般而言，(d)和[G]可以与不同的温度或不同的温度分布相关联。在这项工作中，我们假设G被很好地校准并且已知，因此它不需要与D相关联的温度依赖性，并且Δ＝0。在特殊情况下，当增益[G]对所有像素相等(空间不变增益)时，增益矩阵可表示为：

[G]＝C·[I] (13)

C是常数，我们得到：

详细阐述等式(14)：

由于增益是正数，C＞0，我们得到：

最后，我们可以使用等式8来估计对象的实际辐射值，即

我们假设两个图像一个接一个地拍摄。第一图像(I₁)在焦点中，经受具有PSF矩阵[A₁]的衍射受限系统的模糊。利用具有PSF矩阵[A₂]的具有1波长的波前误差的散焦的系统来拍摄第二图像(I₂)。假设准单色的空间不变模型，其中波长等于10微米。根据等式6和7来实现两个模糊条件下的两个图像的相机读数。

现在参考图1，其示出了校准热成像装置的增益值的方法100，所述热成像装置包括多个非制冷微测辐射热计的焦平面阵列。根据上述方法，在步骤110处，借助于所述热焦平面阵列在第一组捕获条件下捕获感兴趣的对象的第一图像y₁。然后，将第一组捕获条件改变为第二组捕获条件(步骤120)。在步骤130处，在第二组捕获条件下捕获所述感兴趣的对象的第二图像y₂。在步骤140处，获得表征所述第一组捕获条件和第二组捕获条件之间的差异的运动矩阵[Μ(Δ)]。然后，在步骤150处，获得表征所述第一和第二图像的模糊条件的点扩散函数矩阵[A₁]和[A₂]。这之后，获得系统增益[G](步骤160)。在步骤170处，通过对所述系统增益[G]、运动矩阵[M(Δ)]和点扩散函数矩阵[A₁]和[A₂]求逆来计算漂移。在步骤180处，将类似的运算应用于系统增益[G]、运动矩阵[M(Δ)]、点扩散函数矩阵[A₁]和[A₂]以及所述第一图像y₁和第二图像y₂，以获得校准的图像。

应强调的是，步骤170和180可以同时执行和连续地执行。换句话说，步骤170和180可以被认为是单个运算。

根据本发明，自校准热成像装置包括：(a)热焦平面阵列，所述热焦平面阵列还包括多个非制冷微测辐射热计；(b)光学透镜，被配置用于在所述热焦平面阵列处产生图像；(c)图像处理单元，被配置用于(i)获得表征所述第一组捕获条件和第二组捕获条件之间的差异的运动矩阵[Μ(Δ)]；(ii)分别获得表征所述第一图像和第二图像的模糊条件的点扩散函数矩阵[A₁]和[A₂]；(iii)获得系统增益[G]；(iv)通过对所述系统增益[G]、运动矩阵[M(Δ)]以及点扩散函数矩阵[A₁]和[A₂]求逆来计算漂移；(iv)通过对所述系统增益[G]、运动矩阵[M(Δ)]、点扩散函数矩阵[A₁]和[A₂]以及所述第一图像y₁和第二图像y₂求逆来计算校准的图像。

捕获条件可以通过以下方式更改：

通过变更透镜的焦距使所述热成像装置散焦；

移置热成像设备；

将像差元件(例如，光楔)引入所述热成像装置中。

应提到的是，使用两个以上的图像以用于所公开的校准过程，也在本发明的范围内。

为了模拟真实的系统，我们假设相机规格与Flir TAU2[8]中的那些规格相似，像素大小为17微米，焦距＝9毫米，F_number＝0.9。

信噪比为1000。通过在0至100之间的范围内均匀分布的随机数来模拟每个像素的辐照度值(表示为(x)的信号)。我们假设相机在T₀＝25℃时进行了标称校准，且在32℃时进行测量。校准点d(T₀)中的漂移值被模拟为0至5范围内的均匀随机过程。我们假设漂移变化是温度变化dT＝T-T₀的抛物线函数，即：

d(T)＝d(T₀)·dT² (18)

在空间变化增益以及温度线性相关的第一情况下，增益矩阵的形式如下：

G(T)＝[diag(g)]·G(T₀)·dT/T₀ (19)

对角线g(i)是位置的函数，该位置是二维空间增益函数的按字母顺序的排序。在具体的示例中，我们假设像素坐标中的斜率的抛物线依赖性，我们假设g的平均值等于1，使得另外T₀的温度的增益依赖性等于6：

g(m，n)＝g₀·(m²+n²)+const，<g>＝(1/N)·∑∑g(m，n))＝1，G(T₀)＝6 (20)

在图2中，我们显示了通过辐射对象x所得到的热测量y₁、y₂和基础。为了将测量结果置于与对象相同的比例上，通过G₀＝G(T₀)归一化测量值。观察图像可以看到热图像远离对象的辐射值。

遵循所提出的模型，第一步是根据测量结果估计漂移，所述运算演变为逆过程。由于图像在PSF矩阵的特征为病态矩阵的情况下经受噪声，因此我们使用正则化来防止噪声放大。[A₁]的条件数非常低，因此不需要正则化。[A₂]的逆运算由Tikhonov正规化算子[9]实现，其中对于inv{A2}，α₂＝0.0001，相应地：

inv{[G][A_i]}＝(([G][A_i])^T([G][A_i])+α_i[I])^-1([G][A_i])^T (21)

我们使用等式(12)来估计漂移：

在图3中，呈现了估计漂移Vs实际产生的漂移值。所呈现的实现的平均灰度误差为0.1061％。

接下来，遵循所提出的模型，我们使用估计漂移来计算对于对象的辐射值的估计量。

x的值与估计量之间的图形比较如图4所示。

观察图4，我们看到估计量准确地跟随实际值，其中平均误差为1.0636％。

所公开的具体求逆过程以无限制的方式提供。其他估计过程也在本发明的范围内。所公开的方法还可适用于其他光谱范围，如UV范围、可见光范围以及近红外范围、中红外范围和远红外范围。

遵循上述模型，假设空间不变增益的情况下，空间依赖性是恒定的，我们假设它等于上述空间不变情况的平均值，并且等于<g>。得到的增益矩阵为

G(T)＝<g>·G(T₀)·[I]·dT/T₀ (24)

如前面图5所示，我们显示了通过辐射对象x所得到的热测量y1、y2和基础。通过G₀＝G(T₀)归一化热图像。观察图像时，再次看到热图像远离目标的辐射值。

遵循所提出的方法，我们使用测量结果通过等式(16)来估计漂移。我们想强调的是，正如我们在上文所示，在空间不变增益的特殊情况下，不需要有关增益函数的知识。此处再次，矩阵[A1]的逆运算以简易的方式完成，而矩阵[A2]的求逆通过正则化实现，如在等式21中，其中α2＝0.00001。

在图6中，我们呈现了估计漂移值Vs实际产生的漂移值。所呈现的实现的平均灰度误差为0.5857％。

在许多相机中，可以直接测量FPA温度的变化(dT)。然而，为了完整性，我们展示了如何从模型中估计dT。我们使用等式18作为我们的估计量，等式18使用平均dT值。

在等式(24)中指定<dT>，我们得到G(T)的估计。归一化读数我们得到：

对象辐射的恢复的估计量为

x_e＝inv{[A_i]}·y_le (2_x)

x的值与估计量x_e之间的图形比较在图7中呈现。我们看到估计量准确地跟随实际值，其中平均误差为0.99％。

连续捕获具有不同点扩散函数(PSF)的两个图像。由于相机积分时间比热负荷变化快得多，我们可以假设增益G和漂移d是恒定的，图像y₁和y₂可以用下式描述：

y₁＝[G]·([A₁]x(i))+d(T)+n₁， (28)

y₂＝[G]·([A₂]x(i))+d(T)+n₂， (29)

[G]＝[G(T，i)]， (30)

其中x是目标辐射，A₁和A₂是与透镜的PSF的2D卷积，所述2D卷积转换为列堆叠表示中的矩阵乘法(图像形成也可以是空间变量)，G是系统的增益，d是漂移偏移值矢量，n是检测噪声，且y₁和y₂是读数。

所有图像都可以用列叠堆符号的R^M中的矢量表示，其中M是像素数，图像用小写字母表示。

在一般情况下，取决于FPA的位置的增益G和漂移d是未知的。G、漂移d和辐射图像x可以通过多变量似然函数的迭代优化来估计。

联合估计需要求解最小化问题，所提出的成本函数是具有线性步长的最小二乘L2范数，然而所述算法通常不限于特定的成本函数，并且可以包括先验知识、非线性项或其他范数或图像之间的转变，诸如在美国临时专利申请62/364,335中呈现的。

因此，在第一实施方式中，成本函数为：

图像数为(i，j)。

在第一实施方式中，为了最小化精度，依次拍摄具有不同模糊j＝0，1(y_i0，y_i1)的两个图像(L＝2)的N个对(i)，使得增益G和漂移d是相同的。每对观察到的不同视野x涉及附加信息(因此我们使用现场校准11)。在下面的模拟示例中，N＝9对。应当注意，可以通过改变PSF矩阵A_j、添加不同模糊的更多图像以及改变为每个对象(i)拍摄的图像总数(L)来获得附加信息。所述方法可以利用其他的诸如利用半透明孔10实现的之类的光学变化工作。

所提出的算法基于成本函数S(G，d，x)的最小化。

为了最小化S(G，d，x)，我们使用以下内容：

当固定g时，S(G，d，x)是x和d的仿射函数的L2范数。

当固定x时，S(G，d，x)是g和d的仿射函数的L2范数。这里，每个像素的等式也是独立的。

现在参考图8，其呈现了从热图像恢复辐射图像的方法200。在步骤210处捕获N对图像。每对图像的特征在于相对于彼此改变的捕获条件。为了启动算法，我们假设x_i＝sharpest{(y_i0，，y_iL)}(对象x_i的最清晰图像)(步骤220)。然后通过对与之相关联的方程的回归分析找到与各个像素有关的增益G和漂移d值。

因此，我们通过两个步骤的迭代来最小化S(G，d，x)：

“xd”步骤：G是固定的。为了最小化S(G，d，x)，使用稀疏方程和最小二乘算法12]以用于少量的步骤。因此，我们更新x和d(步骤230)。

“gd”步骤：x是固定的。由于我们具有最小二乘问题的解耦系统，因此我们使用线性回归明确地找到最小g和d，并对g和d进行更新(步骤240)。

循环前述两个步骤(步骤250)直到实现成本函数S(G，d，x)最小化的收敛(步骤260)。

下面是对上述算法的详细描述，应承认可以将一对图像推广到图像组。

设：

像素的总和由范数||||实现

G？，d？，{X}？

Paris：i＝{0，，N-l}

Blur：j＝{0，，L}@L＝l

设一组N个对象{x}的测量的一组图像

{y}＝{(y_1，0，y_1，1)，(y_2，0，y_2，1)..(y_N，0，y_N，1)}of set of N objects{x}

对象(i)的每组图像通过图像配准结合。

通过对(每个像素(1)具有N*L个等式)进行回归得到G和d的初始条件

为{x}⁰的每个对象指定：

步骤1(“gd”)：

赋值：{x}＝{x}⁰

求解每个像素的回归(1＜1＜M)：

步骤2(“xd”)：

初始条件：d＝d¹

赋值：G＝G¹，{y}

对于通过LSQR或其他最小化方法的Q迭代：

返回步骤1直到S()最小化的收敛

对象(i)的每组图像通过图像配准结合。

所述模拟使用由FLIR-sc655从空中连续拍摄的少量256×256热图像。对于每个视图，拍摄两个样本。第一图像(图9a)构成原始清晰图像。第二图像(图9b)模仿通过模糊内核的卷积的模糊光学器件进行捕获。所有图像都经受相同的未知增益和漂移以及附加的正态噪声，使得信噪比为3500。观察图像，可以看出增益和漂移导致严重的灰度变化。所恢复的辐射图像x和“基础真实”原始图像x1分别在图9c和9d中示出。所产生的恢复误差的标准偏差(std)与原始信号的标准偏差之间的比率为|std(x-xl)|/|std(xl)|＝0.00145。

现在参考图10，其示出了从热图像恢复辐射图像的过程。恢复精度取决于图像对的数量。在所呈现的示例中，图像对的数量是7。共同获得的增益G和漂移d用于估计所有图像对中的辐射图像。

参考文献

1.R.K.Bhan，R.S.Saxena，C.R.Jalwania，and S.K.Lomash，″Uncooled InfraredMicrobolometer Arrays and their Characterisation Techniques，″Defence ScienceJournal，59，6，580-589，(2009).

2.A.Tempelhahn，H.Budzier，V.Krause，and G.Gerlach，″Shutter-lesscalibration of uncooled infrared cameras，″J.Sens.Sens.Syst.，5，9-16，(2016).

3.K.Kusnierek，A.Korsaeth，″Challenges in using an analog uncooledmicrobolometer thermal camera to measure crop temperature，″Int J Agric&BiolEng.7，460-74(2014).

4.Holman，″Heat transfer″，McGraw-Hill(1989).

5.P.W.Nugent，J.A.Shaw，″Calibration of uncooled LWIR microbolometerimagers to enable long-term field deployment，″Proc.of SPIE Vol.9071 90710V，1-10(2014).

6.P.W.Nugent，J.A.Shaw，N.J.Pust，″Radiometric calibration of infraredimagers using an internal shutter as an equivalent external blackbody，″Opt.Eng.53，12，123106(2014).

7.P.W.Nugent，J.A.Shaw，N.J.Pust，″Correcting for focal-plane-arraytemperature dependence in micFobolometer infrared cameras lacking thermalstabilization，″Opt.Eng.52，6，061304(2013).

8.http：//www.flir.com/cores/display/？id＝54717

9.P-C，Hensen，J.G.Nagy and P.O′leary，″Debluring images matrices，spectra and filter，″SIAM(2006).

10.R.Olbrycht，B.Wiecek and G.De Mey，″Thermal drift compensationmethod for microbolometer thermal cameras″Applied Optics Vol.51，Issue 11，pp.1788-1794(2012).

11.B.M.Ratliff，Majeed M.Hayat.and Russell C.Hardie，″An algebraicalgorithm for nonuniformity correction in focal-plane arrays″Vol.19，No.9/September 2002/J.Opt.Soc.Am.A

12.LSQR：Sparse Equations and Least Squares

http：//web.stanford.edu/group/SOL/software/lsqr/

Claims

1.一种从未校准或部分校准的热成像装置产生校准的辐射图像的方法，所述方法包括多个非制冷微测辐射热计的热焦平面阵列；所述方法包括以下步骤：

a.借助于所述热焦平面阵列在第一组捕获条件下捕获感兴趣的对象的第一图像y₁；

b.将所述第一组捕获条件改变为第二组捕获条件；

c.借助于所述热焦平面阵列在所述第二组捕获条件下捕获所述感兴趣的对象的第二图像y₂；

d.获得表征所述第一组捕获条件和所述第二组捕获条件之间的差异的运动矩阵[Μ(Δ)]；

e.分别获得表征所述第一图像和所述第二图像的模糊条件的点扩散函数矩阵[A₁]和[A₂]；

f.获得系统增益[G]；

g.通过对所述系统增益[G]、运动矩阵[M(Δ)]以及点扩散函数矩阵[A₁]和[A₂]进行求逆来计算漂移；

h.通过对所述系统增益[G]、运动矩阵[M(Δ)]、点扩散函数矩阵[A₁]和[A₂]以及所述第一图像y₁和所述第二图像y₂进行求逆来计算校准的图像。

2.根据权利要求1所述的方法，其中，将所述第一组捕获条件改变为第二组捕获条件的所述步骤，包括选自由以下组成的组中的动作：将所述热成像装置散焦、在空间上移动所述热成像装置、将像差元件引入所述热成像装置、以及上述动作的任何组合。

3.根据权利要求1所述的方法，其中，所述增益值是空间不变的。

4.根据权利要求1所述的方法，包括校正所述第一图像和所述第二图像的灰度的步骤。

5.根据权利要求1所述的方法，其中，包括在光谱范围捕获所述第一图像y₁和所述第二图像y₂的步骤，所述光谱范围选自由以下组成的组：紫外光谱范围、可见光谱范围、近红外光谱范围、中红外光谱范围、远红外光谱范围、及其任何组合。

6.一种自校准热成像装置，包括：

a.热焦平面阵列，所述热焦平面阵列还包括多个非制冷微测辐射热计；

b.光学透镜，被配置用于在所述热焦平面阵列处产生图像；

c.图像处理单元，被配置用于

i.获得表征所述第一组捕获条件和所述第二组捕获条件之间的差异的运动矩阵[Μ(Δ)]；

ii.分别获得表征所述第一图像和所述第二图像的模糊条件的点扩散函数矩阵[A₁]和[A₂]；

iii.获得相机增益[G]；

iv.通过对所述相机增益[G]、运动[M(Δ)]以及点扩散函数矩阵[A₁]和[A₂]进行求逆来计算漂移；

v.通过对所述相机增益[G]、运动[M(Δ)]、点扩散函数矩阵[A₁]和[A₂]以及所述第一图像y₁和所述第二图像y₂进行求逆来计算校准的图像。

7.根据权利要求6所述的装置，其中，至少满足以下：

a.所述光学透镜具有可变焦距；

b.所述装置相对于待成像对象在空间上可移动；

c.所述装置包括光学元件，所述光学元件被配置用于将像差引入所述热成像装置；及其任何组合。

8.根据权利要求6所述的装置，其中，所述增益值是空间不变的。

9.根据权利要求6所述的装置，其中，所述图像处理单元被配置用于校正所述第一图像和所述第二图像的灰度。

10.根据权利要求6所述的装置，其中，所述光学透镜被配置用于在光谱范围捕获所述第一图像y₁和所述第二图像y₂的步骤，所述光谱范围选自由以下组成的组：紫外光谱范围、可见光谱范围、近红外光谱范围、中红外光谱范围、远红外光谱范围及其任何组合。

11.一种从未校准或部分校准的热成像装置产生校准的辐射图像的方法，所述方法包括多个非制冷微测辐射热计的热焦平面阵列；所述方法包括以下步骤：

a.借助于所述热焦平面阵列，在改变捕获条件的情况下来捕获感兴趣的对象的多个图像y₁...y_n；

b.获得表征每个捕获图像的所述捕获条件之间的差异的运动矩阵[Μi(Δ)]；

c.分别获得表征每个捕获图像的模糊条件的点扩散函数矩阵[A₁]...[A_n]；

d.获得系统增益[G]；

e.通过对所述系统增益[G]、运动[Μi(Δ)]和点扩散函数矩阵[A₁]...[A_n]进行求逆来计算漂移；

f.通过对所述系统增益[G]、运动[Μi(Δ)]、点扩散函数矩阵[A₁]...[A_n]和所述图像y₁...y_n进行求逆来计算校准的图像。

12.一种自校准热成像装置，包括：

a.热焦平面阵列，还包括多个非制冷微测辐射热计；

b.光学透镜，被配置用于在所述热焦平面阵列处产生图像；

c.图像处理单元，被配置用于

i.借助于所述热焦平面阵列在改变捕获条件的情况下来捕获感兴趣的对象的多个图像y₁...y_n；

ii.获得表征每个捕获图像的所述捕获条件之间的差异的运动矩阵[Μi(Δ)]；

iii.分别获得表征每个捕获图像的模糊条件的点扩散函数矩阵[A₁]...[A_n]；

iv.获得系统增益[G]；

v.通过对所述系统增益[G]、运动矩阵[Μi(Δ)]和点扩散函数矩阵[A₁]...[A_n]进行求逆来计算漂移；

vi.通过对所述系统增益[G]、运动矩阵[Μi(Δ)]、点扩散函数矩阵[A₁]...[A_n]和所述图像y₁...y_n进行求逆来计算校准的图像。

13.一种从在不稳定条件下捕获的热图像恢复辐射图像的方法；所述方法包括以下步骤：

a.捕获多个N组热图像；每组包括至少两个图像；所述组内的图像的特征在于相对于彼此改变的捕获条件；

b.假设对于图像中的每对i，x_i＝sharpest{y_i0,...y_iL}；

c.赋值辐射图像{x}＝{x}⁰和{y}，通过回归分析获得更新的增益值G¹和更新的漂移值d¹；

d.赋值在步骤c获得的G＝G¹、d＝d^l和{y}，固定G，通过最小化S(G,d,x)获得更新的{x}¹和d；

e.返回步骤c，其中{x}＝{x}¹和{y}，通过回归分析获得更新的增益值G²和更新的漂移值d²；

f.获得多个N个恢复的辐射图像，通过循环步骤c至d，直到实现成本函数S(G,d,x)最小化的收敛。

14.根据权利要求11所述的方法，包括改变所述第一图像和所述第二图像的捕获条件的步骤，还包括选自由以下组成的组中的动作：将所述热成像装置散焦、空间移动所述热成像装置、将像差元件引入所述热成像装置、及其任何组合。

15.根据权利要求11所述的方法，其中，在光谱范围捕获所述第一图像y₁和所述第二图像y₂的步骤，所述光谱范围选自由以下组成的组：紫外光谱范围、可见光谱范围、近红外光谱范围、中红外光谱范围、远红外光谱范围及其任何组合。

16.根据权利要求11、12和33所述的方法，包括改变捕获条件的步骤，包括改变系统透明度。

17.根据权利要求11所述的方法，其中，通过稀疏方程和最小二乘算法，以少量步骤来实现最小化S(G,d,x)的所述步骤。

18.一种成像装置，包括：

a.热焦平面阵列，还包括多个光传感器；

b.光学透镜，被配置用于在所述热焦平面阵列处产生图像；

c.有源光学透镜，被配置成改变视场内的幅度和/或相位；

d.图像处理单元，被配置用于：

i.捕获多个N组热图像；每组包括至少两个图像；所述组内的图像的特征在于相对于彼此改变的捕获条件；

ii.假设对于图像中的每组i，x_i＝sharpest{y_i0,...y_iL}

iii.指定辐射图像{x}＝{x}⁰和{y}，通过回归分析获得更新的增益值G¹和更新的漂移值d¹；

iv.指定在步骤(iii)处获得的G＝G¹、d＝d^l和{y}，固定G，通过使用稀疏方程和最小二乘算法，以少量步骤最小化S(G,d,x)，来获得更新的{x}¹和d；

v.返回步骤(iii)，其中{x}＝{x}¹和{y}，通过回归分析获得更新的增益值G²和更新的漂移值d²；

vi.获得多个N个恢复的辐射图像，通过循环步骤c至d，直到实现成本函数S(G,d,x)最小化的收敛。

19.根据权利要求18所述的装置，其中，至少满足以下中的一项：

a.所述光学透镜具有可变焦距；

b.所述装置相对于待成像对象在空间上可移动；

c.所述装置包括光学元件，所述光学元件被配置用于将像差/幅度变化引入所述热成像装置；及其任何组合。

20.根据权利要求18所述的方法，其中，所述图像处理单元被配置用于通过稀疏方程和最小二乘算法，以较少数量的步骤最小化S(G,d,x)。