CN114140525B - 一种利用多帧图像重建提升红外测温距离的方法及系统 - Google Patents

Abstract

一种利用多帧图像重建提升红外测温距离的方法及系统，所述方法包括：初始化基准图像；微调红外探测器焦距，连续对目标辐射源进行图像采集，以获取多帧第一图像；根据多帧所述第一图像对所述基准图像进行重建，得到重建图像；在所述重建图像中，依据所述目标辐射源周围预设区域的辐射均值确定所述目标辐射源的温度。本发明提供的多帧图像重建的方法，不需要在硬件上作出调整，降低了成本；相对于利用经验值来模拟远距离的测温数据，通过重建出的真实图像进行测温更具有可靠性。

Description

一种利用多帧图像重建提升红外测温距离的方法及系统

技术领域

本发明涉及图像处理、红外测温领域，具体涉及一种利用多帧图像重建提升红外测温距离的方法及系统。

背景技术

目前提升红外测温距离的方法有三种：

1.提高探测器本身的分辨率。使得探测器本身能够在远距离下清晰的成像并获取到辐射源的辐射量；

2.加配镜头或改变镜头结构。通过更换更大焦距的镜头或者调整镜头结构使得探测器能够在远距离下清晰的成像并获取到辐射源的辐射量；

3.利用经验值来获取远距离的测温值。即使无法清晰成像，也可以针对实现采集的数据来构建距离模型，并以此来粗略估算测温值。

当前提升红外测温距离的方法存在以下问题：

1.成本高，且需要针对不同的使用场景定制镜头或结构；

2.准确性低，利用经验值建模获取的温度信息存在误差(采集误差，预测误差等等)。

发明内容

鉴于现有技术中存在的技术缺陷和技术弊端，本发明实施例提供克服上述问题或者至少部分地解决上述问题的一种利用多帧图像重建提升红外测温距离的方法及系统，具体方案如下：

作为本发明的第一方面，提供一种利用多帧图像重建提升红外测温距离的方法，所述方法包括：

初始化基准图像；

微调红外探测器焦距，连续对目标辐射源进行图像采集，以获取多帧第一图像；

根据多帧所述第一图像对所述基准图像进行重建，得到重建图像；

在所述重建图像中，依据所述目标辐射源周围预设区域的辐射均值确定所述目标辐射源的温度。

进一步地，所述根据多帧所述第一图像对所述基准图像进行重建，得到重建图像包括：

对各帧所述第一图像进行预处理，得到多帧第二图像；

建立多帧所述第二图像与所述基准图像之间的损失函数，根据所述损失函数调整所述基准图像中各个像素点的值直至所述损失函数收敛，从而得到重建图像。

进一步地，所述对各帧所述第一图像进行预处理，得到多帧第二图像包括：

修正所述目标辐射源在各帧所述第一图像中的位置；

通过点扩散函数对修正后的所述第一图像进行处理，得到多帧第二图像。

进一步地，所述修正所述目标辐射源在各帧所述第一图像中的位置包括：

从多帧所述第一图像中选取最清晰的图像，将该最清晰的图像作为参考图像，将其他第一图像作为退化图像；

将所述参考图像中的目标辐射源所在的区域作为初始模板,在所述退化图像中搜索与所述初始模板同样大小的最佳匹配块，根据所述最佳匹配块在所述退化图像中的位置，计算所述目标辐射源的位移；

基于所述位移修正所述退化图像中目标辐射源的位置，以使所述退化图像中的目标辐射源与所述参考图像中的目标辐射源处于相同的位置上。

进一步地，所述通过点扩散函数对修正后的所述第一图像进行处理，得到多帧第二图像包括：

通过最小均方误差MSE来计算目标辐射源的位移，具体公式如下：

公式一：

其中，M和N分别为搜索框的宽高，m和n分别为当前像素的行数和列数，i和j分别为当前搜索位置在x和y方向上的偏移量，MSE(i，j)为当前偏移下的均方误差，S_k(m、n)为目标框，S_k+1(m+i、n+j)为搜索框中相对于m、n位置偏移i、j个像素的匹配框。

进一步地，所述点扩散函数的具体公式如下：

公式二：

其中K是归一化常数，α是一个正常数，C是h(m,n)的圆形支持域。

进一步地，所述建立多帧所述第二图像与所述基准图像之间的损失函数包括：

令第二图像表示为Y＝HX+N，其中H为退化算子，N为加性噪声，考虑到第二图像上的一个像素是高分辨率图像中对应的像素以及其邻域像素的共同结果，上式可以改写为：

k＝1,2,…,p,m＝1,2,…,M；

考虑到加性噪声一般是高斯白噪声，因此可以表示为：

所以：

令图像先验概率分布服从Gauss-Gibbs随机场，因此损失函数为：

其中，B表示各像素与其邻域像素相关性的对称稀疏矩阵，采用拉普拉斯算子来描述这一关系为：

d_ij是只考虑一阶邻域的拉普拉斯算子：

代入损失函数可将损失函数转化为如下公式：

公式三：

其中，σ_η为白噪声标准差，p为采集的第二图像的帧数，M为第二图像的分辨率，y_k,m为第k帧图像中的第m个像素点，h_k,m,r为第r个高分辨率像素对第k帧第r个低分辨率像素的影响，x_r为第r个低分辨率像素，N为待重建高分辨率图像的分辨率，x_j为第j个高分辨率像素。

进一步地，所述根据所述损失函数调整所述基准图像中各个像素点的值直至所述损失函数收敛包括：

采用梯度下降的方式对损失函数进行最小化，通过对损失函数求一阶导数，得到梯度的表达式为：

公式四：

其中，h_m,k为第K帧图像的退化算子，h_m,r为当前帧中第r个低分辨率像素的退化算子，x_m为第m个低分辨率像素，y_m为第m个高分辨率像素，Z_j为x_j的一阶导数；

得到梯度后，选择预设的步长来对损失函数进行更新，令步长为εⁿ，则L(xⁿ⁺¹)＝L(xⁿ-εⁿg_k)，n为迭代轮数，L(xⁿ⁺¹)为第n+1轮的损失函数值，g_k为第k个像素的梯度值，可得：

公式五：

其中：

其中，

为第n轮迭代中第r个像素的估计值，

为第n轮迭代中第j个像素的真实值；

不断对损失函数进行更新，当训练到了一定的轮数，损失函数收敛后即输出超分辨率重建图像。

作为本发明的第二方面，提供一种利用多帧图像重建提升红外测温距离的系统，所述系统包括初始化模块，数据采集模块、重建模块和测温模块；

所述初始化模块用于初始化基准图像；

所述数据采集模块用于微调红外探测器焦距，连续对目标辐射源进行图像采集，以获取多帧第一图像；

所述重建模块用于根据多帧所述第一图像对所述基准图像进行重建，得到重建图像；

所述测温模块用于在所述重建图像中，依据所述目标辐射源周围预设区域的辐射均值确定所述目标辐射源的温度。

进一步地，所述重建模块具体用于：对各帧所述第一图像进行预处理，得到多帧第二图像；

建立多帧所述第二图像与所述基准图像之间的损失函数，根据所述损失函数调整所述基准图像中各个像素点的值直至所述损失函数收敛，从而得到重建图像。

本发明具有以下有益效果：

本发明提供的一种利用多帧图像重建提升红外测温距离的方法及系统，通过前后对焦的方式采集目标辐射源的多帧辐射数据矩阵，经过插值、运动估计后利用一种基于参数估计的MAP图像超分辨率重建方法来重建目标源的高分辨率辐射数据矩阵，并根据重建后的辐射量进行测温工作。由于多帧图像重建的方法，所以不需要硬件上作出调整，降低了成本；相对于利用经验值来模拟远距离的测温数据，通过重建出的真实图像进行测温更具有可靠性。基于本发明提供的方法，在不增加额外硬件成本的情况下，可以使小分辨率的红外探测器提升10-20m的测温距离并且保证±2或者±2％(取大值)的测温精度。

附图说明

图1为本发明实施例提供的利用多帧图像重建提升红外测温距离的方法流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，作为本发明的第一实施例，提供的一种利用多帧图像重建提升红外测温距离的方法，该方法主要包括以下流程：

步骤1，初始化基准图像；

其中，所述基准图像中各个像素点的值为一个预设值或者随机值，按照后续的方法不断更新基准图像中各个像素点的值，对基准图像进行重建，可以得到目标辐射源的高分辨率图像。

步骤2，微调红外探测器焦距，连续对目标辐射源进行图像采集，以获取多帧第一图像；

步骤3，根据多帧所述第一图像对所述基准图像进行重建，得到重建图像；

步骤4，在所述重建图像中，依据所述目标辐射源周围预设区域的辐射均值确定所述目标辐射源的温度。

其中，微调红外探测器焦距，连续对目标辐射源进行图像采集，以获取多帧第一图像包括：

低分辨率图像采集：使用红外探测器对准目标辐射源后，进行远近焦微调，在调焦过程中连续获取多帧低分辨率图像，作为第一图像；

上述实施例所述的图像可以为数据矩阵形式的图像，或者，为可视化的图像。

其中，红外探测器能够获取的为辐射强度的数据矩阵，红外探测器将获取到的辐射量转化为电信号，所述电信号即辐射数据矩阵，对所述数据矩阵进行成像处理之后即形成最终可以直接观看的图像，即所述低分辨率图像。

其中，所述根据多帧所述第一图像对所述基准图像进行重建，得到重建图像包括：

对各帧所述第一图像进行预处理，得到多帧第二图像；

建立多帧所述第二图像与所述基准图像之间的损失函数，根据所述损失函数调整所述基准图像中各个像素点的值直至所述损失函数收敛，从而得到重建图像。

其中，所述修正所述目标辐射源在各帧所述第一图像中的位置包括：

从多帧所述第一图像中选取最清晰的图像，将该最清晰的图像作为参考图像，将其他第一图像作为退化图像，其中，退化图像指的是相对于参考图像而言存在晃动的不清晰图像；在可选的实施例中，可以利用双线性插值对最清晰帧进行上采样，并将其作为参考图像。

在可选的实施例中，从多帧所述第一图像中选取最清晰的图像的实施方式之一如下：

在步骤2中，微调红外探测器焦距，连续对目标辐射源进行图像采集，以获取n帧第一图像,将n帧第一图像添加至第一队列，例如可以按照获取的时间顺序将第一图像依次添加至第一队列中，然后，按照图像的清晰度对n帧第一图像排序，从而获取最清晰的图像。

具体实现过程为：为所述第一队列设置变量A，所述变量A用于标记本轮比较中清晰度最低的图像；设置第二队列，所述第二队列用于依次存储经过排序的第一图像。

从所述第一队列中取出位于首位的图像，并将该图像赋值给所述变量A，将变量A依次与下一个图像进行比较，在比较的过程中，将清晰度更低的图像赋值给变量A，以不断更新变量A的值，直至完成第一队列中所有图像的清晰度比较。在完成本轮比较后，将变量A所对应的图像添加至第二队列的尾部，并在所述第一队列中剔除变量A所对应的图像，以更新第一队列。重复前述步骤，进行下一轮比较，直至所述第一队列为空。

设置位于第二队列尾部的图像为最清晰的图像。

进一步地，由于第一图像的分辨率影响重建图像的分辨率，为了提高的重建图像的分辨率，需要保证数据源(即，第一图像)的分辨率较高，在进行超分辨率重建的过程中，从第二队列中的尾部开始选择往前选择设定帧数的第一图像，以进行超分辨率重建。

在可选的实施例中，从多帧所述第一图像中选取最清晰的图像的实施方式之二如下：

在步骤2中，微调红外探测器焦距，连续对目标辐射源进行图像采集，以获取n帧第一图像,将n帧第一图像添加至第一队列，例如可以按照获取的时间顺序将第一图像依次添加至第一队列中，然后，按照图像的清晰度对n帧第一图像排序，从而获取最清晰的图像。

具体实现过程为：为所述第一队列设置变量A，所述变量A用于标记本轮比较中清晰度最高的图像。

从所述第一队列中取出位于首位的图像，并将该图像赋值给所述变量A，将变量A依次与下一个图像进行比较，在比较的过程中，将清晰度更高的图像赋值给变量A，以不断更新变量A的值，在完成第一队列中所有图像的清晰度比较后，变量A所对应的图像即为最清晰的图像。

将所述参考图像中的目标辐射源所在的区域作为初始模板,在所述退化图像中搜索与所述初始模板同样大小的最佳匹配块，根据所述最佳匹配块在所述退化图像中的位置，计算所述目标辐射源的位移；

基于所述位移修正所述退化图像中目标辐射源的位置，以使所述退化图像中的目标辐射源与所述参考图像中的目标辐射源处于相同的位置上。

其中，目标辐射源为待观察的真实目标，目标辐射源区域为目标辐射源在图像中所占的区域。

寻找最佳匹配块的最准确方式是全搜索，但是红外探测器的连续采样导致目标辐射源的帧间变化很小，所以最佳匹配块都位于参考帧中初始位置的附近，因此将搜索窗口缩小到初始位置附近正负10个像素之间，从而进行快速搜索。

上述实施例中，通过计算位移和运动矢量，可以修正因为抖动或其他原因带来的目标位置变化，使得其他退化图像能够正确的投影到参考帧上。

其中，所述通过点扩散函数对修正后的所述第一图像进行处理，得到多帧第二图像包括：

通过最小均方误差MSE来计算目标辐射源的位移，即运动矢量，具体公式如下；

公式一：

其中，M和N分别为搜索框的宽高，m和n分别为当前像素的行数和列数，i和j分别为当前搜索位置在x和y方向上的偏移量，MSE(i，j)为当前偏移下的均方误差，S_k(m、n)为目标框，S_k+1(m+i、n+j)为搜索框中相对于m、n位置偏移i、j个像素的匹配框。

其中，点扩散函数是在不考虑加性噪声影响的情况下，点光源通过成像系统后形成的扩散图像，反推得到各帧图像的真实的点光源，以修正图像中的像素点，提高各帧图像的清晰度，以实现对图像中各像素点的修正。它相当于一个低通滤波器，使得原始图像丢失部分高频分量和边缘信息。这里使用Gauss降晰函数来模拟点扩散函数，其表达式如下：

其中，K是归一化常数，α是一个正常数，C是h(m,n)的圆形支持域。

其中，所述建立多帧所述第二图像与所述基准图像之间的损失函数包括：

令第二图像表示为Y＝HX+N，其中H为退化算子，N为加性噪声。考虑到第二图像上的一个像素是高分辨率图像中对应的像素以及其邻域像素的共同结果，上式可以改写为：

k＝1,2,…,p,m＝1,2,…,M；

考虑到加性噪声一般是高斯白噪声，因此可以表示为：

所以：

令图像先验概率分布服从GGRF(Gauss-Gibbs随机场)，因此损失函数为：

其中，B表示各像素与其邻域像素相关性的对称稀疏矩阵，采用拉普拉斯算子来描述这一关系为：

d_ij是只考虑一阶邻域的拉普拉斯算子：

代入损失函数可将损失函数转化为如下公式：

公式三：

其中，σ_η为白噪声标准差，p为采集的第二图像帧数，M为第二图像的分辨率，y_k,m为第二图像中第k帧中的第m个像素点，h_k,m,r为第r个高分辨率像素对第k帧第r个低分辨率像素的影响，x_r为第r个低分辨率像素，N为待重建高分辨率图像的分辨率，x_j为第j个高分辨率像素。

上述实施例中，在不考虑加性观测噪声的影响下，点光源经过成像系统后是会形成一个扩散图像的(并不是一个独立的点)，因此需要模拟这一成像现象来反推真实的点光源。

最终的损失函数需要比较重建的图像和真实图像之间的“差距”，因此在重建时加入点扩散函数实际上是对图像加上了一个逆低通滤波的过程，提高图像的清晰度，有利于损失函数的收敛。

其中，所述根据所述损失函数调整所述基准图像中各个像素点的值直至所述损失函数收敛包括：

采用梯度下降的方式对上述损失函数进行最小化，通过对损失函数求一阶导数，可以得到梯度的表达式如下：

其中，h_m,k为第K帧图像的退化算子，h_m,r为当前帧中第r个低分辨率像素的退化算子，x_m为第m个低分辨率像素，y_m为第m个高分辨率像素，Z_j为x_j的一阶导数；

得到梯度后，需要选择合适的步长来对损失函数进行更新，假设步长为εⁿ，则L(x^{n +1})＝L(xⁿ-εⁿg_k)，n为迭代轮数，L(xⁿ⁺¹)为第n+1轮的损失函数值，g_k为第k个像素的梯度值，可得：

其中

当训练到了一定的轮数，损失函数收敛后输出即为超分辨率重建图像。

其中，在所述重建图像中，依据所述目标辐射源周围预设区域的辐射均值确定所述目标辐射源的温度包括：根据重建后的图像选取目标辐射源中心点周围预设区域的辐射均值进行测温，本实施例中，选取周围3*3区域的辐射均值进行测温。

上述实施例中，由于红外测温需要被测物体在成像画面中具有一定的大小，太小的话会带来测温精度丢失的问题，其主要原因是因为红外探测器焦平面并不是一个理想的平面，获取到的红外辐射会在不同的象元之间产生反射、衍射等现象，所有需要取一定大小区域内像元获取到的辐射值经过处理才能得到最终的温度。

作为本发明的第二实施例，提供一种利用多帧图像重建提升红外测温距离的系统，所述系统包括初始化模块，数据采集模块、重建模块和测温模块；

所述初始化模块用于初始化基准图像；

所述数据采集模块用于微调红外探测器焦距，连续对目标辐射源进行图像采集，以获取多帧第一图像；

所述重建模块用于根据多帧所述第一图像对所述基准图像进行重建，得到重建图像；

所述测温模块用于在所述重建图像中，依据所述目标辐射源周围预设区域的辐射均值确定所述目标辐射源的温度。

本发明提供的一种利用多帧图像重建提升红外测温距离的方法及系统，通过前后对焦的方式采集目标辐射源的多帧辐射数据矩阵，经过插值、运动估计后利用一种基于参数估计的MAP图像超分辨率重建方法来重建目标源的高分辨率辐射数据矩阵，并根据重建后的辐射量进行测温工作。由于采用多帧图像重建的方法，所以不需要硬件上作出调整，降低了成本；相对于利用经验值来模拟远距离的测温数据，通过重建出的真实图像进行测温显然更具有可靠性。基于本发明提供的方法，在不增加额外硬件成本的情况下，可以使小分辨率的红外探测器提升10-20m的测温距离并且保证±2或者±2％(取大值)的测温精度。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种利用多帧图像重建提升红外测温距离的方法，其特征在于，所述方法包括：

初始化基准图像；

微调红外探测器焦距，连续对目标辐射源进行图像采集，以获取多帧第一图像；

对所述第一图像进行预处理，得到多帧第二图像；

建立所述第二图像与所述基准图像之间的损失函数，并对损失函数进行下降式的梯度值计算，得到所述梯度值后对损失函数进行预设轮数的收敛，损失函数收敛后输出重建图像；

在所述重建图像中，依据所述目标辐射源周围预设区域的辐射均值确定所述目标辐射源的温度。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像进行预处理，得到多帧第二图像包括：

修正所述目标辐射源在各帧所述第一图像中的位置；

通过点扩散函数对修正后的所述第一图像进行处理，得到多帧第二图像。

3.根据权利要求2所述的方法，其特征在于，所述修正所述目标辐射源在各帧所述第一图像中的位置包括：

从多帧所述第一图像中选取最清晰的图像，将该最清晰的图像作为参考图像，将其他第一图像作为退化图像；

将所述参考图像中的目标辐射源所在的区域作为初始模板,在所述退化图像中搜索与所述初始模板同样大小的最佳匹配块，根据所述最佳匹配块在所述退化图像中的位置，计算所述目标辐射源的位移；

基于所述位移修正所述退化图像中目标辐射源的位置，以使所述退化图像中的目标辐射源与所述参考图像中的目标辐射源处于相同的位置上。

4.根据权利要求2所述的方法，其特征在于，所述通过点扩散函数对修正后的所述第一图像进行处理，得到多帧第二图像包括：

通过最小均方误差MSE来计算目标辐射源的位移，具体公式如下：

公式一：

其中，M和N分别为搜索框的宽高，m和n分别为当前像素的行数和列数，i和j分别为当前搜索位置在x和y方向上的偏移量，MSE(i，j)为当前偏移下的均方误差，S_k(m、n)为目标框，S_k+1(m+i、n+j)为搜索框中相对于m、n位置偏移i、j个像素的匹配框。

5.根据权利要求2所述的方法，其特征在于，所述点扩散函数的具体公式如下：

公式二：

其中K是归一化常数，α是一个正常数，C是h(m,n)的圆形支持域。

6.根据权利要求1所述的利用多帧图 像重建提升红外测温距离的方法，其特征在于，所述建立多帧所述第二图像与所述基准图像之间的损失函数的公式如下：

公式三：

其中，σ_η为白噪声标准差，p为采集的第二图像的帧数，M为第二图像的分辨率，y_k,m为第k帧图像中的第m个像素点，h_k,m,r为第r个高分辨率像素对第k帧第r个低分辨率像素的影响，x_r为第r个低分辨率像素，N为待重建高分辨率图像的分辨率，x_j为第j个高分辨率像素，d_i，j是只考虑一阶邻域的拉普拉斯算子，λ为高通滤波器中的一个常量。

7.根据权利要求6所述的利用多帧图 像重建提升红外测温距离的方法，其特征在于，所述根据所述损失函数调整所述基准图像中各个像素点的值直至所述损失函数收敛包括：

采用梯度下降的方式对损失函数进行最小化，通过对损失函数求一阶导数，得到梯度的表达式为：

公式四：

其中，h_m,k为第K帧图像的退化算子，h_m,r为当前帧中第r个低分辨率像素的退化算子，x_m为第m个低分辨率像素，y_m为第m个高分辨率像素，Z_j为x_j的一阶导数；

得到梯度后，选择预设的步长来对损失函数进行更新，令步长为εⁿ，则L(xⁿ⁺¹)＝L(xⁿ-εⁿg_k)，n为迭代轮数，L(xⁿ⁺¹)为第n+1轮的损失函数值，g_k为第k个像素的梯度值，可得：

公式五：

其中：

其中，

为第n轮迭代中第r个像素的估计值，

为第n轮迭代中第j个像素的真实值；

不断对损失函数进行更新，当训练到了一定的轮数，损失函数收敛后即输出超分辨率重建图像。

8.一种利用多帧图像重建提升红外测温距离的系统，其特征在于，所述系统包括初始化模块，数据采集模块、重建模块和测温模块；

所述初始化模块用于初始化基准图像；

所述数据采集模块用于微调红外探测器焦距，连续对目标辐射源进行图像采集，以获取多帧第一图像；

所述重建模块用于对所述第一图像进行预处理，得到多帧第二图像；建立所述第二图像与所述基准图像之间的损失函数，并对损失函数进行下降式的梯度值计算，得到所述梯度值后对损失函数进行预设轮数的收敛，损失函数收敛后输出重建图像；

所述测温模块用于在所述重建图像中，依据所述目标辐射源周围预设区域的辐射均值确定所述目标辐射源的温度。

Images