CN116777808A - 一种红外可见光图像融合方法、设备及配准方法 - Google Patents

Abstract

本发明公开了一种红外可见光图像融合方法、设备及配准方法，该红外可见光图像融合方法提取各个标定距离下提取可见光图像与红外图像中标定板的圆心并保存，通过配准可见光图像各圆心与红外图像各圆心，计算各个距离下的仿射矩阵，对所有仿射仿射矩阵求取平均值，利用圆心与所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值并运用最邻近距离法求取各个距离下X方向偏移分量与Y方向偏移分量，最后用插值的方式得到各个距离下的X方向偏移分量与Y方向偏移分量，实现任意距离的可见光图像与红外图像的仿射矩阵生成，最终在红外图像上叠加上可见光高频信息实现融合，实现了在任意距离下双光图像配准与融合。

Description

一种红外可见光图像融合方法、设备及配准方法

技术领域

本发明属于图像处理技术技术领域，具体涉及一种红外可见光图像融合方法、设备及配准方法。

背景技术

现有的红外可见光融合方法大多基于定焦红外镜头和定焦可见光镜头进行图像采集，如CPU获得红外图像和可见光图像后，执行相应的双光融合算法将可见光图像中的目标细节叠加到红外图像上。

因为摄像头是定焦的，所以无论是红外还是可见光图像，都只是针对特定距离的目标场景，但是红外镜头通常无法与可见光镜头的焦距和视场角保持一致，在近距离目标场景中，物体成像大小不一致的现象就会表现得尤为明显，这就导致了当前业内的图像融合方法只在一段距离上的双光融合效果较好，对于近距离场景就会出现较大的图像融合误差。

现有的图像融合方法有：

1.基于各向异性扩散(anisotropic diffusion fusion，ADF)的方法，将原始图像分解为基础层和细节层，经过Karhunen-Loeve变换后再进行线性叠加，最终组合得到融合图像，算法易于实现、融合后的损失小，但最终的视觉效果并不理想。

2.基于卷积神经网络(convolutional neural networks，CNN)和基于残差神经网络(ResNet)的方法，搭建卷积神经网络和残差神经网络，通过大量的训练优化参数进而融合图像，融合图像的性能指标较优，但需要构建数据集、消耗大量时间来训练耗时较长。

3.基于梯度转移融合(gradienttransfer fusion，GTF)的方法，先构建了目标函数，通过迭代求解目标函数，使得融合后的图像更接近红外图像，并且保留了更多的外观信息，其优势在于融合后的视觉效果好，但由于需要迭代求解，算法无法达到实时处理的要求。

4.基于潜在低秩表示(latent low-rankrepresentation，LatLRR)的方法，先对原始图像进行分解得到低秩部分和显著部分，再用两种不同的策略进行融合，最后重建得到图像，但其视觉效果不是非常理想。

发明内容

本发明的目的在于克服现有技术中的至少一种缺陷，提供了一种红外可见光图像融合方法、设备及配准方法，本发明实现了在任意距离下双光图像配准与融合，能够实现实时性，同时达到不错的视觉效果。

本发明的技术方案是这样实现的：本发明公开了一种红外可见光图像融合方法，包括如下步骤：

获取可见光图像和红外图像；

进行双光图像融合，具体包括：获取当前目标距离，根据当前目标距离获得其对应的仿射矩阵，利用当前目标距离对应的仿射矩阵将可见光图像与红外图像进行融合。

进一步地，图像融合步骤前，还包括如下步骤：获得并保存设定距离下可见光图像对应红外图像的仿射矩阵。

进一步地，获得设定距离下可见光图像对应红外图像的仿射矩阵，具体包括：

在设定的各个标定距离下分别获取可见光图像和红外图像；

分别提取各个标定距离下的可见光图像与红外图像中标定板的圆心并保存，通过配准各个标定距离下可见光图像各圆心与红外图像各圆心，计算各个标定距离下的仿射矩阵；

根据各个标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵。

进一步地，根据设定标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵，具体包括：

对所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量求取平均值，利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量；

根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算得到各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量，生成各个设定距离下的仿射矩阵。

进一步地，生成各个设定距离下的仿射矩阵，具体包括：根据各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值生成各个设定距离下的仿射矩阵。

进一步地，修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，具体包括：

运用最邻近距离法修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量。

进一步地，根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算得到各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量，具体包括：根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，用插值法计算各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量。

进一步地，利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，计算各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，具体包括：

利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，运用最邻近距离法计算各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量。

进一步地，根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量，具体包括：根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，用插值法计算各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量。

进一步地，获取当前目标距离，根据当前目标距离获得其对应的仿射矩阵，具体包括：根据当前目标距离查表获得其对应的仿射矩阵，或根据当前目标距离查表获得其对应的仿射矩阵的X方向偏移分量和Y方向偏移分量，将当前目标距离下仿射矩阵的X方向偏移分量与Y方向偏移分量以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值赋给仿射矩阵，即可得到当前目标距离对应的仿射矩阵。

进一步地，利用当前目标距离对应的仿射矩阵将可见光图像与红外图像进行融合，得到融合图像，具体包括：根据当前目标距离对应的仿射矩阵对可见光图像进行仿射变换，将变换后的可见光图像与获取的红外图像进行融合，得到融合图像。

进一步地，将变换后的可见光图像与获取的红外图像进行融合，得到融合图像，具体包括：从变换后的可见光图像中提取可见光高频信息，将所述可见光高频信息叠加到红外图像上，得到融合图像。

进一步地，将所述融合图像转换为RGB融合图像。

进一步地，获取可见光图像和红外图像后首先进行畸变校正，然后将畸变校正后的可见光图像和红外图像用于下面步骤。

进一步地，获取当前目标距离后，还包括如下步骤：判断当前目标距离是否大于预设值，若是，则采用固定的裁剪缩放参数对可见光图像或红外图像进行缩放，得到缩放后的可见光图像或红外图像，将缩放后的可见光图像或红外图像用于图像融合，若否，则根据当前目标距离查表获得对应的裁剪缩放参数对可见光图像或红外图像进行缩放，得到缩放后的可见光图像或红外图像，将缩放后的可见光图像或红外图像用于图像融合步骤。

本发明还公开了一种红外可见光图像融合设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述红外可见光图像融合方法的步骤。

本发明还公开了一种红外可见光图像配准方法，包括如下步骤：

在设定的各个标定距离下分别获取可见光图像和红外图像；

分别提取各个标定距离下的可见光图像与红外图像中标定板的圆心并保存，通过配准各个标定距离下可见光图像各圆心与红外图像各圆心，计算各个标定距离下的仿射矩阵；

根据各个标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵。

本发明至少具有如下有益效果：

本发明提出了一种多距离可见光红外双光标定与融合方法，该方法在各个标定距离下提取可见光图像与红外图像中标定板的圆心并保存，通过配准可见光图像各圆心与红外图像各圆心，计算各个标定距离下的仿射矩阵，对所有仿射仿射矩阵求取平均值，利用圆心与所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值并运用最邻近距离法求取各个距离下X方向偏移分量与Y方向偏移分量，最后用插值的方式得到各个距离下的X方向偏移分量与Y方向偏移分量，实现任意距离的可见光图像与红外图像的仿射矩阵生成，最终在红外图像上叠加可见光高频信息实现融合，实现了在任意距离下双光图像配准与融合，能够实现实时性，同时达到不错的视觉效果。

本发明的方法能够在标定阶段实现自动化流程，只需要采图便能够完成自动化标定流程生成数据；全自动化流程节省人力物力。

本发明的方法能够实现不同视场的红外与可见光图像融合效果，即添加红外图像的特征，叠加以可见光的边缘信息，达到不错的视觉效果。

本发明的方法能够在APP端实现算法的实时处理，使得融合的图像帧率满足认人眼视觉需求，达到实时融合的效果。

本发明方法还提出了一种基于激光测距模块的红外可见光融合方法，该方法利用激光测距模块获取的目标距离动态的调整可见光图像的裁剪缩放参数，从而能够解决近距离场景下双光融合图像不一致的问题。该方法简单有效，效率高，适合应用在低成本的产品开发方案中。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的红外可见光图像配准方法的流程图；

图2为本发明一种实施例提供的红外可见光图像融合方法的流程图；

图3为本发明实施例提供的畸变校正的流程图；

图4为高动态范围红外图像IR标定板圆心提取排序示意图；

图5为可见光图像VIS标定板圆心提取排序示意图；

图6为本发明另一种实施例提供的红外可见光图像融合方法的流程图；

图7为本发明一种实施例提供的摄像头与测距模块的外形设计示意图；

图8为1.5米时采用固定的放大参数进行双光融合效果图；

图9为0.5米时采用固定的放大参数进行双光融合效果图；

图10为0.5米时采用更新后的合适参数进行双光融合效果图；

图11为高动态范围红外图像IR；

图12为融合图像；

图13为本发明实施例提供的标定板的结构示意图；

图14为本发明实施例提供的标定板的剖视图；

图15为图14的P部放大图；

图16为本发明实施例提供的红外双光融合测试装置的结构示意图；

图17为本发明实施例提供的红外双光融合测试装置的发热靶标箱的爆炸图；

图18为本发明实施例提供的红外双光融合测试装置的发热单元的结构示意图；

图19为本发明实施例提供的红外双光融合测试装置的机架的爆炸图。

附图中，1为机箱，2为发热单元，21为热源体，211为第一安装孔，212为第二安装孔，22为加热元件，23为温度检测元件，24为第一隔热板，3为热源固定板，4为第二隔热板，5为标定板，51为标定板本体，52为第一靶标孔，53为第二靶标孔，6为钣金门组件，7为指示灯，8为人机界面，9为电源开关，10为启动开关，11为机架，111为机体架，112为固定板，113为双开钣金门，114为不锈钢盖板，115为机架底板，116为脚轮。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例一

参见图1，本发明实施例提供一种红外可见光图像配准方法，包括如下步骤：

在设定的各个标定距离下分别获取配对的可见光图像和红外图像；

分别提取各个标定距离下的可见光图像与红外图像中标定板的圆心并保存，通过配准各个标定距离下可见光图像各圆心与红外图像各圆心，计算各个标定距离下的仿射矩阵；

根据各个标定距离下的仿射矩阵计算得到任意距离的可见光图像对应红外图像的仿射矩阵。

进一步地，根据各个标定距离下的可见光图像对应红外图像的仿射矩阵计算得到任意距离下的可见光图像对应红外图像的仿射矩阵，具体包括：

对所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量求取平均值，得到所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，其中，仿射矩阵包含X方向缩放分量a11、X方向旋转分量a12、Y方向旋转分量a21、Y方向缩放分量a22以及X方向偏移分量t1与Y方向偏移分量t2；

利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，重新计算各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量(如果不重新计算，则无法实现偏移分量规律性递增或递减)，得到修正后各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量；

根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算任意距离下仿射矩阵的X方向偏移分量与Y方向偏移分量；

根据各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值即可生成任意距离下的仿射矩阵。即将各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量赋给仿射平均矩阵或者将各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值赋仿射矩阵，即可生成任意距离下的仿射矩阵。

对所有标定距离下的仿射矩阵求取平均值，得到仿射平均矩阵。

进一步地，利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值(即各个标定距离下仿射矩阵中旋转与缩放矩阵的均值)，反算各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量。

进一步地，利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，运用最邻近距离法计算各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量。

本发明的最邻近距离法的方法原理为：单个距离下，循环带入可见光标定图像中各个圆心的坐标，并通过对应的红外标定图像中圆心坐标能够计算出每个圆心坐标对应的一组X方向上的偏移向量与Y方向上的偏移向量，例如可见光标定图像中排序后第一个圆心对应红外标定图像中排序后第一个圆心，计算出对应的X方向上偏移向量与Y方向上偏移向量，记an,bn，然后再通过遍历此距离下所有圆心对应的红外标定图像圆心，计算出可见光标定图像圆心转换到红外标定图像上圆心，并计算与红外标定图像提取出圆心的直线距离dis；例如红外标定图像和可见光标定图像中各提取25个圆心，则循环25遍，累加获取直线距离最小值得一组an,bn记作当前距离底下X方向上偏移向量与Y方向上偏移向量。

利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，运用最邻近距离法计算各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，具体包括：单个标定距离下，获取该标定距离下的可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，针对每一对相对应的可见光标定图像圆心与红外标定图像圆心，先获得X方向偏移分量和Y方向偏移分量以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，形成新的仿射矩阵(一对相对应的可见光标定图像圆心与红外标定图像圆心对应一个新的仿射矩阵)，利用每一个新的仿射矩阵计算出各个可见光标定图像圆心转换到红外标定图像上的圆心坐标记为红外标定图像上的第二圆心，并计算出其与对应的红外标定图像中的第一圆心坐标(即提取的红外标定图像中的圆心)的X方向上的偏移向量与Y方向上的偏移向量以及直线距离dis，对所有圆心对应的直线距离dis进行求和，得到各个新的仿射矩阵对应的直线距离累加值，一个新的仿射矩阵对应一组X方向上的偏移向量与Y方向上的偏移向量，记为an和bn，将直线距离累加值中最小值对应的一组X方向上的偏移向量与Y方向上的偏移向量作为当前标定距离下的X方向上偏移向量与Y方向上偏移向量。

进一步地，根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算任意距离下仿射矩阵的X方向偏移分量与Y方向偏移分量，具体包括：根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，用插值法计算任意距离下仿射矩阵的X方向偏移分量与Y方向偏移分量。

基于同一发明构思，本发明还提供了一种红外可见光图像配准设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述红外可见光图像配准方法的步骤。红外可见光图像配准设备还包括可见光摄像头、红外摄像头和测距模块。

实施例二

参见图1和图2，本发明实施例提供一种红外可见光图像融合方法，包括如下步骤：

获得并保存设定距离(任意距离或各个距离)下可见光图像对应红外图像的仿射矩阵；

获取配对的可见光图像和红外图像；

进行双光图像融合，具体包括：获取当前目标距离，根据当前目标距离获得其对应的仿射矩阵，利用当前目标距离对应的仿射矩阵将可见光图像与红外图像进行融合，得到融合图像。

进一步地，获得各个距离下可见光图像对应红外图像的仿射矩阵，可以采用如下步骤：

在设定的各个标定距离下分别获取配对的可见光图像和红外图像；

分别提取各个标定距离下的可见光图像与红外图像中标定板的圆心并保存，通过配准各个标定距离下可见光图像各圆心与红外图像各圆心，计算各个标定距离下的仿射矩阵；

根据各个标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵。

进一步地，根据各个标定距离下的可见光图像对应红外图像的仿射矩阵计算得到任意距离下的可见光图像对应红外图像的仿射矩阵的具体方法参见实施例一。

进一步地，获取当前目标距离，根据当前目标距离获得其对应的仿射矩阵，具体包括：根据当前目标距离查表获得其对应的仿射矩阵，或根据当前目标距离查表获得其对应的仿射矩阵的X方向偏移分量和Y方向偏移分量，根据当前目标距离下仿射矩阵的X方向偏移分量与Y方向偏移分量以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值生成当前目标距离下的仿射矩阵即将当前目标距离下仿射矩阵的X方向偏移分量与Y方向偏移分量以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值带入仿射矩阵，即可得到当前目标距离下的仿射矩阵。

进一步地，利用当前目标距离对应的仿射矩阵将可见光图像与红外图像进行融合，得到融合图像，具体包括：根据当前目标距离对应的仿射矩阵对可见光图像进行仿射变换，将红外图像与变换后的可见光图像进行融合，得到融合图像。

进一步地，将红外图像与变换后的可见光图像进行融合，得到融合图像，具体包括：从变换后的可见光图像中提取可见光高频信息，将所述可见光高频信息叠加到红外图像上，得到融合图像。

进一步地，将所述融合图像转换为RGB融合图像。

进一步地，获取可见光图像和红外图像后首先进行畸变校正，然后将畸变校正后的可见光图像和红外图像用于标定步骤或/和图像融合步骤。

进一步地，获取当前目标距离后，还包括如下步骤：判断当前目标距离是否大于预设值，若是，则断定目标在红外镜头和可见光镜头的焦距重合范围内，此时，采用固定的裁剪缩放参数对可见光图像进行缩放，得到缩放后的可见光图像，将缩放后的可见光图像用于图像融合步骤，若否，则断定目标在红外镜头和可见光镜头共有的焦距重合区域以外，此时，根据当前目标距离查表获得对应的裁剪缩放参数对可见光图像进行缩放，得到缩放后的可见光图像，将缩放后的可见光图像用于图像融合步骤。

下面通过具体的例子对上述过程进行详细介绍。

一种红外可见光图像融合方法，包括如下步骤：

标定流程：获取各个距离下可见光图像对应红外图像的仿射矩阵；

图像融合流程：通过霍尔反差表获取目标距离，查表获取对应距离下的仿射矩阵进行实时计算显示融合后图像。

标定流程，具体包括：

获取14bit/16bit高动态范围红外图像IR与8bit可见光图像VIS。

识别14bit/16bit高动态范围红外图像IR与8bit可见光图像VIS上的标定板的圆心，分别存储为ir_centerCiclePoints与vis_centerCiclePoints并排序，参见图4和图5。

根据vis_centerCiclePoints和ir_centerCiclePoints进行配准，得到仿射矩阵VISToIRMatrixs。

AffineTransTable(vis_centerCiclePoints,ir_centerCiclePoints,VISToIRMatrixs)；

采用上述流程在设定标定距离下进行标定，如本实施例设置有9个标定距离，从1米到9米一共9组，当然，标定距离的数量不仅仅限于9个，还可根据需要调整，保存下所有提取到的圆心vis_centerCiclePointList与ir_centerCiclePointList并将可见光图像圆心与红外图像圆心一一对应上，从而生成各个距离下的仿射矩阵VISToIRMatrixs。

把9组数据下的仿射矩阵中的旋转与缩放分量进行取平均值(即a11,a12,a21,a22)，存为VISToIRMatrix_average，表示为：

仿射矩阵中，a11代表X方向上缩放比例，a12代表X方向旋转比例，a21代表Y方向旋转比例，a22带包Y方向上缩放比例，t1代表X方向上平移距离，t2代表Y方向上平移距离，二维图像中，在仿射变换中X方向向量与Y方向向量存在不同的差异性。

例，在本实施例中，1米距离处，a11＝2.71771，a12＝0.0005355351,t1＝-1027.16,a21＝-0.00148628，a22＝2.77923,t2＝-1125.53。

研究发现，在近距离时X方向偏移距离变化更大，而距离较远时变化几乎可以忽略不计。

利用保存的vis_centerCiclePointList与ir_centerCiclePointList，同时利用VISToIRMatrix_average平均仿射矩阵，采用最邻近偏移距离方法计算各个距离下X方向分量t1与Y方向分量t2。

ReverseCalAffineTransTable(vis_centerCiclePoints,ir_centerCiclePoints)；

根据每组计算得到的t1和t2分别进行插值，以10厘米为单位计算1至20米的各个距离下的t1与t2值，其中x，y取值范围1～9米，range为1～20米，间隔为0.1米，输出为X方向偏移向量与Y方向偏移向量的查找表；

Interp1HermitePchip(distance,x,range,t1)；

Interp1HermitePchip(distance,y,range,t2)；

最后根据霍尔反差表获取目标距离，根据目标距离查表获取对应距离下的t1与t2值，赋给VISToIRMatrix_average，用于计算当前距离下的融合图像。

图像融合流程，具体包括：

获取14bit/16bit高动态范围红外图像IR与8bit可见光图像VIS。一种实施例的高动态范围红外图像IR参见图11所示。

将14bit/16bit高动态范围红外图像IR与8bit可见光图像VIS转换为YUV420格式IR_yuv与VIS_yuv。

bgrtoyuv420(IR_yuv,IR.data,n_ir_width,n_ir_height)；

根据霍尔值反差表获取当前距离，根据标定存储文件和距离得到该距离下的仿射矩阵：

VISToIRMatrixs＝SetAffineMat(distance)；

对VIS_yuv中Y分量根据上一步所得仿射矩阵进行仿射变换，然后提取高频信息，叠加到IR_yuv中Y分量上，得到FusionImgYUV；

FusionImgYUV＝ImgRegAndFusYUV(VISToIRMatrixs)；

将叠加信息的IR_yuv转换为RGB图像并显示，融合图像参见图12所示。

yuv420tobgr(Imgfuse.data,FusionImgYUV,n_ir_width,n_ir_height)。

获取可见光图像和红外图像后首先进行畸变校正，然后将畸变校正后的可见光图像和红外图像用于标定流程和图像融合流程。

图像几何变换的一个重要应用是消除由于摄像机导致的数字图像的几何畸变。通过计算机图像处理系统将几何失真的图像恢复到正常状态，即为图像畸变的几何校正。建立几何校正的数学模型，再利用已知条件确定模型参数；最后利用模型对图像进行几何校正；参见图3，畸变校正具体步骤如下：

1.采集标定板图像，大约十五张左右；

2.根据使用的标定板确定标定板的内点数，找出标定板的圆心坐标；

3.进一步提取亚像素角点信息；

4.通过opencv函数calibrateCamera计算并获取相机的内参矩阵和畸变系数；

5.畸变图像的校正修复，通过opencv函数undistort得到畸变校正后图像。

标定流程和图像融合流程都是采用畸变校正后14bit/16bit高动态范围红外图像IR与8bit可见光图像VIS。

基于同一发明构思，本发明还提供了一种红外可见光图像融合设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述红外可见光图像融合方法的步骤。红外可见光图像融合设备还包括可见光摄像头、红外摄像头和测距模块。

基于同一发明构思，本发明还提供了一种红外可见光图像融合装置，包括：

仿射矩阵获得模块，用于获得并保存设定距离下可见光图像对应红外图像的仿射矩阵；

可见光图像获取模块，用于获取可见光图像；

红外图像获取模块，用于获取红外图像；

距离获取模块，用于获取当前目标距离；

图像融合模块，用于根据当前目标距离获得其对应的仿射矩阵，根据当前目标距离对应的仿射矩阵对可见光图像进行仿射变换，将红外图像与变换后的可见光图像进行融合，得到融合图像。

可见光与红外的视场有差别，本发明实现了在任意距离下双光图像配准与融合，能够实现实时性，同时达到不错的视觉效果。本发明的方法能够在标定阶段实现自动化流程，只需要采图便能够完成自动化标定流程生成数据，全自动化流程节省人力物力；本发明的方法能够实现不同视场的红外与可见光图像融合效果，即添加红外图像的特征，叠加以可见光的边缘信息(即提取出可见光YUV中的Y通道，经过配准后，在通过原始Y通过减去经过均值滤波后的Y通道提取边缘信息，然后叠加到红外YUV的Y通道上，得到融合图像YUV，再转换回融合图像RGB显示)，达到不错的视觉效果。本方法能够有效的在安卓端实现实时处理，同时视觉效果体验较好。

本发明的方法能够在APP端实现算法的实时处理，使得融合的图像帧率满足认人眼视觉需求，达到实时融合的效果。

实施例三

参见图6，本发明实施例提供一种红外可见光图像融合方法，包括如下步骤：

获取配对的可见光图像和红外图像；

获取当前目标距离，判断当前目标距离是否大于预设值(如1.2米，可以根据需要设定)，若是，则断定目标在红外镜头和可见光镜头的焦距重合范围内，此时，采用固定的裁剪缩放参数对可见光图像或红外图像进行缩放，得到缩放后的可见光图像或红外图像，若否，则断定目标在红外镜头和可见光镜头共有的焦距重合区域以外，此时，根据当前目标距离获得对应的裁剪缩放参数对可见光图像或红外图像进行缩放，得到缩放后的可见光图像或红外图像；

将缩放后的可见光图像与未缩放处理的红外图像进行双光图像融合或将缩放后的红外图像与未缩放处理的可见光图像进行双光图像融合。

进一步地，将缩放后的可见光图像与未缩放处理的红外图像进行双光图像融合，具体包括：根据当前目标距离获得其对应的仿射矩阵，根据当前目标距离对应的仿射矩阵对缩放后的可见光图像进行仿射变换，将红外图像与变换后的可见光图像进行融合，得到融合图像。

进一步地，将缩放后的红外图像与未缩放处理的可见光图像进行双光图像融合，具体包括：根据当前目标距离获得其对应的仿射矩阵，根据当前目标距离对应的仿射矩阵对未缩放处理的可见光图像进行仿射变换，将红外图像与变换后的可见光图像进行融合，得到融合图像。

根据当前目标距离获得其对应的仿射矩阵，具体包括：根据当前目标距离查表获得其对应的仿射矩阵，或根据当前目标距离查表获得其对应的仿射矩阵的X方向偏移分量和Y方向偏移分量，将当前目标距离下仿射矩阵的X方向偏移分量与Y方向偏移分量赋给存储的仿射平均矩阵(对所有标定距离下的仿射矩阵求取平均值得到仿射平均矩阵)，即可得到当前目标距离下的仿射矩阵。

进一步地，获得各个距离下可见光图像对应红外图像的仿射矩阵，可以采用如下步骤：

在设定的各个标定距离下分别获取配对的可见光图像和红外图像；

分别提取各个标定距离下的可见光图像与红外图像中标定板的圆心并保存，通过配准各个标定距离下可见光图像各圆心与红外图像各圆心，计算各个标定距离下的仿射矩阵；

根据各个标定距离下的仿射矩阵计算得到任意距离下的可见光图像对应红外图像的仿射矩阵。

进一步地，根据各个标定距离下的可见光图像对应红外图像的仿射矩阵计算得到任意距离下的可见光图像对应红外图像的仿射矩阵，具体包括：

对所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量求取平均值，其中，仿射矩阵包含X方向缩放分量a11、X方向旋转分量a12、Y方向旋转分量a21、Y方向缩放分量a22以及X方向偏移分量t1与Y方向偏移分量t2；

利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，计算各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，得到修正后各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量；

根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算任意距离下仿射矩阵的X方向偏移分量与Y方向偏移分量；

将任意距离下仿射矩阵的X方向偏移分量与Y方向偏移分量以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值赋给仿射矩阵，即可生成任意距离下的仿射矩阵，即任意距离下的仿射矩阵中X、Y方向上的旋转与缩放分量与所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值相同。

进一步地，利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，计算各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，具体包括：

利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，运用最邻近距离法计算各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量。

进一步地，根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算任意距离下仿射矩阵的X方向偏移分量与Y方向偏移分量，具体包括：根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，用插值法计算任意距离下仿射矩阵的X方向偏移分量与Y方向偏移分量。

进一步地，当前目标距离小于预设值时，根据当前目标距离查表获得对应的裁剪缩放参数对可见光图像或红外图像进行缩放，得到缩放后的可见光图像或红外图像，将缩放后的可见光图像或红外图像用于图像融合步骤。

本发明的方法利用激光测距模块获取的目标距离动态的调整可见光图像或红外图像的裁剪缩放参数，从而能够解决近距离场景下双光融合图像不一致的问题。该方法简单有效，效率高，适合应用在低成本的产品开发方案中。

本发明可以采用ST公司生产的VL53L1X型近距离低功耗激光测距模块来实时测量目标距离。VL53L1X是ST推出的第三代FlightSense技术的飞行时间传感器，采用ST最新的ToF技术，测距长度达到4米，测距频率可达50Hz。VL53L1X集成了物理红外滤波器和光学元件，无论目标颜色和反射率如何，都可以进行距离测量，抗干扰能力更强。

摄像头与测距模块的外形设计如图7所示，激光测距模块3安装在红外摄像头2和可见光摄像头1的中间位置有助于测距准确。中距测量模式下VL53L1X的测距长度是2.9米，在短距测量模式下的1.3米的测量精度能够达到±25mm，已经能够满足本方案的设计精度需求。

测距模块实时更新目标距离，如果目标距离大于预设值如1.2米，则断定目标在红外镜头和可见光镜头的焦距重合范围内，此时采用固定的放大参数进行双光融合，效果如图8所示；如果目标距离小于预设值如1.2米，则断定目标在两个摄像头共有的焦距重合区域以外，此时，查询距离与放大倍率的索引表去选择合适的放大倍率来进行双光图像融合，效果如图10所示。图9为0.5米时采用固定的放大参数即传统方案进行双光融合效果图，对比图9和图10可知，采用本发明的方法进行双光图像融合的效果明显比传统方案好。

为了得到1.2米以内合适的裁剪缩放参数，需要预先做实验，来获取合适的值。

实验方法是，在如下不同的距离点来手动设置合适的裁剪缩放，并记录下来，直到得到每个距离位置的相关参数。在实际实验中，我们得到的结果即近距离缩放参数索引表如表1所示：

表1

表1中，w表示裁剪区域图像的宽度，x表示裁剪图像相对原图像的横向偏移坐标，h表示裁剪区域图像的高度，y表示裁剪图像相对原图像的纵向偏移坐标，得到该索引表之后以数组的方式写入算法中，需要时直接查询即可。

本发明提出了一种基于激光测距模块的红外可见光图像融合方法，该方法

解决了不同焦距的红外，可见光镜头近距离融合不匹配的问，且方法简单，计算量小，效果好，并且功耗低，可以应用在小型嵌入式设备上，对平台要求低，嵌入式平台均可运行。

基于同一发明构思，本发明还提供了一种红外可见光图像融合装置，包括：

可见光图像获取模块，用于获取可见光图像；

红外图像获取模块，用于获取红外图像；

距离获取模块，用于获取当前目标距离；

图像缩放模块，用于判断当前目标距离是否大于预设值，若是，则断定目标在红外镜头和可见光镜头的焦距重合范围内，此时，采用固定的裁剪缩放参数对可见光图像进行缩放，得到缩放后的可见光图像，若否，则断定目标在红外镜头和可见光镜头共有的焦距重合区域以外，此时，根据当前目标距离获得对应的裁剪缩放参数对可见光图像进行缩放，得到缩放后的可见光图像；

图像融合模块，用于将缩放后的可见光图像与红外图像进行双光图像融合。

进一步地，红外可见光图像融合装置还包括仿射矩阵获得模块，仿射矩阵获得模块用于获得并保存设定距离下可见光图像对应红外图像的仿射矩阵。

基于同一发明构思，本发明还提供了一种红外可见光图像融合设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述红外可见光图像融合方法的步骤。红外可见光图像融合设备还包括可见光摄像头、红外摄像头和测距模块。

所述处理器在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器通常用于控制所述电子设备的总体操作。本实施例中，所述处理器用于运行所述存储器中存储的程序代码或者处理数据，例如红外可见光图像融合方法的程序代码。

所述存储器至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器可以是所述电子设备的内部存储单元，例如该电子设备的硬盘或内存。在另一些实施例中，所述存储器也可以是所述电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(SmartMedia Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器还可以既包括所述电子设备的内部存储单元也包括其外部存储设备。本实施例中，所述存储器通常用于存储安装于所述电子设备的操作方法和各类应用软件，例如红外可见光图像融合方法的程序代码等。此外，所述存储器还可以用于暂时地存储已经输出或者将要输出的各类数据。

基于同一发明构思，本发明还提供了一种可读存储介质，所述可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的红外可见光图像融合方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中配对的可见光图像和红外图像是通过可见光摄像头、红外摄像头在临近或相同位置对同一物体进行拍照得到的可见光图像、红外图像。

实施例四

参见图13至图15，本发明实施例公开了一种标定板，包括标定板本体51，所述标定板本体51上设有至少两组靶标孔，每组靶标孔均包含多个靶标孔，同一组靶标孔内的靶标孔孔径相同，不同组靶标孔的靶标孔孔径不同。

进一步地，每组靶标孔一一对应一个区域，每组靶标孔对应的区域的面积不同，每组靶标孔内的所有靶标孔需位于对应的区域内。

进一步地，当第一组靶标孔对应的区域的面积大于第二组靶标孔对应的区域的面积时，第一组靶标孔的靶标孔孔径大于第二组靶标孔的靶标孔孔径。区域之间可以覆盖，如大区域可以完全覆盖小区域。

进一步地，每组靶标孔对应的区域为圆形区域或多边形区域(多边形区域包括三角形区域、四边形区域、五边形区域等)。即每组靶标孔对应的区域为圆形区域、三角形区域、四边形区域、五边形区域等中的一种。本实施例每组靶标孔对应的区域为矩形区域。

进一步地，多组靶标孔对应的区域的中心相同。

进一步地，多组靶标孔对应的区域与标定板5的中心相同。

进一步地，每组靶标孔包含的靶标孔的数量至少为三个，每组靶标孔的所有靶标孔不全在一条直线上。

进一步地，每组靶标孔的所有靶标孔呈阵列分布。

进一步地，每组靶标孔的所有靶标孔呈阵列分布形成阵列后，各个阵列的中心相同。

进一步地，每个阵列中每排相邻的两个靶标孔的圆心之间的间距相等，每列相邻的两个靶标孔的圆心之间的间距相等。

进一步地，所述靶标孔为圆孔，靶标孔的背面孔口设有倒角。靶标孔的背面孔口设置倒角后，其具有相连的圆孔段和圆锥孔段，圆孔段远离热源模块，圆锥孔段靠近热源模块(圆锥孔段靠近热源模块的方向其孔径逐近变大)，圆锥孔段的最小孔径与圆孔段的孔径相等。

进一步地，所述标定板本体的正面采用消光白磨砂处理，标定板本体的背面采用亮黑高反处理。

一种实施例的标定板本体51上设有两组靶标孔，分别为第一组靶标孔和第二组靶标孔，第一组靶标孔包括多个第一靶标孔52(大圆孔)，第二组靶标孔包括多个第二靶标孔53(小圆孔)，所述第一靶标孔52的孔径大于第二靶标孔53的孔径，所有第一靶标孔52均位于第一区域内，所有第二靶标孔53均位于第二区域内。

进一步地，所述第一区域为第一矩形区域，第一矩形区域的长为800mm，宽为600mm；所述第二区域为第二矩形区域，第二矩形区域的长为70mm，宽为50mm。

进一步地，第一矩形区域与第二矩形区域的中心相同。

进一步地，第一矩形区域、第二矩形区域与标定板5的中心相同。

进一步地，所述第一靶标孔52、第二靶标孔53的数量至少为三个，所有第一靶标孔52不全在一条直线上，所有第二靶标孔53不全在一条直线上。

第一靶标孔52、第二靶标孔53的直径根据需要设置，一种实施例的第一靶标孔52的直径为100mm，第二靶标孔53的直径为10mm。

进一步地，多个第一靶标孔52呈阵列分布，形成第一阵列，多个第二靶标孔53呈阵列分布，形成第二阵列，第一阵列的中心与第二阵列的中心相同。

进一步地，第一阵列中每排相邻的两个第一靶标孔52的圆心之间的间距相等。每列相邻的两个第一靶标孔52的圆心之间的间距相等。

进一步地，第二阵列中每排相邻的两个第二靶标孔53的圆心之间的间距相等。每列相邻的两个第二靶标孔53的圆心之间的间距相等。

进一步地，所述第一靶标孔52、第二靶标孔53为圆孔，第一靶标孔52、第二靶标孔53的背面孔口均设有倒角。本实施例的标定板5的厚度为3mm，且材质为铝合金材质。

一种标定板5的具体实施例为：标定板本体51上加工有六个第一靶标孔52(第一靶标孔52为大圆孔，直径100mm)和六个第二靶标孔53(第二靶标孔53为小圆孔，直径10mm)，每个孔的背面孔口倒角1.5x60°mm，加工完成后标定板本体51的正面即朝外的一面进行做消光白磨砂处理，标定板本体51的背面即朝内的一面进行亮黑高反处理。

本实施例六个第一靶标孔52布置成两排三列的第一阵列，第一阵列中每排相邻的两个第一靶标孔52的圆心之间的间距均为200mm。第一阵列中每列相邻的两个第一靶标孔52的圆心之间的间距均为200mm。

本实施例六个第二靶标孔53布置成两排三列的第二阵列，第二阵列中每排相邻的两个第二靶标孔53的圆心之间的间距均为20mm。第二阵列中每列相邻的两个第一靶标孔52的圆心之间的间距均为20mm。

本实施例第一阵列的中心、第二阵列的中心与标定板5的中心相同。

参见图13至图19，本发明实施例提供了一种红外双光融合测试装置，包括热源模块以及标定板5，所述热源模块用于为标定板5提供热源。

实施例一所述的红外可见光图像配准方法可以采用本实施例的标定板5进行标定。

各组靶标孔一一对应一个距离范围，获得红外热成像装置与标定板5之间的距离，将红外热成像装置与标定板5之间的距离与设定多个距离范围进行比较，判断红外热成像装置与标定板5之间的距离处于哪个距离范围，当红外热成像装置与标定板5的距离处于某一距离范围内时，则使用该距离范围对应的一组靶标孔进行标定(即红外可见光图像配准)或测试(标定时，提取该标定距离下的可见光图像与红外图像中标定板的该组靶标孔圆心并保存，然后进行标定)。

如当标定板5上设置两组靶标孔，分别为第一组靶标孔(一组大圆孔)和第二组靶标孔(一组小圆孔)时，通过红外热成像装置采集配对的可见光图像和红外图像，将红外热成像装置与标定板5之间的距离与设定的第一距离(如2米)进行比较，当红外热成像装置与标定板5的距离小于或等于第一距离(如2米)时，使用第二靶标孔53(小圆孔)进行标定(即提取该标定距离下的可见光图像与红外图像中标定板的第二靶标孔圆心即小圆圆心并保存，然后进行标定)，当红外热成像装置与标定板5的距离大于第一距离(如2米)时，使用第一靶标孔52(大圆孔)进行标定(即提取该标定距离下的可见光图像与红外图像中标定板的第一靶标孔圆心即大圆圆心并保存，然后进行标定)。一般认为红外热成像装置与标定板5的距离小于或等于2米时，认为距离较近，大于2米时，认为距离较远。

进一步地，所述热源模块包括至少一个发热单元，各组靶标孔对应一个或多个发热单元。

进一步地，至少一组靶标孔对应多个发热单元。

进一步地，至少一组靶标孔对应一个发热单元。

进一步地，当某一组靶标孔对应多个发热单元时，该组靶标孔内的各靶标孔一一对应一个发热单元。

参见图13，本实施例的标定板5上设置两组靶标孔，分别为第一组靶标孔和第二组靶标孔，第一组靶标孔包括多个第一靶标孔52(大圆孔)，第二组靶标孔包括多个第二靶标孔53(小圆孔)。

进一步地，标定板5的每个第一靶标孔52一一对应一个发热单元(即第一发热单元)，标定板5的所有第二靶标孔53均对应一个发热单元(即第二发热单元)。第一发热单元与第二发热单元的尺寸根据需要可能有区别。本实施例的第一发热单元的尺寸大于第二发热单元的尺寸。

本实施例一共有七个发热单元，包括六个第一发热单元和一个第二发热单元，六个第一发热单元与标定板5的六个第一靶标孔52一一对应，且相对设置，各第一发热单元分别给标定板5上相对应的第一靶标孔52提供热源。一个第二发热单元与标定板5的六个第二靶标孔53对应，通过一个第二发热单元给标定板5的六个第二靶标孔53提供热源。

进一步地，发热单元包括热源体21，所述热源体21内安装有加热元件22和温度检测元件23，所述加热元件22与控制器的输出端连接，温度检测元件23与控制器的输入端连接，所述控制器与指令输入单元和/或显示单元连接。

各个发热单元单独控制。

进一步地，所述加热元件22可以为加热棒，温度检测元件23可以为热电偶。

本实施例的第一发热单元的热源体21内采用两个加热棒和一个热电偶。

本实施例的第二发热单元的热源体21内采用一个加热棒和一个热电偶。

本实施例的热源体21为矩形块，热源体21上设有用于安装加热棒的第一安装孔211和用于安装热电偶的第二安装孔212，加热棒的引出端、热电偶的引出端外伸出热源体21。

热源体21的矩形块的材质选择导热材料较好的材料，如本实施例的热源体21的矩形块的材质为铝。热源体21即铝板表面做亮黑高反处理，以提高成像品质。

进一步地，所述发热单元通过第一隔热板24与热源固定板3连接，热源固定板3安装在标定板5的背面。本实施例的所述第一隔热板24采用云母纤维板，起到隔热作用。热源体21与热源固定板3之间采用第一隔热板24固定，不与热源固定板3接触。

热源固定板3上设有用于安装发热单元的安装孔。本实施例的热源体21安装在热源固定板3的安装孔内。

标定板5与热源固定板3之间设有第二隔热板4，所述热源固定板3、第二隔热板4、标定板5依次连接，所述第二隔热板4上设有用于供发热单元的热源通过的通孔。

本实施例的第二隔热板4采用云母纤维板，起到隔热作用。

进一步地，各个发热单元与第一隔热板24一一对应连接，如通过螺栓固定连接，第一隔热板24与热源固定板3连接，如通过螺栓固定连接。

进一步地，所述第二隔热板4上设有多个用于供第一发热单元的热源通过的第一通孔，所述第二隔热板4上的第一通孔与标定板5上的第一靶标孔52一一对应，并相对设置。第二隔热板4上的第一通孔的孔径根据需要设置，使得第一发热单元的热源能够通过对应的第一通孔到达对应的第一靶标孔52。

进一步地，所述第二隔热板4上设有一个或多个用于供第二发热单元的热源通过的第二通孔。本实施例的第二隔热板4上设有一个用于供第二发热单元的热源通过的第二通孔，该第二通孔与标定板5上的所有第二靶标孔53相对设置。

第二通孔的数量以及尺寸根据需要设置，使得第二发热单元的热源能够通过第二通孔到达第二靶标孔53。

进一步地，热源固定板3、第二隔热板4、标定板5之间通过螺栓连接。热源固定板3、第二隔热板4、标定板5上分别设有螺栓孔。

本实施例的热源固定板3、第二隔热板4、标定板5均为矩形，且热源固定板3、第二隔热板4、标定板5的长度相等，宽度相等。本发明的方案不限于上述实施例。

进一步地，所述热源固定板3、第二隔热板4、标定板5依次连接后形成发热靶标组合体，所述发热靶标组合体固定在一机箱1上，形成发热靶标箱。本实施例将整个发热靶标组合体通过螺钉固定在钣金机箱1上面。

如图17所示，整个机箱1(如钣金机箱)使用2mm钢板加工，完成后喷塑黑色漆处理。发热单元采用加热棒进行加热，热量传导至热源体21上。机箱1上安装有一个带风扇的钣金门组件6，风扇用于散热作用，所述标定板5作为机箱1的一个侧板，热源固定板3位于机箱1内。机箱1上安装人机界面8、电源开关9、启动开关10以及用于显示加热状态的指示灯7。人机界面8以及指示灯7与控制器连接。所述控制器内设有控制单元和温控模块，所述控制单元与温度检测元件23、温控模块、人机界面8、指示灯7连接，所述温控模块与加热元件22连接，通过控制温控模块控制各个热源体21的温度。通过人机界面8控制各个发热单元的温度并且每个靶标都可以按要求单独控制。机箱1上安装有两个提手用于发热靶标部分搬运使用。其工作原理是加热棒加热，将热量传递至热源体21上，热电偶内置温度传感器感应热源体21的实时温度，并将实际感应温度通过人机界面8显示，如实际测量需要温度需要调节上升或下降可以通过人机界面8控制界面设置温度，每个温度可以单独控制(调节范围25°～120°)。

进一步地，所述发热靶标箱安装在机架11上。本实施例的发热靶标箱通过螺钉固在机架11上面。

进一步地，所述机架11下端设有脚轮116。

机架11包括机体架111、固定板112、双开钣金门113、不锈钢盖板114、机架底板115，其中机体架111四周采用不锈钢方通管焊接组成，后面与两侧固定板112采用不锈钢钣金通过螺钉固定在机架11上，机体架111前面采用不锈钢双开门，顶部不锈钢盖板114固定在机架11上面，用于固定发热靶标箱，机箱1底板使用不锈钢钣金制作并在每个角转处装一个带脚杯的万向轮，用于移动和固定。

本发明的标定板上有多种直径的靶标孔，其可以适配各种距离(如近距离和远距离，距离指红外热成像装置与标定板之间的距离)的测试，通用性强，可以满足现有产品光轴测试使用，可以满足一机多用。

本发明的每个靶标体都采用单独的温控系统，可以精准控温，靶标精确高且更加稳定，可以保证温度的一致性，提高测试的精准度。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种红外可见光图像融合方法，其特征在于，包括如下步骤：

获取可见光图像和红外图像；

进行图像融合，具体包括：获取当前目标距离，根据当前目标距离获得其对应的仿射矩阵，利用当前目标距离对应的仿射矩阵将可见光图像与红外图像进行融合，得到融合图像。

2.如权利要求1所述的红外可见光图像融合方法，其特征在于：图像融合步骤前，还包括如下步骤：获得并保存设定距离下可见光图像对应红外图像的仿射矩阵。

3.如权利要求2所述的红外可见光图像融合方法，其特征在于：设定距离下可见光图像对应红外图像的仿射矩阵的获取方法，具体包括：

在设定标定距离下分别获取可见光图像和红外图像；

分别提取设定标定距离下的可见光图像与红外图像中标定板的圆心并保存，通过配准设定标定距离下可见光图像各圆心与红外图像各圆心，计算设定标定距离下的仿射矩阵；

根据设定标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵。

4.如权利要求3所述的红外可见光图像融合方法，其特征在于：根据设定标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵，具体包括：

对所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量求取平均值，利用各个标定距离下可见光图像与红外图像中标定板的圆心以及所有标定距离下的仿射矩阵中X、Y方向上的旋转与缩放分量的平均值，修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量；

根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算得到各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量，生成各个设定距离下的仿射矩阵。

5.如权利要求4所述的红外可见光图像融合方法，其特征在于：修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，具体包括：

运用最邻近距离法修正各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量。

6.如权利要求4所述的红外可见光图像融合方法，其特征在于：根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，计算得到各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量，具体包括：根据修正后的各个标定距离下仿射矩阵的X方向偏移分量和Y方向偏移分量，用插值法计算各个设定距离下仿射矩阵的X方向偏移分量与Y方向偏移分量。

7.如权利要求1所述的红外可见光图像融合方法，其特征在于：利用当前目标距离对应的仿射矩阵将可见光图像与红外图像进行融合，得到融合图像，具体包括：根据当前目标距离对应的仿射矩阵对可见光图像进行仿射变换，将变换后的可见光图像与获取的红外图像进行融合，得到融合图像。

8.如权利要求7所述的红外可见光图像融合方法，其特征在于：将变换后的可见光图像与获取的红外图像进行融合，得到融合图像，具体包括：从变换后的可见光图像中提取可见光高频信息，将所述可见光高频信息叠加到红外图像上，得到融合图像。

9.如权利要求1所述的红外可见光图像融合方法，其特征在于：获取可见光图像和红外图像后进行畸变校正。

10.如权利要求1所述的红外可见光图像融合方法，其特征在于：获取当前目标距离后，还包括如下步骤：判断当前目标距离是否大于预设值，若是，则采用固定的裁剪缩放参数对可见光图像或红外图像进行缩放，得到缩放后的可见光图像或红外图像，将缩放后的可见光图像或红外图像用于图像融合，若否，则根据当前目标距离查表获得对应的裁剪缩放参数对可见光图像或红外图像进行缩放，得到缩放后的可见光图像或红外图像，将缩放后的可见光图像或红外图像用于图像融合。

11.一种红外可见光图像融合设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述红外可见光图像融合方法的步骤。

12.一种红外可见光图像配准方法，其特征在于，包括如下步骤：

在设定的各个标定距离下分别获取可见光图像和红外图像；

分别提取各个标定距离下的可见光图像与红外图像中标定板的圆心并保存，通过配准各个标定距离下可见光图像各圆心与红外图像各圆心，计算各个标定距离下的仿射矩阵；

根据各个标定距离下的仿射矩阵计算得到各个设定距离下的可见光图像对应红外图像的仿射矩阵。